优化技术范例6篇

前言:中文期刊网精心挑选了优化技术范文供你参考和学习,希望我们的参考范文能激发你的文章创作灵感,欢迎阅读。

优化技术

优化技术范文1

【关键词】通讯网络 LTE网络 技术优化

能够在各种场合提供良好的服务功能是LTE系统的目标,根据不同场合的特点,并参考运营商的有关需求,LTE网络通过3GPP的针对性制定规则,拥有了能够不同场合应用的优化技术。本文主要是对目前在LTE网络中应用的优化技术的介绍和分析。需要注意的是,LTE标准在不断变化,不久的将来可能会出现R12、R13,随着这新新标准的应用和推广,还会有新的需求,LTE也会在不断的应用中得以发展。

一、LTE网络优化技术的内容

(一)PCI优化

无线电话以及下载速率慢等问题是因为PCI干扰造成的,确保同一小区的所有林区列表中不能有相同的PCI是PCI优化的内容,还要尽量错开邻区导频位置,相邻小区PCI模后的余数尽量保持不同。

(二)覆盖优化

覆盖弱、越区覆盖或覆盖不均匀这些因素,会造成比较常见的无限网络问题,进而使接人成功率降低,经常掉线,无法成功切换。产生这种问题有多种原因,其中包括天线的类型、无线参数的设置问题以及设备出现故障。当覆盖出现问题时,首先要检查该地区是否存在邻区漏电现象。

(三)干扰优化

干扰主要来源有内部和外部,设备故障导致的内部产生干扰,是内部干扰;阻塞干扰、互调干扰和杂散干扰是外部干扰。解决设备故障就能解决内部干扰,运用扫描仪,确定感染源和干扰兴华特性能够有效去除外部干扰。

(四)邻区优化

无线资源管理功能中的重要功能是切换,这种功能能够保证移动用户通信的连续性下,将用户从当前区域转移到其他区域的过程。这种技术在蜂窝系统中具有十分重要的作用,从无线网络频谱效率来看,当用户处于服务小区边缘时,不仅会对其他用户产生干扰,还会使袭击的通信质量受到影响。使覆盖率得到提高,减小掉线率和切换成功率是邻区的优化过程。

二、LTE网络优化技术的流程

关注网络的覆盖、容量和质量等情况是LTE网络优化需要的条件,通过调整覆盖、调整容量、调整参数和处理故障等方法,使网络得以动态平衡,网络质量提高,确保用户感知。

在开通站点前,应先启动计划,包括站点需求分析和整体项目计划。然后实施参数划分,包括PCI、TAC、PRACH规划和站区规划。开通站点后,要测试单站网络覆盖、验证业务;测试簇的网络覆盖和业务性指标;测试全网覆盖和业务性能指标。

根据系统收集到信息,对影响无线网络指标较大的因素进行排查,以便评估无线网络、定位问题类别、分析问题和解决问题,具体内容有,对影响设备运行的告警信息进行排查对设备出现可用率异常的小区进行排查;对覆盖异常区域和干扰区域进行排查;对无线性能指标异常的小区进行排查。

三、LTE网络优化实例

蜂窝系统独有的功能和关键特征是切换,临区漏配将使用户处于不适合的服务小区,不仅会影响自身的通信质量,导致终端掉线,同时也将增加整个网络的负荷,甚至增大对其他终端的干扰。另外,在DT测试中,可以进行问题定位的是接收到的SINR指标,然后标识出SINR恶化区域,同时,对恶化区域的下行RSRP指标情况进行排查。如果下行RSRP覆盖性能差,则说明覆盖有问题,是弱覆盖率现象。若出现RSRP良好而RINR性能较差的现象,可以断定是小区间的干扰问题,需要具体分析然后加以解决。

四、结束语

优化技术范文2

【关键词】数据库 优化 技术

随着现代技术的不断发展与进步,各个企业为了提高知名度和企业的创新能力,都积极的采用了信息自动化管理体质。但是,要想很好的运用这种管理体制,企业必须充分运用现代化信息技术,其中,最为重要的手段就是数据库技术。而且,要想使企业的信息系统高效、安全地运行,至关重要的是数据库应用系统正常、高效地运行。因此,分析数据库优化技术是非常有意义的。

一、良好数据库性能的标准

对于同一个系统的实施可以设计出多个数据库模型,但是,这些模型由于性能目标的差异而显示出不同的效果。而且,对于同一需求、不同数据库的设计人员来说,也会设计出不同的模型。其中,数据库性能的高低一般用两个方面的指标来衡量:响应时间和吞吐量。而且,响应越快,吞吐量越大,数据库性能越好。下面是一般大型系统数据库的性能标准:(1)单条记录的更新应当在1秒之内。而多条记录的更新不超过10秒。(2)对于少于4个表的数据有一定限度的查询应在5秒内完成。(3)对于有一定限度的查询多表查询应在10秒内完成。但是,整个表的查询时间应在30秒内完成。

二、数据库优化应遵循的方法

数据库优化是指进行有目的地调整组件及改善性能,使得数据库的吞吐量增加,减少相应处理时间。下面是数据库性能优化所遵循的一些方法:1、设立合理的性能目标。在优化之前,需要确定专门合理的目标。而且,设立目标最重要的一点是可量化和可达到。其中,可量化是指在量化中需要的性能值。而可达到是指必须定义当前性能指标。2、确定影响数据库性能的瓶颈。当数据库运行了一段时间后,会发生性能低下,此时不能猜测并随便做一些更改,这可能造成更大的瓶颈或资源浪费。3、弄清影响数据库性能的因素。由于改善数据库性能所采用的方法都可能带来严重的负面影响,因此在达到预定目标时,应停止所有的工作。

三、数据库优化技术的方法

数据库优化技术的方法有很多,而且,不同的数据库又有不同的方法。下面具体列出几种主要的技术方法。

1、数据库服务器内存空间的分配。足够的内存可以加快数据库的运行速度和提高CPU的利用率。而且,内存不够的话将会严重降低CPU的利用率。

2、合理的物理存储路径。数据库在处理海量数据时,首先要考虑物理存储路径。其中,物理存储路径主要包括:数据在磁盘组上的分布状态、索引文件的组织、日志文件的分布等。而且,数据在磁盘组上的分布有几种方法:静态数据与业务数据相分离。其中,数据库中的静态数据主要是一些数据字典,这些数据修改的频率比较低,但是,查询率较高。其中,使用索引有助于快速访问表中的数据,它可以大大减少找到特定数据行所需的I/0操作。设计索引时应遵循如下原则:①在建立索引时,如果对一个经常被更新的列建立索引,则会严重影响数据库性能。一张表的索引过多会影响该表的更新性能,因为一旦发生更新行为,该表所有的索引都必须作相应的调整,这就会延误运行时间。②对小型表不必建立索引,因为对于小表来说直接扫描往往更快而且维护费用低。③对重复值非常大的列,应建立位图索引,不要建立普通索引。因为为这样的列建立普通索引,其查询效率不高,反而增加索引的维护量。

3、使用SQL语句的优化技术来提高数据库运行效率。SQL语句的运用可以大大优化数据库的性能。一个良好的应用程序允许数据库支持上万个并发用户,由于网络上的传输是会话式的传输,在数据库与客户端之间传送每个批处理和结果集,为了减轻客户端与数据库系统间过量的网络传输,必须采用大型数据库所提供的存储过程和触发器来最小化信息的往来传输,以减轻网络I/0的负载。

4、其他策略。随着Internet的飞速发展,人类对信息管理和信息交换的需求更是空前强烈和迫切,使得已在传统的商业处理领域内趋于成熟的数据库技术面临着许多新的问题和挑战。

优化技术范文3

关键词:转楔机构;工艺再设计;冷却装置;注油装置

中图分类号:TG385 文献标识码:A 文章编号:1671-2064(2017)05-0065-01

1 冲压工艺复杂的制件,需要采用特殊结构的模具才能实现

这类制件以前翼子板外板为例,这种制件是汽车前围部分的外表面覆盖件,工艺设计复杂,要求条件苛刻,它即要求要达到很高的外表面质量水平,又要求很高的尺寸精度。它的制造精度要求很高,转楔本身往往就是型面的一部分,转楔与下模的接合面有可能是曲面,但要求接合面一定要吻合,如果接合面的缝隙过大,会在上模压料面的作用下产生压痕;对某公司模具上的一个长达500多毫米的一个接合面进行检查,0.05mm的塞尺无法塞进接合面中,从外表面看不出有接合面,可见其工艺精湛。

2 部分重要部件的模具进行了表面TIC处理的制件

对于一些厚板制件的成型,表面划伤往往难以避免,这些划伤在一些较深的成型制件最为常见,如梁类零件,在以往的生产中,往往生产几百个制件,模具就需要修改。划伤会影响制件的质量,成为一些质量问题源头。划伤同样会对模具成型表面产生损伤,严重的会大大降低模具的使用寿命。

我们以右左前纵梁为例来说明这一点。我们公司生产的两款轻型客车的右左前纵梁基本上相同,其中一种车型的模具是国内生产的,在生产过程中存在着比较严重的表面划伤问题,每生产三百――五百件就需要下线保全,对成型表面进行研磨,经过维护的模具再上线生产,生产几百件后再下线,对正常的生产秩序影响很大对此我们深感头痛。

另一种车型采用了丰田车体的TIC处理来解决这个问题,在丰田车体的自动化生产线上,连续生产两千件不需要维护,这种热处理技术是丰田车体所专用的,它c其他表面处理方式不同,其效果十分明显。因此我们决定采用这项技术,取得了较好的效果。TIC表面处理技术是对模具成型的凹模部分,在模具调试完成后,对调整好的成型镶块的表面进行的一种热处理,使表面的强度达到HRC62以上,表面粗糙度达到 0.4μm以下的镜面;使成型表面彻底杜绝产生划伤的源。

3 将整车匹配工艺要求在模具上进行预留

现在整车的匹配质量要求也很高。它要求车门门缝要均匀,缝隙较小,外观要美观。冲压件之间搭接要平整,缝隙要达到整车匹配标准;整车焊接后,车身的外型,车身的宽度也要达到整车匹配标准;还要确保许多功能孔位的精度要求,以保证与其他配件的连接;这些要求看起来比较平常,但是要达到这样的要求是要有很高的技术水平的。

整车匹配反映到冲压件上的是尺寸精度的变化,我们制造模具的依据是数学模型,而完全按照产品数学模型制造出的制件,并不能完全满足匹配要求,这是由于一 部分制件在焊接中会产生变形,从而影响到其他制件匹配。同时为了克服这种焊接变形,在制件制造时,就不完全按照产品数学模型进行设计、制造,而应在产品数学模型的基础上加入预留量,使制件在焊接变形后达到产品数模的状态。

如果没有事先的工艺再设计所做的预留,那么大量的工作将要在整车匹配阶段进行,在匹配阶段就会有大量的模具需要调整,甚至有主要模具报废现象。

4 在模具结构上的强化处理

在拉延模上,由于长时间使用,会造成在圆角处产生较严重的磨损。这些磨损主要是局部发生的,如果全面提高整个铸件的材质,会大大增加成本,同时由于提高铸件的硬度,而容易造成一些其它损伤。一般通用的作法是采用表面淬火,但是由于部分模具很大,表面淬火往往很难均匀,而且还会造成一定的内应力,会造成型面局部脱落,所以大型模具采用的是局部堆焊的作法,在易产生磨损的部分,用机械方法加工去掉,再采用高强度焊条进行堆焊。这样即保证了模具的整体质量又提高了模具的局部耐磨性;提高了模具的使用寿命。

5 其他技术的采用

在深拉伸模具设计上,可以将冷却设备应用在模具设计上,对拉深凸模进行循环水冷却,以保证模具在连续生产时,表面温度不升高,保证凸凹模间隙,从而保证了冲压件的质量。

优化技术范文4

在男性不育临床中,有相当比例的少、活力低下、畸形、液化不良、精浆中存在抗抗体等因素的患者,在经过系统的内外科治疗也不能使质量改善并达到受精目的时,实验室体外处理技术便成为一项重要的补充治疗手段。利用一定的方法,将不育患者的在体外进行处理后,使质量提高,然后用于人工授精,以治疗不育症。它是近年来治疗男性生育力缺陷的重大进展之一。随着人类辅助生育技术(assisted reproductive techniquesART)快速发展,以及临床应用的推广,的体外优化处理已成为实施该技术的首要环节。在因少弱而引发不育的患者中,的体外处理是使质量改善的最佳手段。的体外处理方法很多,并且都有它的优缺点,在使用时,针对每一具体病例选择最适宜的技术。

常用的方法有:

上游法:利用的泳动能力,让活动力良好的通过向上泳动进入培养液层中,而死、细胞残片等则滞留在下层,收集上层培养液则可获得高活率的,从而达到优选的目的。该方法操作简单,获得的活率高,应用广泛。但处理过程中丢失量较多,较比适用于质量正常者。

Percoll梯度离心法:利用正常与畸形、不活动及其他细胞成分在浮力、密度方面存在的差异,通过梯度离心技术分离到正常的.此方法丢失少,适用于少精、弱精的分离,但死稍多、异物多。

浓缩法:(低速离心洗涤法)

用培养液与按10:1混匀后,离心沉淀反复两次。该方法适用于少精和弱精症,亦可用于第二代试管婴儿技术的制备。但该方法的缺点是不能去除死精、残片及其他细胞成分。

冷藏技术

对于数低但活力好的病人,可采用冷藏技术,在配偶排卵期采用洗涤,收集质量好的做人工授精。

X、Y分离技术

优化技术范文5

【关键词】房屋结构;设计优化;设计方案;分析

1引言

根据我国的房屋建设成本构成分析,土建成本占有很大的比重。土建成本很大程度上取决于结构设计人员对设计理念和科学设计的合理把握。房屋结构设计人员应严格遵守建筑结构设计规范中“安全适用、技术先进、经济合理、方便施工”的原则,精心设计出令建设单位满意的作品。现代建筑科技成果的应用可以降低项目成本,实现经济效益。采用优化设计技术比较选择出合理的设计方案更进一步降低了项目总开支,而且正发挥着越来越重要的作用。结构优化设计技术可以使设计者从被动分析转变为主动设计。与传统设计相比,采用优化设计技术可以降低土建造价的10%~30%。优化设计技术可以使建筑材料的性能得到最合理利用,使房屋内部结构得到最佳协调,使设计理念得到最大限度展现。同时,还可以对总体设计方案中存在的薄弱环节做出合理的预估。优化设计技术是实现设计目标的有效途径。

2结构设计优化技术的方法及应用

2.1结构设计优化技术的方法。结构优化设计是结构工程与运筹学、经济学与管理科学的综合应用。一名优秀的房屋结构设计师在达到设计目标过程中,努力协调各方面条件的制约,以期找到最佳的解决方案,即优化设计。从20世纪初开始直到20世纪60年代,不断有人尝试做一些优化设计方面的系统研究,但效果不是很明显,主要原因是受限于数学力学计算手段的效率低下。从20世纪60年代开始,电子计算机在土木工程领域逐步得到了广泛的应用,尤其是计算理论的不断完善和设计软件的快速发展,为结构优化设计的快速发展提供了丰富的物质基础。例如,仿生学方法的发展为结构优化设计提供了借鉴意义,有限元分析软件的发展为结构优化设计提供了可靠的计算手段。一般而言,结构设计优化技术主要包括直观优化、准则法优化、数学规划优化、仿生学优化、系统优化、模糊优化、灰色优化、自动优化、智能优化等方法。

2.2结构设计优化技术的应用。在各种房屋类型中,结构设计优化技术的应用在住宅结构优化设计中体现最为明显。住宅结构优化设计包括结构体系方案的优化设计、竖向承重构件布置的优化设计、围护方案的优化设计、楼盖结构方案的优化设计等内容。结构体系选择框架结构还是剪力墙结构、竖向承重构件的布置合理与否、围护方案采用空心砖砌体还是轻质隔墙材料、楼盖方案采用现浇式还是装配整体式等不同方案的选择直接导致设计目标的各项指标有很大的差别。房屋结构优化设计通过比较选择各种设计方案,力求项目综合经济效益最大化。

3房屋结构设计优化技术体系构成理论分析

狭义上的结构设计优化通常是指直观优化,它是工程经济学中的一个论点。直观优化又分为选择性优化和直觉判断性优化。前者是根据有限的几个选项,设计师经过初步分析,结合设计指标选择最优的解决方法;后者是根据设计师的经验和直觉知识判断和选择的优化分析方法。直观优化方法是一种重要而简单的方法,但它依赖于设计者直观知识的普遍性、逻辑判断能力和丰富的设计经验。结构分析计算软件在房屋结构设计中的广泛应用,将设计师从枯燥乏味的力学公式中解放出来。随着现代建筑的体量越来越大,楼层越来越多,优化设计可以大幅度减少项目总开支,避免不必要的浪费。结构设计人员在设计过程中,应在理论知识和实践经验的基础上,注重概念设计,充分了解各种方案的优缺点,从中优选最经济合理的设计方案。所谓的概念设计,是指在特定的建筑空间和环境条件下,用概念性近似计算方法从宏观上把握结构设计中的基本问题,迅速有效地选择与建筑功能需求相协调的结构体系方案。结构设计优化的核心指导思想是提高结构布置方案的合理性,避免不必要的浪费。但这并不意味着剪力墙结构一定比框架结构好,也不意味着房屋竖向承重构件越少越好。结构设计优化首先要满足一个前提条件,那就是安全要求。脱离了安全要求的结构设计优化都是伪命题。在众多影响房屋结构安全的因素中,地震是一种突发式的自然灾害,能瞬间给人们的生命财产造成严重的危害,因而规范规定房屋必须进行抗震设计。满足了安全要求后,结构设计优化的目标就很明确了:把项目土建成本压缩到最低。由于结构设计人员水平的参次不齐,即使对于同一个确定的设计方案,各个结构设计人员完成的设计方案的土建造价也有差别,更别说不同的设计方案了。这时,就需要房屋结构设计人员利用结构设计优化理论对项目各种设计方案仔细斟酌,不断进行横向和纵向上的比较选择,优选出一个令各方都满意的好作品。

4结语

本文对结构设计优化技术的方法和应用进行了介绍,同时对结构设计优化技术体系构成进行了一定程度的理论分析。房屋结构设计人员应结合项目的实际情况,运用结构设计优化技术对项目设计方案进行优化,避免不必要的浪费,降低项目土建成本。

参考文献

[1]黄襄云,周福霖,金建敏,罗学海.多层隔震与非隔震框剪结构振动台对比试验研究[J].建筑结构.2007(08).

优化技术范文6

关键词: ETL;数据仓库;元数据;集群优化

中图分类号:TP311文献标识码:A文章编号:1009-3044(2012)13-2949-04

Research and Implementation of ETL Cluster Optimization Technology

LI Lan-you,HU Cheng-hao,ZHANG Chun-hua

(Office of Information Construction and Management, Nanjing Institute of Technology, Nanjing 211167, China)

Abstract:The ETL function and process technology is introduced. The extraction type of database table file ,the strategy of data conversion and data loading technology are shown .The implementation methods of metadata analysis and obtaining with SQL script automaticly are designed. The deep research of clusters optimization technique application in ETL data processing is in implementation.

Key words:ETL(Extract, Transform and Load);data warehouse; metadata; cluster optimization

1概述

随着高校网络的不断发展,学生公寓网络的web访问数据越来越多,基于设备管理系统建设的架构为模板,运用ETL技术将这些数据信息建立目标数据仓库,以挖掘学生人群的网络交互行为及相互关系,兴趣传播及作用关系,给学校领导管理决策提供宏观数据支持,是一件非常有意义的事情。

2 ETL简介

ETL[1]是数据抽取(Extract)、转换(Transform)、清洗(Cleansing)、加载(Load)的简称,作为数据仓库的核心和灵魂,能够按照统一的规则集成并提高数据的价值,是负责完成数据从数据源向目标数据仓库转化的过程,即从数据源系统中获取业务数据,通过数据转换、数据清洗过程,将符合EDM(企业数据模型)的数据加载到数据仓库中。数据仓库的最普遍应用是给企业提供决策,由于ETL在数据仓库搭建过程中花费了大约60% ~ 80%的工作量[2],由此可见, ETL在建立数据仓库系统时中是很关键的问题,可以说ETL过程的执行效率直接决定了企业决策的质量。

数据抽取主要是针对分布在不同业务系统中的分散数据,规划需要的数据源和数据定义,在接口规范中明确的定义了数据源系统提供的数据文件的内容、提供周期、提供方式等,ETL的抽取将按照接口规范中定义的方式从数据源系统中通过FTP传输数据文件的方式到数据仓库系统中[3]。

数据转换主要是针对数据仓库建立的模型,通过内建的函数库、自定义的脚本以及其它一些扩展方式将数据从业务模型转化到分析模型中。数据转换是将原数据变为目标数据的关键环节,它包括数据格式转换、数据类型转换、数据汇总计算、数据拼接等。

数据清洗主要是针对业务系统中的各个环节可能出现的数据二义性、重复、不完整、违反业务规则等问题,通过清洗将有问题的数据先剔除出来,然后根据实际情况作相应的处理[4]。

数据加载主要是将符合数据仓库要求的数据加载到数据仓库中。

3 ETL集群优化

3.1 ETL功能结构

ETL主要功能模块包含数据源模块、数据获取模块、数据处理模块、数据分发及ETL数据调度管理模块,如图1所示。

数据源模块负责对数据来源的各个源系统及数据平台访问方式和类型等信息进行维护;数据获取模块负责将数据源提供的接口数据文件或者表接口数据传输到数据仓库系统中,并完成文件级或者表接口数据量的审核,数据获取有FTP获取和数据库链两种方式实现;数据处理模块包含数据转换和数据加载,数据处理模块负责将接口文件或者表接口数据加载到数据仓库中,同时按照一定的接口规则进行转换处理,其具体实现可以采用DATASTAGE工具、存储过程和shell脚本三种处理方式[5];数据分发模块主要完成数据仓库数据与外网系统的接互;ETL数据调度管理模块贯穿整个ETL功能模块的各个环节,其数据调度功能主要通过任务调度平台来实现,通过调度任务的参数时间周期、任务参数等配置,自动调用接口DATASTGE工具的作业或者存储过程等完成数处理。ETL子系统的元数据由元数据管理系统统一管理,ETL的每一个模块将通过共享内存和系统总控交互信息。

3.2 ETL集群优化模型

传统的ETL处理方式在一些文件量较大,数据处理实时性和及时性要求较高的情况下,数据处理速度已成为ETL模块的一个效率瓶颈。要想解决这些问题,就必须进行优化[6]。

考虑到集群分布式计算的优点,将其引入到ETL数据处理中,改进原有库内ODS层关联获取方式,将分析字段的判别提前到库外处理,用多台PC服务器的集群计算模式来分摊数据库服务器的计算压力。不仅可以避免事务加载过程中过多的消耗数据库资源,同时也加快了处理效率,一举两得。处理流程如图2所示。

图1 ETL功能模块框架图

图2 ETL集群优化模型图

规则缓冲区是将转化需要用到的规则配置信息读入内存缓冲区,如学号信息,上网时长信息及一卡通转账判断规则等;预处理加工引擎是用来匹配规则缓冲区的配置信息,处理内存中的文件接口数据,生成应用需要的共性分析字段。通过PC内存缓冲区的处理,将源文件经过内存处理获取所需的关键判断字段信息生成目标文件,直接通过DATASTAGE工具加载入库即可,这样即可大大提高了文件处理效率,同时也减少了数据库资源的消耗,尤其是系统繁忙阶段效果更为明显。

3.3 ETL元数据管理优化

通过在ETL元数据管理中引入SQL脚本自动解析获取技术,将能缓解元数据管理中手工维护难度大的问题。

SQL脚本自动解析获取元数据的过程可以分为数据处理日志生成、运行日志获取、SQL词法语法分析、SQL语义分析生成元数据和SQL脚本元数据入库五个环节[7]。通过这五个环节的自动处理,将脚本程序的变化及时传递到应用端,使应用分析的结果能够反映ETL和数据处理过程的最新情况,如图3所示。

输出运行日志环节要求ETL和数据处理过程在每次运行时,按指定方式输出运行日志,将提交执行的SQL脚本以及必要的上下文信息写入运行日志中。

运行日志获取环节定期扫描ETL和数据处理过程所输出的日志,提取未经处理的运行日志并触发解析处理过程。通过按照规则配置输入参数调用SQL解析公用模块即可生成对应的日志文件,主要为统一规则的XML格式文件,以供后续语法解析和语义解析生成规范的元数据信息。

SQL词法语法分析环节利用编译技术对运行日志中的脚本进行词法语法分析,生成抽象语法树(AST)。

图3 ETL元数据SQL脚本自动解析优化图

在SQL语义分析生成元数据环节,该环节对各SQL脚本的抽象语法树进行语义分析,并结合SQL脚本之间上下文相关信息的处理,实现SQL脚本语义的元数据结构化描述。

在SQL脚本元数据入库环节,将自动解析所获取的SQL脚本元数据写入元数据存储库中。元数据解析获取并入库完成后,可形成源数据表与目标表之间的关联关系,即“血缘关系”[8]。

SQL脚本自动获取元数据优化技术能使得ETL元数据及时更新,降低管理成本,提高管理效率,为各种辅助分析应用提供高质量的元数据。

3.4 ETL库表数据抽取策略

ETL库表抽取是将Oracle、Sybase和DB2等各种类型数据库中的指定列的值存入目标文件中,以完成不同数据间表数据的转换。具体实现过程中,在获取表列信息和次要数据项信息时考虑是否分组处理,对于分组处理的不仅要生成select语句的fields部分,而且还要生成其group by部分。生成的SQL语句通过BulkCopy来进行抽取[9],并将出库记录写入目标文件,如图4所示。

图4 ETL库表数据抽取策略

3.5 ETL数据转换策略比较分析

数据转换一般按照以下四个策略进行操作:在抽取过程中进行数据处理;使用异步数据加载,以文件的方式处理;在数据加载过程中进行数据处理;进入数据仓库以后再进行数据处理。

采用在数据抽取过程中进行数据转换时,必须考虑抽取的性能以及对业务系统性能的影响;采用异步数据加载以文件方式处理时,必须充分考虑中间磁盘的存储量以及ETL整个流程的协调性工作,以及大量的非SQL语句的编程;采用在数据加载过程中进行数据转换时,必须考虑加载性能;采用先将数据加载到数据仓库然后再处理时,必须考虑数据仓库引擎的海量数据处理能力[10]。表1是转换方法在各个比较点的展示。

表1数据转换策略比较分析

经过比较分析后可知,在ETL数据转换优化方面,要分情况而定。对不同类型的数据采用不同的转换方法,例如数据量特别大并且采用文件抽取的数据清单要采用文件转换的方式;而对于采用库表抽取的信息资料采用抽取过程中进行数据转换的方式。

4结论

ETL的主要作用在于其屏蔽了复杂的业务逻辑,从而为各种基于数据仓库的分析和应用提供了统一的数据接口,是整个数据仓库上层应用数据分析处理的根源。实践证明,ETL集群优化技术和SQL自动解析元数据优化技术能有效降低维护成本,提高管理效率。

参考文献:

[1]宋旭东,闫晓岚,刘晓冰,等.数据仓库ETL元模型设计[J].计算机仿真,2010,27(9):106-108.

[2]周茂伟,邓苏,黄宏斌.基于元数据的ETL工具设计与实现[J].科学技术与工程,2006,6(21):3503-3505.

[3]张瑞.ETL数据抽取研究综述[J].软件导刊,2010,9(10):164-165.

[4]毕锟,刘军.ETL系统的设计及其研究[J].软件导刊,2010,9(5):173-175.

[5]夏秀峰,张亮,石祥滨,等.一种改进的分布式ETL体系结构[J].计算机应用与软件,2010,27(4):174-176.

[6]苌程,李善平.基于ETL的金融数据集成过程模型[J].计算机工程与设计,2010,31(4):2070-2072.

[7]管丽娟.数据ETL软件中元数据模型设计与管理[J].电脑知识与技术,2007,2(8):469-475.

[8]郑丹青.基于元数据的数据仓库ETL系统设计与研究[J].吉林师范大学学报:自然科学版,2010,(2):43-45.

上一篇奠基典礼

下一篇朱自清的资料