前言:寻找写作灵感?中文期刊网用心挑选的统计分析系统设计论文,希望能为您的阅读和创作带来灵感,欢迎大家阅读并分享。
1系统架构及相关技术介绍
1.1系统设计
根据某省电力公司的具体情况,本文所设计的电力行业统计分析系统的总体架构分为数据源、数据仓库架构、数据访问架构以及元数据管理等。
1.2ETL设计
用OWB(OracleWarehouseBuilder)工具对ETL进行实现,其任务为侦测ETL事件,以便启动处理过程,同时跟踪ETL处理日志。ETL的处理过程如下:通过Excel导入管理工具或者OWB将数据源的数据抽取、转换、加载到ODS层的数据缓冲区的增量数据库中;将ODS层的数据缓冲区的增量库的数据抽取、转换、加载到ODS层的数据缓冲区的历史库;将ODS层的数据缓冲区的历史库的数据抽取、转换、加载到ODS层的统一视图信息区的增量库;将ODS层的统一视图信息区的增量库的数据抽取、转换、加载到ODS层的统一视图信息区的全量库;将ODS层的统一视图信息区的全量库的数据抽取、转换、加载到ODS层的对外数据服务接口区;将ODS层的统一视图信息区的全量库的数据抽取、转换、加载到DW(数据仓库)层。
1.3系统数据结构设计
1.3.1ODS设计
存放经过清洗、转换、标准化以后的数据,并对外提供数据服务。为企业提供统一的数据视图,满足业务部门实时获取数据和业务部门间对企业级的数据共享的需求。因此将ODS设计划分为两大部分:数据区、服务区。并按主题进行组织、近实时的集成数据存储,以便最终用户能够快速查询近期细节生产数据。
1.3.2DW(数据仓库)设计
数据仓库模型分为两个区域:核心数据区(企业核心数据历史细节区域)和轻度汇总数据区。核心数据区的数据模型设计依据企业数据模型进行设计,但是每个实体都要加上相应的时间戳。核心数据区的模型相对稳定。轻度汇总数据区的模型设计依赖于分析需求。数据仓库模型是符合3NF的带有时间戳的关系模型。具体操作时应对数据仓库需求进行分解,按业务主题进行组织,将业务主题相关的数据组织成主题域,并对各指标进行分析。
1.3.3DM(数据集市)设计
数据集市的数据分为两类:一类是基于数据仓库的细节数据或轻度汇总数据进行的统计分析,另外一类数据是基于统计分析进一步分析挖掘的数据。数据集市的建模方法是通过调研企业经营的战略目标、综合查询分析系统、同业对标系统、业务管理目标、业务报表等,对这些资料进行分析。根据一体化平台关于分析主题进行细化,构建统一的核心数据集市模型。数据集市模型采用星形模型建模。
1.4元数据管理设计
元数据存储在专用的数据库中。有一类独立于其它工具,被称为元数据知识库(MetadataRepository)的工具,它们为元数据提供一个集中的存储空间。本设计中采用基于OracleOWB(OracleWarehouseBuilder)的元数据管理方案,各个工具集中通过OWB进行管理其中,元数据管理流程主要包括:元数据获取流程(手动和自动)、元数据访问权限管理流程以及元数据流程。元数据知识库通过元数据获取流程,来整合多个源(工具、数据库和流程)中的不同元数据。通过元数据获取流程,将元数据存入知识库中后,为了有效的维护和管理元数据,保持其对于整个数据仓库系统的有效性、准确性和及时性,还需要完成许多管控工作。元数据的方式有很多种:包括从属关系图(dependencydiagrams),数据沿袭表(datalineage),影响分析(impactanalysis),高级搜索,柔性报表,元数据术语表等。在实际工作中,应该有一套具体的流程来使用这些元数据方式,使得用户的查询请求能得到及时有效的反馈。
2系统的实现
业务数据来源主要是业务系统的物理表或者是相关视图,源数据将直接抽取到ODS数据缓冲区,在此过程中为了尽可能的减轻对业务系统数据库服务器的性能压力,因此不对业务数据进行清洗、转换等操作。从ODS数据缓冲区到ODS统一视图区的过程中,需要对ODS数据缓冲区的原始业务数据进行相关的抽取、清洗、转换,最后加载到ODS统一视图区。按照企业建立数据“唯一事实”的要求,数据仓库应为各级业务人员提供一致的信息视图。因而,整个企业应共享统一的数据存储模型。通过定义统一系统界面和数据查询规范,为最终用户指标分析提供支持,并根据业务指标体系和主题分析的要求,建立辅助决策分析模型,实现系统的前端实现方式。具体展现方式包括列表、数据透视表、文字说明、计量表、雷达图、柱形图、条形图、线形图、饼图、组合图、告警分析等。其中OLAP分析主要包括全网的负荷分析、发电量分析、用电量分析、购电量分析以及各个火电厂、水电厂和水库的分析。按时间维度来对企业的调度运行情况进行具体的分析。
作者:安弟 单位:国网银川供电公司