前言：中文期刊网精心挑选了大数据审计论文范文供你参考和学习，希望我们的参考范文能激发你的文章创作灵感，欢迎阅读。
大数据审计论文范文1
并购创造价值，然而在并购后期企业如何将并购效益达到最佳，即如何更为有效地进行并购整合一直是并购研究的一个主要方向。同时，互联网飞速发展，大数据已悄然而至，随之而来的必然会是以大数据为依托的又一波并购浪潮。因此，研究大数据对企业并购审计活动及其风险的影响极具现实意义。
一、企业并购审计与大数据
1.企业并购。企业并购，一般指企业兼并和收购（M&A），是以目标企业控制权为标的进行交易，实现迅速规模扩张、增强竞争力的扩张型商业活动。随着我国改革开放步伐不断加快，“引进来”和“走出去”协同发展，现如今，互联网的迅速发展为中国企业创新带来了极大的动力与无限的可能，以阿里巴巴、腾讯、百度为代表的互联网企业以迅雷不及掩耳之势在我国掀起又一波并购浪潮。2.并购审计。并购审计属专项审计，即注册会计师在并购双方拟定并购计划并签订并购协议之后，为达到提高并购效率，降低并购风险，而提供的包括财务报告审计等专业服务的审计活动。由于并购审计不仅包含一般财务审计的目标，有的甚至关系到企业未来的发展，因此并购审计的目标更为复杂，内容更为丰富。3.大数据。随着云计算技术的快速普及,电子信息、互联网及移动互联网的广泛运用,数据已成为新时期的基础生活资料与市场要素。大数据具有海量化、多样化、价值高、密度低和快速化等特点,更精确地分析企业所处的行业地位、市场占有率等,使企业管理者进行管理决策更有洞察发现力及远见。
二、大数据对企业并购审计风险的影响
根据并购审计的特点以及大数据对于并购审计的影响，大数据下并购审计的风险包括四大内容：首先是大数据对企业并购审计环境的影响，其次是大数据对企业并购审计目标的影响，再次是大数据对企业并购审计内容的影响，最后是大数据对企业并购审计技术的影响。1.大数据对企业并购审计环境的影响。大数据背景下，企业的方方面都会受其影响，就企业并购活动来说，在并购准备阶段，大数据对于并购审计的影响则主要体现在企业并购环境上，例如通常来说复杂的市场环境和不断随市场变化的产品生命周期。大数据的发展对于外部环境的把握提供了极大的帮助。例如市场环境的变化可以通过对大数据的发掘分析，不仅大大提高了市场变化信息的及时性，审计过程中可通过市场大数据下行业中权威预测与评论等信息获取更具准确性的参考，同时降低审计风险。而并购企业的内部环境，如公司的管理水平、企业文化的影响程度，企业监督制度及内部控制的执行情况等内容的审计也会加大并购审计的风险。大数据时代，企业往往会建立内部的数据平台以提高生产与管理效率，在进行企业并购审计时，这些内部的大数据平台对于审计人员准确把握主并企业与目标企业的生产会计信息，充分运用职业判断降低并购审计风险起到重要的作用。2.大数据对企业并购审计目标的影响。企业并购的一大目标便是产生协同效应，然而是否能产生确是未知数，这也是并购审计风险的重要影响因素之一。企业并购并不仅是并购双方有形资产的整合重组，更重要的应是优势互补，将无形的文化与资产进行有效整合，以期企业的更大发展。因此在挑选目标企业时，大数据便能显示出其魅力。数据是一面很好的镜子，审计人员通过对主并企业和目标企业运营情况、发展特点、行业处境等影响企业并购协同效应因素的科学对比分析，寻求业务可持续发展的动力，使企业并购协同效应最大化，挖掘出并购后可达到的最大价值。3.大数据对企业并购审计内容的影响。企业并购审计的内容中，对于对方企业的评估审计关系到目标企业价值，对审计风险影响较大，因此并购审计中评估审计的内容至关重要。对目标企业的评估内容比较广,比如,需要认真分析企业财务运营状况、目标企业竞争力的强弱等；企业并购后联合风险也是并购活动中不可忽视的重要内容，其中发展战略是主并方选择并购对象和类型的基础，关系到未来企业运营状况。而大数据对于趋势与发展分析，特别是用有形数字所表现的信息分析具有不可替代的优势。4.大数据对企业并购审计技术的影响。审计技术的影响因素多指审计人员的专业素养和最新技术应用。大数据对于二者的影响颇为明显，即在信息与数据的选择中，审计人员普遍运用抽样技术，然而数据如何选取，选取之后如何解读却因人而异。但是大数据时代的来临，数据与信息获取更方便、更全面，甚至可以基于全样数据运用大数据技术进行审计分析，减少了审计抽样的风险，从而对于这一问题提供更好解决的可能。同时信息不对称问题造成很多并购活动的失败。大数据时代以其及时性与数据充分性著称，因此，在大数据日益发展的情况下，信息不对称对于并购审计风险的潜在影响不断降低。
三、大数据背景下企业并购审计风险的控制
上述风险的防范重点主要集中在提升数据处理技术、提高审计人员素质、完善政策法律环境等方面。1.注重数据安全，提升数据处理技术是核心。首先，可以根据数据性质和审计需求设置权限等级,严格控制数据访问权限，减少数据外泄的可能性。其次，大数据时代面对海量数据处理,对数据的获取与处理不仅需要Excel或审计软件，还要借助数据挖掘技术缩小数据量,然后再对数据进行分析，从而提高并购审计工作的效率，降低并购审计的风险。2.提高审计人员综合素质是关键。并购审计中审计人员的职业判断举足轻重，审计人员必须提高自身的综合素质,灵活地运用审计方法、审计工具,组合式地解决问题、应对变化。一方面要加强现有审计人员知识结构调整,另一方面要与信息技术等领域的专业人士通力合作凸显团队力量。3.完善并购法律制度环境是保障。大数据在并购审计中发挥更好的作用离不开完善的法律与制度环境。因此，进一步完善与企业并购相关法律法规，形成合理专业的业务规范是大势所趋。同时，在制定相关的会计准则时，既要借鉴国际会计领域的先进成果，也要兼顾我国国情，适合我国境内各类型的企业并购，特别是新兴的互联网企业并购。
参考文献：
[1]我国企业并购现状与成功条件的分析和思考[D].何丽.硕士论文,2010.
[2]企业并购专项审计和财务评价.[J].卢树华.现代商业,2009.5.
[3]企业并购审计风险及其防范.[J].熊梦云、彭卉.财会月刊,2013.8.
[4]企业并购审计风险及其防范措施.[J].何娅萍.时代金融,2013.7.
大数据审计论文范文2
一、会计信息化的改革与发展分析
（一）可拓展商业语言
目前，在对会计信息化可拓展商业语言研发中，研发人员探讨的主要内容是相关技术的开发、商业语言内容与类别的采纳以及可拓展商业语言对会计信息化业务造成的影响。在经过一段时间的实践后，我们已经可以初步认识到可拓展商业语言在技术层面的突出表现，但是距离建立完善的技术体系还有一段路需要走。例如，目前的可拓展商业语言分类标准还无法完成准确表达语意的要求。因此，在可拓展商业语言的研发中，需要重视精确语言机制的构建工作，通过完成?τ诨峒葡喙?a href="lunwendata.com/thesis/List_127.html" title="应用论文" target="_blank">应用中语意的统一解释来完成可拓展商业语言的形式?。此外，在目前的可拓展商业语言研究中，主要的发展方向是通过本体与部分论的方法来实践语言的形式化。
（二）云平台构建
云平台的构建中，云会计是一种重要的表现形式，这是会计信息化的一种重要应用形式，也是企业管理中会计信息化的一个重要发展方向。云会计是指基于互联网的使用，将企业经营管理活动中的会计核算、管理以及决策功能整合于会计信息系统的一项综合互联网信息管理技术以及会计处理方法、理念的现代化管理手段，云平台的计算是云会计的基本内核。此外，云平台的构建还体现在企业财务信息资源的共享中。随着互联网技术以及互联网理念的运用，企业与企业之间、企业与公众之间的联系越来越紧密，因此，企业信息化管理中云平台构建会计信息化的研究越来越重要，企业财务信息共享的重要性越来越突出。但目前，关于企业财务信息化的资源共享的研究还只是停留在云平台应用的优势方面，对于信息共享的规则以及具体实践还没有一个明确的标准。
（三）IT 审计实施框架
云计算可以说是互联网时代的创举，可以为企业、会计审计以及政府经济政策的制定等与大数据相关的决策提供强大而有效的技术支持，但是受到云计算平台的影响，相关数据的有效性及安全性也无法得到保障，会计审计在使用这些数据时可能会存在一定的风险性。充分发挥云计算在IT审计中的优势，确保云会计的效果也是目前业内研究的重点。云平台与传统的会计服务软件存在显著的差异，以云计算为基础的IT审计不能照搬传统会计服务软件的框架，需要根据云计算的特点和IT审计的特殊性，构建全新的IT审计实施框架。必须要认识到基于云平台的会计审计的发展，应对传统的会计审计测试方法进行改进，从而降低IT审计的风险性，对AIS内部合理性进行严格的控制。会计云服务对于计算机信息技术的要求比较特殊，在会计IT审计实施框架的构建中，可以借鉴COBIT标准，密切关注流程中每一个环节，提高风险控制能力，通过IT审计框架的实施，推动会计云平台的建设和云会计的进一步发展。
二、会计准则变革和财务报告功能拓展
（一）会计准则变革的经济影响
我国于2006年颁布了一系列具体会计准则（CAS），之后具体准则又经过了两次大规模的修订，对经济社会造成的影响也比较显著。会计准则变革对变革的经济后果分析预测包括非预期效益和预期效益两个方面。首先可以从资本经营层面对会计变革的影响进行分析，明确企业投资行为在会计准则变革下作出的应对，对投资行为的影响一般属于非预期的。从经济风险管理控制角度分析非预期效应传导路径后发现，会计准则变革将会对辐射范围内的企业的投资行为产生深刻的影响，而这种针对会计准则变革的应对则是一种非预期效应。除了对投资行为的影响外，会计准则变化还会对企业的资源配置效率产生影响。相关研究表明，企业资源配置效率会受到会计准则变化的影响，资源配置效率的变化属于预期效应，且这种变革对企业的融资效率的影响要显著低于投资效率。
（二）财务报告可比性和功能拓展
“互联网+”的经济环境对于财务报告的功能范围产生了一定的影响，为了应对全新的社会经济形式，财务报告的功能也进行了拓展。会计准则对于财务报告可比性的影响是传统会计行业财务报告可比性的分析重点，而除会计准则外，其他的因素对财务报告可能造成的影响一般不会进行过多的考虑，这在一定程度上会造成财务报告可比性的偏差。需要注意的是，审计人员工作方式和审计风格的不同也会造成财务报告可比性的差别，不同的会计师事务所就同一会计工作作出的财务报告也会存在较大的区别。大数据时代下，必须要形成统一的财务报告形式和审计风格，因而相关财务监管部门需要对不同的会计师事务所的审计风格进行分析和比较，在此基础之上，结合地区财务状况和经济发展形势制定地方会计规范，对事务所的财务报告审计风格进行约束，提高不同企业、不同审计单位财务报告的可比性，进一步提高会计行业的规范性。FASB对会计财务报告的目标定位为决策有用，在“互联网+”的背景下，财务报告的功能也应当进行合理的拓展。可以将叠加模式作为财务报告期望功能的扩展模式，即在一套传统的基础财务报表之上叠加一张辅助财务报表，对基本财务报表的功能进行补充。
（三）所得税会计准则和计量属性
现阶段，我国所使用的会计准则比较复杂，会计准则资产负债表债务法对企业财务报表内容和汇报间隔进行了规定。企业需要对每个暂时性的年度财务变化状况进行追踪和记录，企业财务人员要严格按照税法和会计准则的要求对账目进行记录，这在无形中提高了企业的运营成本，企业的经济效益会受到影响。一些企业为了提高盈利，避免ST行为，采取了递延所得税的方式，这也说明我国所得税准则还是存在较大的可操纵性的，与此同时，现行的会计准则和各种计量属性实际运用中，相关问题也存在一些自相矛盾的地方。“互联网+”经济背景下，必须要对这种不完善的所得税会计准则进行改革，使其更符合经济发展的要求。为了确保会计准则改革的实效性，在修订会计准则前需要明确各计量属性的定义，对不同的计量属性的所得税会计准则之下的运用方式进行限定，确保计量属性运行的合理性和合规性。基本财务报表的计量属性一般是交易价格，或者是历史成本，现有的价值以及公允价值等都不作为财务报表中独立的计量属性，但是在实际的财务报表应用情况下，计量属性也可以作为交易价格的估价方式而存在。除了基本财务报表之外的其他财务报表的计量属性内容比较多，可以是现行成本、现值以及可变现净值，等等。
三、管理会计的改革与发展
（一）管理会计的系统信息化建设
互联网技术以及互联网理念在我国社会生产经营中的应用范围不断扩大，为了更好地适应时代需要与时代特征，管理会计必须要立足于互联网思维，积极进行信息化的系统建设。在互联网时代，由于信息的频繁交流，在网络环境中往往充?M了各种各样的信息，这些信息有的能够对企业或组织的会计处理提供十分积极的帮助，有的则是一些错误虚假的信息。因此，在“互联网+”时代的管理会计中，需要重视起对有效数据的收集与处理。通过云平台与云计算对有效信息与有效数据进行收集与处理有着十分重要的积极意义。大数据时代，一方面给予了管理会计的发展环境，不断对管理会计的信息化发展提出新要求；另一方面也需要管理会计的相关理念以及会计处理方法能够与信息化的相关理念以及技术实现结合。在企业或组织中，信息化程度越高，那么在管理活动中对于管理会计的要求也就越高，需要企业或组织的管理会计工作能够充分结合信息化。因此，管理会计系统信息化建设是企业现代化管理改革过程中的一项重要内容，企业需要立足信息技术与管理会计的有效结合，来探讨会计信息化系统的建设工作。
（二）管理会计的专业人才
目前，在企业的现代化管理中，存在着重视财务管理人员的队伍建设而忽视了管理会计的队伍建设的情况。这就导致我国企业目前管理会计的人才数量相对较少，而随着管理会计工作要求的不断提高，这一现象已经在一定程度上影响到了企业的健康持续发展。因此，应当从以下方面来实现管理会计的专业人才的建设工作。首先，应当从教育领域重视起相关专业人才的培养工作，通过在高等教育院校中提高管理会计专业培养应用型人才的要求，不断为社会提供符合实际需要的应用型管理会计专业人才。其次，在注册会计师考试中，应当提高管理会计相关知识的考核比重，以此来提高会计从业人员对于管理会计的重视，这是促进会计从业人员正确认识管理会计重要性的有效手段。最后，在企业或组织当中，应当建立起完善的培训制度，通过对会计从业人员的不断培训来提高其对管理会计的认识与掌握，从而适应企业的发展需要。
（三）管理会计理论体系构建
会计准则的恰当运用可以为企业财务工作成效的提高提供必要的保障。在“互联网+”时代背景下，管理会计想取得突破与发展，必须要对原有的理论体系进行扩充和完善，为会计管理实践工作提供理论指导，推动会计行业的进一步发展。现阶段，我国管理会计理论研究的对象大都是借鉴西方发达国家的理论研究成果，缺乏与我国国情的联系。而目前我国正处于经济转型升级新常态时期，与西方国家的经济结构和企业结构的差异都比较明显，管理会计的工作的重点也不同。因而，在“互联网+”经济背景下必须要加强中国特色管理会计理论研究，建立内容中国化、方法国家化、可操作性的管理会计理论体系。
大数据审计论文范文3
关键词：大数据 高校 信息化平台 构建
中图分类号：G648.1 文献标识码：A 文章编号：1674-098X（2016）11（c）-0072-02
改革开放以来，在科学技术快速发展的推动下，互联网、云计算及社交网络等层出不穷，使当前社会发展所接触到的数据朝着多元化的方向发展，且数据的增长速度越来越快，这意味着人们渐渐迈入了大数据时代。随着大数据时代的来临，受到社会及教育部门的广泛关注和研究，且在此种背景下，可促进高校信息化平台的构建工作能够较好地开展，同时还可推动教育改革。而高校作为培养人才的重要场所，做好学校内部信息化平台构建工作显得很有必要。
1 大数据
当代社会经济飞速发展的背景下，社会各界对大数据缺乏一个明确、统一的定义，维基百科笼统的定义成，主要由巨型的数据整合构成，这些巨型的数据已超出人们可在接受的时间内，来收集、储存及处理数据的能力，且数据的增长速度非常快，因此，将其称为大数据。
1.1 大数据时代背景下数据量快速上升
相关研究结果表明，2007年，全球网络系统的储存数据超过350 EB，如果将其换算为GB，则高达3 200亿。在所存储的数据当中，只有少量数据保存在以往的网络媒介上，如报纸、杂志以及书籍等，其他的都是数字数据[1]。
1.2 大数据时代背景下人们思维方式改变
以往的计算机水平非常低，人们只能通过随机选择的方式来研究大量数据，以利用较少的数据，得到更多有用的信息。但该种采集信息的方式所获取的信息，具有很大的局限性，只能从采集的数据中，得到事先所设计好的答案，得到的答案并不是适合在任何情况下使用，很难了解到更多深层次问题。若把计算机网络当作随机抽样对象，则很难找出一个最佳数据抽样标准；若抽样网络比较小，则利用抽样数据研究得出的结果，就很难体现网络系统的结构特性。
2 大数据时代下建设高校信息化平台中出现的问题
现阶段，高校网络服务体系建设过程中，校园办公系统和校园网属于其中非常关键的构成部分，且在网络技术、大数据技术快速发展的环境中，与大数据时展越来越近，这就使得高校内部拥有大数据的可能性逐渐提高，加强对高校信息化平台的构建非常关键，但随着建设工作越来越复杂，在建设中常常会出现很多问题，具体表现在下述方面。
2.1 信息化系统安全系数偏低
各个高校在构建信息化平台的过程中，所收集到的数据信息非常多，主要有机密数据、敏感数据以及隐私数据等，数据属于高校的一项核心资产。在大数据时代，如果数据被随意破坏或是篡改，则会对数据真实性造成非常严重的影响，从而影响数据挖掘结果在信息化平台构建中有无价值，数据一旦泄露，则会直接影响其建设效率[3]。因此，保证高校信息化平台构建过程中，各种数据信息的安全性、可靠性非常关键，这也是信息化平台构建过程中应解决的一大难题，所涉及的内容较多，如网络安全、数据权限管理、用户应用习惯及加密技术等。
2.2 信息化平台建设保障机制较差
大数据背景下，高校在进行信息化建设的过程中，常常会忽视信息化平台的稳定性以及实用性，根据单一的部门业务需求来规划及建设相应的信息化平台，这就常常会使得平台内的信息系统、软件、硬件以及数据库等互相分离，独立地支撑各种信息系统。而且，高校信息化构建因规划不够完全，造成很多顶层的设计、专业人员以及保障措施方面的投入较小，进而影响整个信息化平台建设工作的有序开展。
2.3 信息化平台系统不够集中
在大数据飞速发展的环境下，数据即资产，各高校内部的数据量非常大，由大量数据当中提取数据价值水平的高低可充分反映出各高校内部的信息化平台构建水平的高低。因以往高校对于信息化平台的构建规划并不完善，尽管构建了相关的图书馆管理系统、校园网站、一卡通系统以及教务系统等，但是每一个系统之间的数据比较分散，各个软件、硬件均独立运行，这就导致大量有用的数据难以较快汇集，从而形成单一的数据信息平台。而高校的信息化平台建设要求校园内部和信息化的系统之间实现各种数据信息共享，以便获取较多数据源，从而为高校提供可靠、真实的数据源[2]。
2.4 信息化平台建设数据准确度不够
高校经不同类型的传感器、应用系统以及感应器等数据工具来收集相关的数据，且把所收集的信息变得更加数字化，但是在采集期间，相关人员应保证所收集数据的可靠性、真实性，避免人为篡改数据。而且所收集的大量数据中，可以直接使用且价值高的数据信息相对少，且数据的结构类型较多，应把原先非结构化的数据直接转化成结构化的数据，由于数据的格式转化中会将部分的源数据当中所蕴含的各种信息丢失，从而影响整个数据收集及挖掘结果的准确性，从而削弱整个数据在高校信息化平台构建中起到的重要作用。
3 大数据时代背景下高校信息化平台建设规划
3.1 建设统一数据平台，优化配置资源
由于之前高校内部的管理人员在构建信息化平台的过程中，缺乏一定的信息化意识，对于顶层的设计未进行较好地部署及计划，这就使数据不够规范，各个业务系统在运行期间相互独立，缺乏关联。而在大数据背景下，经构建相应的云技术数据中心，于校园网络的基础之上和物联网互相融合，于全校范围内部署各种类型的数据采集器，如感应器，以快速收集设备、人员、设备、餐饮、交通及学习等方面的信息，实现信息化的系统和原有系统之间互相连通，共享各N数据信息，并将所获取的数据直接导入整个数据中心，从而实现数据化转变，以便为高校构建一个面向老师、学生提供科学管理、在线教学的信息化教学平台。
3.2 合理编排课程，促进平台建设
对于高校而言，改革教育的课程体系属于一个十分重要的环节。但在大数据时代影响下，学生的学习资源非常丰富，教育环境越来越开放，因此，构建高校信息化课程体系，可突破传统的模式，即邀请一些教学经验比较丰富的老师，随意、自由搭配课程，这种方式缺乏明确的教学目标，课程体系的系统性不强，很难提升高校的教学质量与水平。
因此，高校领导应结合学生的学习能力及自身的发展情况，并结合所处环境，收集大量的数据，对其进行科学、合理整理并分析，并对之后的发展情况做一些适宜的预测，以便了解高校学生应学习的内容，进而编订相关的学习课程，促进信息化平台建设工作的有序开展[4]。而且，在大数据环境下，高校在进行课程编订的过程中，可适当融入相应的信息化技术，且将数据分析作为重点，构建相关的数据库，以期能及时了解学生的学习进度及学习情况，从而适当调整主要课程。
3.3 更新数据系统，确保数据精准
近年来，随着大数据发展越来越迅速，在此种发展环境下，大量数据（机密、敏感及隐私数据等）的安全变更非常关键。信息安全与加密技术、网络安全、权限管理、数据识别技术以及用户认证等方面有直接联系，这就使得高校在构建信息化平台期间，应构建基于大数据的安全信息体系，主要表现为：
第一，构建数据收集设备或是数据软件监管体系，针对所收集的各种软件、设备做相应的标识和身份认证，保证所收集设备或是软件使用的安全性，同时对所收集的设备或是软件内的各项指标做相应的安全测量评估，以保证设备或是软件处于正常的运行状态，从而保证数据源的精准性。
第二，构建校园网使用设备及用户监测体系，做好用户登录认证体系，针对校园网用户或是终端所出现的数据异常情况做实时检测，以免校园网中出现不安全的用户，同时严格监管校园网内部使用情况，进一步健全网络安全管理、应急以及数据的备份等相关制度，以免高校信息化平台构建过程中出现管理制度不够健全的问题[5]。
3.4 合理规划流程，实现数据共享
目前，高校在进行信息化平台构建的过程中，需成立相应的领导小组和信息化部门，以便为信息化构建战略提供相应的保障。首先，主要由领导小组做相应的统计部署、统计规划、顶层设计等，以制定相对应的构建流程，从而为建设提供相应的保障；其次，由信息化部门积极落实各项信息化平台构建方案以及较为详细的步骤；最后，各个部门根据信息化构建方案的要求，规范化地分析及整理各个数据、师生信息以及档案等，以便为获取校园信息化数据及导入提供保障，快速解决各个信息化平台和系统之间的数据共享，从而实现数据信息统一。
4 结语
综上所述，该文从大数据定义及发展特点展开分析，进一步了解基于大数据背景下高校信息化建设工作中存在的缺陷，如信息化平台建设数据准确度不够、信息化平台系统不够集中、信息化系统安全系数偏低、信息化平台系统不够集中等，深入探究大数据视野下构建高校信息化平台的重要举措，主要包括：合理编排课程，促进平台建设、更新数据系统，确保数据精准、建设统一数据平台，优化配置资源等。经对该文进行阐述，重点凸显信息化平台构建在我国高校管理中所表现出的优势，这对于之后进一步推动大数据背景下高校信息化平台构建工作的持续开展具有重要的参考意义。
参考文献
[1] 李欣，陆虹，曹建清，等.基于信息化平台的高校科研项目协同管理模式探析[C]//2013年高校科技管理研究会学术年会论文集.2013.
[2] 杨剑钧.基于免疫系统论的高校内部审计信息化平台的构建[J].行政事业资产与财务，2015，24（31）：46，83-84.
[3] 魏培文.云计算在高校就业信息化平台建设中的应用研究[J].数字技术与应用，2015，10（3）：74.
大数据审计论文范文4
[论文关键词]审计 信息化 计算机审计
一、我国审计信息化建设的必要性
1信息化是审计适应环境变化的需要
随着我国企业信息化建设的迅猛发展审计环境发生了很大变化。如：企业管理正由”实物流”价值流向信息流转变，很多企业实现了管理自动化和网络化．企业的财务管理和会计核算电算化正在普及。另外．电子商务的兴起，使得大量的经济业务通过网络进行实现了贸易无纸化。这些变化对审计的对象范围．线索以及审计程序造成很大影响．迫使审计利用现代信息技术手段，实现信息化。
2信息化是加入WTO后审计参与国际竞争的需要
加入WTO后，我国的审计行业，尤其是社会审计机构面临着激烈的竞争。审计市场竞争的关键主要在于两个方面：一是业务范围二是执业成本。目前，发达国家的会计师事务所在信息化方面已经发展到较高的水平．如AICPA和CtCA在1997年就将业务范围拓展到电子交易网站的审计．香港会计师公会也推出了“网誉认证”服务。与之相比．我国还有一定差距．如对信息系统的审计还鲜有触及。因此．要想在激烈的竞争中立于不败之地．就必须尽快实现审计信息化。
3信息化是审计自身发展变革的需要
从审计自身的发展来看，也涌动着变革的动力，主要表现在审计效率和审计风险的矛盾；中突上。传统手工审计条件下．审计人员为了提高工作效率常采用抽样审计方法．而抽样审计本身就具有一定的风险。审计信息化正是解决这一矛盾的有效途径．因为利用计算机不仅使抽样技术更科学．还能对某些重要项目进行详细审计，这就在大大提高审计效率的同时．也降低了审计风险。
二、我国审计信息化建设的现状
1审计信息化建设已经起步但仍处于较低层次
审计不实现信息化就无法适应经济发展的需要．这一观点已经引起我国政府和审计界的高度重视。2002年审计署启动了审计信息化项目金审工程的建设。两年多来．工程建设进展顺利．审计工作急需的被审计单位资料库、审计专家经验库、审计文献资料库三大数据库业已建成。可以预计，”金审工程”的建设必将使我国的审计工作发生历史性变革．必将极大地推进我国审计信息化的建设。但从目前来看．我国审计信息化的总体水平还比较低。在审计实践中．许多审计人员还是绕过计算机系统．采用手工方法进行审计．因而难以获取充分、适当的审计证据，审计质量难以保证。
2审计软件开发取得显著成果但还不够完善
我国的审计软件开发近年来取得了显著进步．特别是在审计法规检索系统．审计信息管理系统等方面取得了较大成功。基建工程预决算审计、财政预算执行审计．银行审计、海关审计等多个行业审计软件得到成功开发和推广应用。但是由于我国审计软件市场不够完善，审计软件的开发模型不像财务软件那样清晰，使得审计软件的开发难度远远大于财务软件众多的软件开发商热衷于通用性高、维护成本低的财务软件．而不轻易涉足审计软件。
3培养了一批审计人才，但整体上利用计算机审计的能力不足
随着审计信息化的多年准备和逐步发展，我国审计行业已经培养了一大批计算机审计人员．但总体上还达不到审计信息化的要求。虽然掌握了一定的计算机基础知识和审计软件的操作技能．但在根据实际工作需要编写相应的审计程序模块等较高层次的应用方面还很欠缺还离不开计算机专业人员的协助。
三、我国审计信息化建设的构想
我国的审计信息化建设应该遵循“先易后难、分步实施、逐步完善的原则．分三个层次来逐步推进。首先是要实现计算机辅助审计．其次是构建审计信息系统．第三层次是达到信息系统审计。
1计算机辅助审计
计算机辅助审计是指审计人员利用计算机设备和软件来辅助审计工作。计算机辅助审计可以使审计人员从冗长乏味的计算工作中解放出来更多地将注意力集中于那些需要专业判断的部分．从而提高审计工作效率。具体来说．计算机技术可以辅助审计人员完成以下工作：(1)数据采集与转换。利用计算机技术可以识别不同会计软件的数据格式并将其转化为通用的数据格式。(2)审计抽样。在手工条件下需要人工计算的总体容量．抽样容量及标准估计值等工作均由审计软件自动完成．因而方法更科学．结果更客观。(3)数据分析与计算。将计算机技术用于分析性审计程序．可以非常快捷、方便地得到分析结果。(4)项目管理。计算机软件可以辅助审计人员完成编制审计计划．记录审计日志、生成审计底稿、撰写审计报告、管理审计档案等工作。
2审计信息系统
审计信息系统(AIS)是在计算机辅助审计得到广泛应用的基础上．将多种审计模块集成到企业管理信息系统(MIS)中构成的一个子系统．它具有多种功能．既可以对企业的投资决策、生产经营和财务管理等进行全过程动态审计．也可用于进行经济责任审计，还可以充当企业经营管理．辅助决策的工具。
审计信息系统的构建是审计适应企业信息化的重要体现．其主要作用是：(1)将审计模块集成到企业MIS中．对经济活动进行实时监控．变事后审计为事中或事前审计。(2)对审计对象全过程监控．及时发现问题并及时纠正．变静态审计为动态审计。(3)变监督为服务．审计不再局限于监督．而是可以为企业管理提供更多的信息服务。(4)AIS与MIS的紧密结合，使审计突破了对单个对象审计的局限，实现由战术审计向战略审计转变。
3．信息系统审计
随着网络经济的出现，人们对处理和传递信息的计算机系统的安全、可靠和有效性更加关注。这就要求审计内容不能仅仅局限于系统处理的结果，而要延伸到系统本身，即对信息系统进行审计。我国目前在这方面还处于探索阶段，但是建立信息系统审计制度，开展信息系统审计已是大势所趋。
信息系统审计是运用一定的技术手段对计算机信息系统的安全性、可靠性和有效性进行审查与评价的活动，一般包括系统开发审计．系统运行审计和系统控制审计。主要作用是(1)评价系统处理流程的可靠性，提高系统的安全性。(2)验证系统信息的正确性、适当性和数据的完整性。(3)促进企业充分利用系统的各项资源提高系统运行效率。(4)提高系统的合法性，确保系统符合国家法律法规的规定。
四、我国审计信息化建设的几项措施
1提高对审计信息化的认识
要加强对审计信息化的宣传力度，提高对审计信息化重要性和必要性的认识，同时也应认识到我国开展计算机审计的时间还不长，无论是审计人员还是被审单位都有一个逐步适应的过程，不能盲从或过分依赖计算机，要有针对性、有重点地将计算机技术融入到审计中来。
2完善计算机审计规范
我国审计信息化的制度规范还不完善，尤其是多数财务软件在设计时不考虑审计的需求，导致审计软件与财务软件难以对接这对审计的效率和质量造成很大影响。因此，加强计算机审计的立法，进一步制定并完善计算机审计的制度规范显得尤为迫切。
3注重应用，在实践中提高
将计算机技术运用于审计实践，增加审计的技术含量，提高审计的质量和效率是审计信息化的根本任务，但是审计信息化不是一蹴而就的，需要不断实践，逐步提高。因此审计信息化建设要注重应用，讲求实效。在组织力量对审计软件进行攻关的同时，也要根据审计的实际需要开发一些具有行业和地方特色的小软件、小模块，从一个个小闪光点做起．积少成多。
大数据审计论文范文5
关键词：智慧管理；云计算；大数据；物联网；能耗增值服务；智慧校园
一、引言
随着信息技术的飞速推进，已然进入一个互联网的时代。社会中，各方的发展也已是几何级速度的发展，在这个物联网、云计算和大数据推动社会前行的大潮中，对高校后勤集团能源管理也提出了更高的要求。节能管理由“绿色环保，打造节能型社会”作为一项国策写入“十二五”规划起进入了一个全新的时代。目前，科技创新管理的概念普遍被大众所认知。管理中有一个被一再提及的词语――量化，其归根结底是对数据的需求体现。即量化要求的结果是数据的产出，这里的数据既包括管理中表面的数据，如被管理对象的数量、状态等属性基础数据，也包括对基础数据通过管理模型分析后所得到的具有决策依据功能数据，数据是实现管理智慧化关键。
高校后勤集团能源管理智慧化即利用大数据、云计算、物联网等新一代信息通信技术，并通过这些技术变革原有的管理模式。［1］具体表现为，建立基于互联网的开放系统，通过云计算技术实现能耗大数据潜在价值的挖掘，随后，通过数字化和智能化技术应用决策数据进行实际的管理工作。这对高校后勤集团能源管理工作提出了更高的要求，以往的能源管理信息系统的设计已经远远不能适应发展的需要，其能力尚停留在能耗数据的采集、存储、统计以及初级的简单报警上，对于管理智慧化显得力不从心。为了适应高校后勤集团能源管理的需要，应以物联网、云计算技术、大数据分析技术为核心，以移动互联网为有益补充，建立具备对能源，特别是能对水电能源具有监控、预警、测算、系统联动和消费支付等管理决策及服务延伸能力的高校后勤集团能源管理智慧系统。这将是高校后勤集团能源管理由传统的信息化管理转型为能源管理智慧化的初期阶段，两种管理方法对于数据的处理及运用理念是截然不同的。
二、能源管理现状分析
随着教育的普及，学校需要不断地提高教学质量和管理水平，而学校后勤管理就是对在校后勤情况的全方位管理。［2］其中，能耗管理是工作的难点与重点，学校是否以资源的高效利用和循环利用为核心，以“减量化、再利用、资源化”为原则，以低消耗、低排放、高效率为基本特征，符合可持续发展理念的经济增长模式运行，［3］均与后勤集团能耗管理有着密不可分的关系。节约型校园概念的提出使得学校在办学及校园设施建设、运营管理中遵循科学发展观，充分体现节能、节水、节地、节材、环境保护建设及运营的管理思路和节约教育理念、形成良好节约型校园文化的校园。［3］目前，高校后勤集团能源管理主要依托于多年完善的管理制度，以及在这套制度上经过业务流程提炼后所开发的管理信息系统。
（1）管理制度化。各地高校后勤集团能源管理工作经过多年经验累计，在校园能耗统计、校园能源审计、校园能效公示、需求管理、分项计量等方面均建立了较为完善的管理制度，并做到了不同部门、单位间的有效协调。在管理模式上采用了根据学科门类、各单位性质、事业发展情况、使用水电需求，科学合理定量，将水、电能源消耗指标分配到各有关学院和部门，对运行情况进行跟踪分析，统筹协调，兼顾利益，量化管理，促进节约水电长效管理机制的形成。能耗管理制度的完善进一步推进了管理信息系统的建立与运行。
（2）管理信息化。随着计算机及通信技术的不断发展，结合自身管理的需要，高校后勤集团对于能源管理工作也做了业务的流程化定制，并依托物联网工程、通信工程、计算机工程、工业设计、环境工程等学科，自主创新、自主研发了数字化能源监管系统。数字化能源监管系统分为计量采集部分、数据传输网络、数据存储系统，以及用户交互系统等几个主要部分。完成了能耗数据的采集、传输、存储与展示，有效地数据处理方法提高管理中对于数据统计的需求。数字化能源监管系统的建立有效地提高了高校后勤集团能源管理水平，通过系统实现了能耗数据的实时性、完整性和准确性。即通过科技手段，实现高效管理，提高社会效益。
（3）存在的问题。如上，简述了高校后勤集团能源管理的两个主要方面，即制度与监管系统。制度与监管系统有效的提高了管理的水平与准确性，但在实际的工作中依然存在很多问题，如下列举最为表层的三种。第一，设备的改造优化。高校中诸如学生宿舍、教学楼、实验室等用能热点比比皆是，仅就采用何种照明器具一项，就存在不同的说法，但很大一部分取自于照明器具厂家的宣传与器具参数，没有一个科学有效的方法能够给出设备改造优化的决策方案。第二，消缺的即时高效。在能耗估计的过程中，由于设备和人为的因素会造成故障的出现，即时做出故障报警，迅速消除缺陷是节能的重中之重。举例而言，校园供水会存在水管爆裂故障、笼头节点故障、人为使用浪费等问题，这些问题单靠人员巡检和制度约束是无能为力的，只有采用更新的技术手段，才能做到有效的管控。第三，用能指标的制定。在上文中提及高校后勤集团能源管理模式是根据学科门类、各单位性质、事业发展情况、使用水电需求，科学合理定量，将水、电能源消耗指标分配到各有关学院和部门，超标自负。实际上这里所谓的科学合理定量并没有可靠的数据作为支撑，最常见的方法就是根据上一阶段的用能历史数据“大致”确定现阶段的用量，看似合理，但并不科学，缺少合理的指标定制模型。
二、管理系统的智慧化变革与应用
对于高校后勤集团能源管理而言，仅就目前的数字化能源监管系统已经不能满足发展的需要。高校后勤集团能源管理智慧化的设计目的是在与管理制度不断的交互完善中，利用大数据、云计算、物联网等新一代信息通信技术，并通过这些技术变革原有的管理模式，［1］这也包括原有数字化能源监管系统的功能，但绝不是简单的系统升级。所有的管理变革均以建立新的管理智慧化平台为基础，提供“能源管理＋能源便利＋校区通信”的高校能源管理云服务。
（1）信息系统的变革。第一，系统架构的改变。高校后勤集团能源管理所采用的传统C/S或B/S架构已经不能适应智慧化的需要。智慧化是建立在大数据分析的基础之上，通过海量的数据分析，提炼决策数据。传统的系统架构，能耗数据的采集密度对于分析工作远远不能满足。加之，高校的扩招、扩建，分校机构的设立都对高校后勤集团能源管理的信息化系统提出了改变需求。就目前发展而言，其系统架构应该包含：数据采集服务、数据存储服务、关系型数据库服务和模型计算服务等部分，以及任务调度、安全管理和资源管理等方面的底层支持。第二，存储方式的更新。系统架构的变革，为了适应更多的数据需求服务，这势必产出海量的能耗数据，随之而来的将是数据存储问题。以往的数据库服务器及热备方式很难适应海量数据的压力，建立或委托数据云存储业务将是最终的出路，有效的数据存储将是后期大数据分析的坚实基础。第三，大数据的分析，如上一、二小节所讲，系统架构的变革与存储方式的更新皆是为了海量的能耗管理数据而进行。对数据做了如此之多的支持最终为了什么？这些数据有何意义呢？答案就是大数据分析。例如，Google通过全美各地区搜索H1N1及流感相关关键字频率和分布，得出疫情暴发警报；对冲基金通过全球Twitter用户每天关于情绪的关键字进行以亿为单位的数据分析，用以为买入和抛售股票做参考依据；波士顿马拉松爆炸案，警方通过数据分析，第二天抓获嫌疑犯，制止再次作案；这些都是根据大数据分析的结果做出的决策。预测，是大数据的核心，准确的预测是最大的竞争力。高校后勤集团能源管理智慧化的核心就是对用能做出分析，根据结果做出科学的预测及决策。这也是智慧化与信息自动化的区别。
（2）应用功能的变革。目前，高校后勤集团能源管理的数字化能源监管系统具备实时监测用能情况的功能。智慧化依托于大数据分析及高效的分析模型为平台带来更多功能。能耗报警方面将不完全依附于计量终端的硬件功能，而是通过特定时段的用能数据分析，确定问题，并通过监控页面、短信等方式推送报警信息。例如，用水管线的查漏报警和超指标报警等。节能测算，为用能改造提供依据。通过对实验对象更换用能设备前后的数据对比分析，可以得出该改造方案及所采用的设备是否真正做到了节能。指标规划，高校能耗管理的终极目标之一是能耗定额管理。通过能耗历史数据的环比、同比，分析能耗大户用电趋势，结合人员设备总量，为能耗指标的合理分配提供支撑。系统联动，管理智慧化要求系统与其他系统的联动响应，如能耗监管系统与课表系统、宿管系统的联动数据共享，达到根据课程及生活作息数据，利用能耗模型控制重点部位大型仪器开启与关闭时间，通过能耗合理性分析，加强重点部位能耗监控。
（3）管理的最终蜕变。大数据分析带来决策与预测依据，可以对特定用户提供用能合理性分析服务；通过对线路负载数据的分析，判断线路负荷是否正常，做出警报预测，即时整改。多系统协作，将延伸能耗系统的增值服务，如用能消费的支付手段，可以结合第三方支付系统完成用能的缴费。这样，无论是实体充值点，或是移动支付，都能方便快捷完成支付动作。高校后勤集团能源管理智慧化带来高校能源工作由管控到服务的最终蜕变。
三、新技术驱动下的发展方向
高校后勤集团能源管理是智慧校园的数据核心区域，其发展中涉及的互联网（数据通讯）、移动互联网（支付）、物联网（采集传感器）、安全监控、电信（通话、短信）都在产生海量数据。半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念。再则，云计算已经成为当今信息技术领域中最重要的新概念，正在成为未来互联网和移动互联网结合的一种新型的计算模式。［4］
高校后勤集团能源管理将依托物联网、云计算、大数据等技术，变革原有的管理模式。最终形成能耗云平台，提供大数据分析服务，能源监管将以大数据分析的结果作为决策的依据，逐步演进为智慧化能源服务。
参考文献：
［1］ 黄念根.雾霾锁城倒逼传统能源智慧变革［J］.智慧城市，2014
（3）：60.
［2］ 谢珊.学校后勤管理信息系统的设计与应用［D］.成都电子科
技大学工学硕士学位论文，2010.
［3］ 中华人民共和国住房和城乡建设部、中华人民共和国教育部.高
等学校节约型校园建设管理与技术导则（试行）［Z］.2008.
大数据审计论文范文6
关键词：智能电网；交通运输；大数据处理技术
中图分类号：C35 文献标识码： A
一、大数据的概念与特点
顾名思义，大数据即一个体量特别大的数据集，大到无法使用传统的数据处理工具、技术对其进行分析、加工、操作。而大数据技术，就是对大数据的处理技术的集合。可以说，大数据兴起并非科技的突变，而是随着人类社会结构化、半结构化、非结构化数据的急速增长应对而生的技术进步。大数据的特色之一是体量成级数增长。由于互联网技术逐渐渗透人类生活的方方面面、以“物联网”为方向的信息采集技术的逐渐普及以及包括“4G”在内的网络传输技术的迅猛发展，在全社会，包括交通运输行业，人类所拥有的数据量及其增速已经远远超过传统信息技术预设的处理极限。限于科技发展的规律与速度，或者是人类智能体量的局限，信息技术专家们提出以“云计算”概念为核心的的一系列数据分布式处理技术作为阶段性替代方案，以适应现阶段的信息爆炸。
大数据技术与传统信息处理技术有如下不同：使用分布式技术实现海量数据的处理。现代社会，“人类存储信息量的增长速度比世界经济的增长速度快4倍”，“大约每三年就能增长一倍”。为了解决这一问题，分布式技术成为信息处理的必然选择。早期的信息处理技术通过固定的数据存储设备、运算服务器实现信息化；随着数据量以及运算需求的增加，发展出部署集中的集群的信息存储与处理方式，一定程度上扩展了使用范围；当数据量进一步增长，受益于网络通信技术的升级换代和互联网的飞速发展，“云计算”技术相应而生，通过将分散于各地的存储、处理设备，实现可与巨型计算机媲美的海量数据处理能力。
大数据技术善于由结果推断模型。不同于传统的智能化技术，需要完善地建立数据模型，通过条件，推导结果。大数据技术着眼结果于海量数据，通过大量的事实总结规律，形成知识。传统的建模实现智能化技术，一旦结果出现异常，就需要反溯，修订模型，重新进行实践。而大数据技术，则只通过对相关性的结果进行比较，便能总结归纳相关原理。大数据技术着眼于动态，而不是静态。传统信息处理技术着眼于当前数据的使用，业务办理、行业监控，数据一旦使用，则降低或失去其实用价值，历史数据需要人工的比对、判断。大数据技术着眼于一段时间或全部时间上的动态发展数据，着眼于动态数据之间的联系与发展规律，大数据技术长于整体的运算效率，而非个体的精确追踪。由于数据处理能力的有限性，传统的信息化技术对于有限的样本进行分析与统计，更关注于奇异数值并加以分析，着力于对个体样本的精确追踪。而当大数据处理成为可能，数据的总体成为一个独立样本，一些奇异值由于发生概率太小，完全可以忽略，数据整体的运算效率成为重要指标。
如同哲学上的量变引起质变，大数据技术正是随着信息化数据的不断增长而产生并从根本上改变人对于数据存储、应用的理解与认识。同时随着数年的演进，大数据技术也正在逐步走向成熟。
2012年7月，美国知名IT咨询顾问公司Gartner《2012年大数据技术成熟度曲线》，对大数据涉及的46种技术进行逐一分析。根据当时报告内容，对比当前发展现状，我们可以看到大数据技术的成熟度已经达到一定的高度。2012年报告中提到的，将在2年内实现主流应用的列式存储数据库、预测分析、社交媒体监测等技术，已经成为近些年IT行业普遍实用的技术；报告中预测的2～5年内成为主流的云计算、内存数据库、社交分析、文本分析等技术，当前在google、百度、facebook、阿里巴巴、新浪微博等处于IT技术前沿的互联网公司，已经分别得到广泛应用；而报高中认为5～10年才会得到普及的内容分析、混合云计算、社交网络分析、地理信息系统等技术，以及认为10年以上才会普遍应用的物联网技术也已经在不同程度上得到应用和推广。
二、交通行业大数据发展现状
交通行业是天然的大数据应用行业。传统的静态数据并非大数据，如路网的基础信息，户、车、人基本信息，这些数据随着产业增长而逐步增长，一直在传统信息处理技术预设的限度之内。但随着互联网与产业结合的不断升级、物联网―――车联网的快速兴起，3G、4G无线网络的普及，行业数据量已经开始成级数增长。目前交通运输行业大数据来源主要在3个方面：
基于互联网的公众出行服务数据，如大运输联网、网上售票、城市公交刷卡、公众在线交通路线查询、网购物流数据等。
如某公交一卡通截至2013年已经发卡超过3200万张，日刷卡量超过1000万人次；百度地图手机应用日访问量1亿次，PC上的搜索量50亿次中20%访问和出行相关，每天约有1000万人使用百度，其中70%和公交相关。
基于行业运营企业生产监管数据，如货运源头称重数据，货运、危险品运输电子运单数据，客运进出站报班及例检数据，营运车辆维修检测数据，邮政包裹数据等。
如国家邮政局的数据显示，2013年中国快递业务量完成92亿件，居世界第二，仅次于美国。业务量同比增长60%，最高日处理量已突破6500万件。
基于物联网、车联网的终端设备传感器采集数据，包括车辆相关动态数据：GPS位置信息、车辆能耗、车辆技术状况信息，路网监控信息：卡口视频监测、基于传感器的路况监测、路上动态称重设备、桥梁监测GPS等。
车辆位置信息采集仅举一市为例，2013年10月，杭州市符合交通运输部“两客一危”定义且经营范围、营运状态、营运证有效期等状态正常的车辆上线数为6329辆。车辆位置信息假设每5s传输一次，则每日位置信息接近1.1亿条。北京市6.67万辆的出租车GPS数据实时接入，日均数据量可以达到6G。
车流量监控数据，笔者曾参与河南省新乡市动态称重系统建设项目，仅一个信息采集点，2013年11月平均每天采集14000辆车左右，包括结构化数据与照片信息，每天产生的数据量是1791MB。
三、大数据实时处理技术
随着大数据时代的来临，各种应对大数据处理的解决方案应时代而生，7 年前，雅虎创建了一个用于管理、存储和分析大量数据的分布式计算平台 Hadoop，它作为一个批处理系统具有吞吐量大、自动容错等优点，目前在海量数据处理方面已得到了广泛应用。但是，Hadoop 本身存在的缺点是不能有效适应实时数据处理需求，为了克服该局限，一些实时处理平台如 S4， Storm 等随之产生了，他们在处理不间断的流式数据方面有较大的优势，下面将介绍和分析目前比较流行的大数据处理平台。
1、Hadoop
Hadoop 是一个由 Apache 基金会开发的分布式系统基础架构 [10] ，允许用户在不了解分布式底层细节的情况下，开发分布式应用程序。Hadoop 主要由分布式文件系统（Hadoop Distributed File System，HDFS）和 MapReduce 计算框架两部分组成。
HDFS 结构如图 1 所示，三类节点 Namenode，Datanode，Client 之间的通信都是建立在 TCP/IP 的基础之上的。Client 执行读或写操作时首先在本机临时文件夹中缓存数据，当缓冲数据块达到设定的Block 值（默认 64M） ，Client 通知 Namenode，Namenode 响应 Client 的 RPC 请求，将新文件名插入到分布式文件系统结构层次中，并在 Datanode 中找到存放该数据的 Block，同时将该 Datanode 及对应的数据块信息告诉 Client，Client 便将数据块写入指定的数据节点。HDFS 有着高容错性的特点，可以部署在低廉的（low-cost）硬件上，并且能提供高传输率（high throughput）来访问应用程序的数据。
图 1 HDFS 结构图
MapReduce 是一种并行处理模型，主要有两个处理步骤：map 和 reduce 。
Map 端处理流程如下：计算框架先将要处理的数据进行分片，方便 map 任务处理。分片完毕后，多台机器就可以同时进行 map 工作。map 对每条记录的处理结果以的形式输出中间结果，map 输出的结果会暂且放在一个环形内存缓冲区中，当该缓冲区快要溢出时，会在本地文件系统中创建一个溢出文件，将该缓冲区中的数据写入这个文件。写入磁盘之前，线程根据 reduce 任务个数生成相同数量的分区。当 map 任务输出记录时，会产生溢出文件，这时需将这些文件合并。文件不断排序归并后，最后生成一个已分区且有序的数据文件。最后将相应分区中的数据拷贝给相应的 reduce 任务。
Reduce 端处理流程如下：Reduce 会接收到不同 map 任务传来的数据，如果 reduce 端接受的数据量相当小，则直接存储在内存中，如果数据量超过了该缓冲区大小的一定比例，则对数据合并后溢写到磁盘中。随着溢写文件的增多，后台线程会将它们合并成一个更大的有序的文件，然后交给 reduce 函数处理，reduce 函数安装用户定义的业务逻辑对数据进行处理并输出结果。
Hadoop 在本质上是一个批处理系统。数据被引入 Hadoop 文件系统 （HDFS） 并分发到各个节点进行处理。最后将处理结果汇总，生成的结果文件存放在 HDFS 上。
2、Storm
Storm 是 Twitter 开源的分布式实时计算系统 [8] ，Storm 具有高容错性，水平扩展性好，快速，可靠处理消息的优点。Storm 的核心概念是“流（stream）”，流是一个无限的元组序列。Strom 为流转换提供两个基本组件：“Spouts”和“Bolts”。Spout 是一个输入流组件，Spout 将数据传递给另一个组件（Bolt） 。Bolt 执行任务并创建新的流作为下一个 Bolt 的输入流。 整个过程就是一个 “topology”。
Strom 集群有主要有两类节点：主节点和工作节点。主节点上运行一个叫做“Nimbus”的守护进程，它负责在集群分发代码、 分配任务和故障监测。 而每个工作节点运行一个叫做“Supervisor”的守护进程。Supervisor 监听分配给它任务的机器，根据 Nimbus 的委派在必要时启动和关闭工作进程，每个工作进程执行 topology 的一个子集，一个 topology 由很多运行在机器上的工作进程组成。
Nimbus 和 Supervisors 之间所有的协调工作是通过一个 Zookeeper 集群，Nimbus 的守护进程和Supervisors 守护进程的状态维持在 Zookeeper 中或保存在本地磁盘上。这意味着 Nimbus 或 Supervisors进程杀掉，而不需要做备份，这种设计结构使得 Storm 集群具有很高的稳定性。
3、S4
S4（Simple Scalable Streaming System）是 Yahoo 的一个开源流计算平台，它是一个通用的、分布式的、可扩展性良好、具有分区容错能力、支持插件的分布式流计算平台。S4 将流的处理分为多个流事件 Process Element（PE） ，每个 PE 唯一处理一种流事件。S4 将用户定制的 PE 放在名为 Processing Element Container（PEC）的容器中。PEC 加上通信处理模块就形成了逻辑主机 Processing Node（PN） 。PN 负责监听事件，PEC 接收源 event，event 经一系列 PE 处理后，在通信层 Communication Layer的协助下分发事件或输出事件处理结果。在分发事件的过程中，S4 会通过 hash 函数，将事件路由到目标 PN 上，这个 hash 函数作用于事件的所有已知属性值上。通信层有“集群管理”，“故障恢复到备用节点”，“逻辑节点到物理节点映射”的作用。同时通信层还使用一个插件式的架构来选择网络协议，使用 zookeeper 在 S4 集群节点之间做一致性协作。
四、大数据在交通行业拓展的困境
1、行业信息化整体水平较低、数据的采集与整合困难
目前交通运输行业信息化、智能化发展非常不均衡，广大西部地区缺少信息化基础，信息系统应用效果差，数据采集困难。信息化建设较早的省份，由于信息化建设缺乏统一规划与顶层设计，系统建设、使用单位均不相同，交通运输主管机构与各二级单位、信息化主管部门与业务部门分头建设业务系统，系统技术架构差距大，基层单位上级机构多头管理，造成数据来源不统一，信息孤岛现象严重。各省信息化建设与应用水平的差距同样造成部级数据整合困难，无法发挥实际的应用价值。
2、缺乏工作规范与要求，数据应用机制困难
交通运输管理机构人员信息化水平差距较大，系统用户缺乏应有的信息化思想，传统的办公方式与习惯难以改变。政府管理机构没有针对信息化应用与数据的采集应用形成上下联动，奖惩结合的管理机制。信息化应用游离于业务办理之外，信息管理部门与业务部门各管一摊，无法真正将实际业务实现在线办理，真正提高办公效率创造信息价值。行业主管部门缺乏对行业企业生产监管数据进行采集的法律法规，也没有面向企业提供数据服务，既没有通过信息化手段对行业生产状况进行全面掌握，也无法通过信息服务促进产业升级和变革。
3、行业从业人员信息化意识不强，大数据应用思路缺乏
交通运输行业主管部门领导对数据指标价值与数据应用方式缺乏认识，一些信息化规划、项目规划不接地气，系统重建设轻实用，实际应用价值不高，数据采集需求无法得到贯彻。如交通运输部部省联网项目，采集了全国绝大多数省份的户车人基础数据，但是既没有制定政策法规，保证数据的更新与同步，也没有进行数据指标的价值分析，实现真正有价值的应用，造成后期维护困难，数据逐渐陈旧，实用价值迅速流失。此外，全国各省、各地交通运输行业信息化发展不均衡，部分地区信息化基础设施较为落后，整体信息化水平有待加强。
五、大数据在交通行业发展的浅见
1、积极立法，确立数据采集与应用的重要性
通过研究并制定政策法规，面向部、省、市、县各级交通主管部门及相关企业，将数据采集、整合的责任与义务进行明确规定，明确哪些信息化工作该哪级机构做，该哪些部门做，同时明确科技信息化主管部门在信息化建设中的地位并给予相应的监察、评定的权利，对行业企业明确信息化建设与数据采集方面的社会责任。另外，对交通运输行业数据进行全面的梳理，数据保密性与应用价值进行分级，对数据的采集与应用进行立法，明确不同级别的管理机构可以对哪些数据自行进行分析和利用，那些数据可以开放给社会或企业使用，真正实现大数据的应用价值。
2、加快体制改革，设立数据采集与信息化和单位考评相结合的制度
结合国家行政体制改革，进一步改变交通运输行业信息化项目建设传统的上级规划、立项、投资、监管、评审一体化管理模式，实现规划与立项、资金使用与审计、项目监管与后评审的权责分离，让信息化项目建设实际落地，上级单位更注重资金使用的控制与系统应用效果的后评审。尽快制定政策，将指定数据指标的采集和上报纳入行业管理规定；通过体制改革，设立数据上报与信息化应用水平考核制度并实现常态化，同时实现数据上报制度与行业统计工作的全面结合，改变传统的统计人工上报模式，用信息化数据支撑行业统计。考核制度包括3个层面：管理机构对企业考核；单位领导、信息化主管部门对业务部门的考核；上级主管部门对下级单位的考核。
3、加快信息化发展步伐，通过示范指导，引导大数据技术的引入与发展
在交通运输行业信息化规划与设计中，广泛引入云计算等大数据处理技术，选择试点单位，建设应用示范项目，总结大数据在交通运输行业的应用方式方法与使用价值，对具有适用性的项目进行全国推广，引导大数据技术的不断发展。
结束语
大数据时代随着全国交通运输行业各机构、各部门、各企业数据量的迅速增长，以及IT企业交通运输相关数据的迅速增长，逐渐在我们面前显现，发展大数据技术，积极应对、抓住下一次信息化变革、产业浪潮的机遇，是实现交通运输行业产业变革、结构优化、服务社会与公众能力进一步提升的关键。
参考文献
[1]周为钢，杨良怀，潘建，郑申俊，沈贝伦，沈俊青.智能交通大数据处理平台之构建[J].中国公共安全，2014，17：136-141.
[2]李杨.智能电网大数据处理技术应用现状及困境探讨[J].硅谷，2014，14：91+95.
[3]马英杰.交通大数据的发展现状与思路[J].道路交通与安全，2014，04：55-59.
