前言:中文期刊网精心挑选了大数据时代的概念与特征范文供你参考和学习,希望我们的参考范文能激发你的文章创作灵感,欢迎阅读。
大数据时代的概念与特征范文1
【关键词】物联网 大数据 智慧城镇 智能化
伴随着物联网应用的不断兴起,来自传感器和设备的数据正以指数级增长。比如对城市基础设施的监测,环境感知,城市交通,以及众多设备上的应用。物联网让各式各样的数据汇入到信息网络,加深了信息系统与物理世界的联系。然而物联网下大数据和一般数据有较大的不同,它是异构性的、多样性的、还良性的,并以这些特征冲击着社会的各个领域,为智慧城镇提供基础保障。
自1983年,IBM最新关系数据库管理系统DB2,结构化查询语言成了为政府部门的主流产品; 1991年万维网(world wide web)利用超文本传输协议(HTTP)和超文本标记语言(HTML)逐渐成为信息共享的公共服务。2003年,电脑和其它数据系统一年中所产生的信息量超过了2003年之前历史上全人类所产生的信息总量。直到2005年Apache Hadoop项目的诞生,成为了处理大数据的基础。物联网时代的大数据以及建立在这些大数据基础之上的数据挖掘已成为了一种战略资源,更为建设智慧城镇铺垫了道路。为了使物联网下的大数据成为城镇走向“智慧化”的强大引擎,还需要进一步把握物联网下大数据的发展趋势,从而实现以物联网带动大数据的发展,继而实现智慧城镇建设目标。
(一)大数据的基本概念:
由于大数据本身较为抽象,目前还没有一个公认的定义, 2009年流行于互联网直到2013年,一场大数据变革悄然来袭,影响了众多领域,因此2013年被称为大数据元年。早年,著名的Apache的开源项目Hadoop成为处理大数据的基础。后来Gartner研究机构将其定义为一种巨大规模、多样性和高增长特性的信息产业,它和普通的数据库处理系统互不兼容,需要从新的 并行数据处理平台或技术从大数据中提取有效的决策并优化信息。正如IBM首席执行官罗睿兰所说,大数据将是下一个自然资源。而大数据的处理周期与传统数据相比也从原来的月、周、天变为时、分、秒。而随着物联网时代下的大数据发展,城镇以及人们的衣食住行、娱乐、安全等,也变得越来越智能化。
(二)大数据的特征:
大数据具有典型的4V特征:Volume(大量性)、Variety(多样性)、Velocity(高速性)、典型的Value(价值性)。这四个典型特征保证了大数据比传统数据更大、更快、更好。
1.大量性:著名未来科学家阿尔文托夫勒曾预言“大数据”是三次浪潮的华彩乐章,30多年后随着信息化的发展和爆发式的增长,大数据时代如期而至,仅百度公司数据总量已接近1000PB,存储网页的数量接近1万亿,每天响应请求几十亿次,淘宝的4亿会员每天产生商品交易数据多达20TB,一分钟内“脸谱”的浏览量超过600万,而这些迅速增长的数据把人类带入了一个以PB为单位的大数据时代。
2.多样性:大数据的形式大体可以分为三类:一是结构化数据,二是非结构化数据,三是半结构化数据,由数据来源决定大数据的多样性。
3.高速性:大数据的规模大并且对响应速度有严格的要求,在分析数据输入等处理上几乎不延迟。
4.价值性:物联网时代下的大数据蕴藏的价值是巨大的,随着信息化高度发展时代,人们生活领域以及衣食住行、娱乐,都会变得越来越智能化,大数据在不久的将来遍布城市各个角落,成为“城镇”走向“智慧城镇”的强大引擎。
二、物联网下大数据发展趋势和智慧城镇建设
(一)物联网下大数据发展趋势
物联网企业的发展像互联网一样,使用物联网的用户数量要看用户贡献或使用了多少数据,因此数据是物联网企业是否成功的核心。正是因为这些联系把物联网与大数据连接在了一起。物联网产生的大数据之间也是有区别的,最基本的是结构化数据也是最容易被处理的,其次是可处理非结构化数据,如新闻等,还有就是不能被处理的非结构化数据。在物联网的运营模式里,它有着数据产生、数据收集、数据处理,决策和应用的过程。数据处理是最重要的环节也是其价值所在。
(二)推动智慧城镇建设
随着物联网,大数据等信息技术的进步,我们居住的城镇以及交通、家居、物流环保的智能化,成为了经济新的增长点。物联网把实物通过传感器与互联网进行连接,达到智能识别与管理。其结构分为四层,即感知层、网络层、应用层和实体层,每一层都与数据产生和处理有关。在感知层上,包括了三维码标签,RFID标签,GPS,传感器等,识别物体,提取信息,网络层将感知层获得的信息进行传递和简单处理,应用层是物联网与数据的深度处理融合,借助数据采集、传输实现物联网与各类实体相互应用,实体层则把物联网结构形成了环状封闭结构,从物联网到互联网,从互联网到实体,数据的产生范围成倍增长。智慧农业即属于物联网应用层也是智慧城镇建设的重要组成部分,与之相关的种子,土壤,化肥,温度,光照,各种养分等进行监测,这一过程中产生的相关数据,有利于辅助农业生产,提升价值。通过物联网的四层结构,提高农业生产水平的预期得以实现。智能交通是另一个代表。大数据下的智能交通通过感知层、传感器、监控、GPS等产生的海量数据与天气状况等数据相结合,监控到每条路、每辆车,将信息处理后传递给人们,为人们提供最好的体验,提升通行效率,降低事故率。
综上所述,物联网下的大数据应用是主体,技术是手段,智慧城镇的发展时期推广的重要手段,而推广进程中也对物联网结构,、大数据处理提出了更现实生动的要求。物联网下大数据的发展将为城镇带来智慧的变革,实现建设智慧城镇的目标。
参考文献:
[1]孟小峰,慈祥,大数据管理:概念、技术与挑战【J】计算机研究与发展,2013(1)
[2]任玉梅,智慧城市的生活图景【J】大众科学,2014(4)
大数据时代的概念与特征范文2
[关键词] 大数据;审计工作;挑战与对策
[中图分类号] F230 [文献标识码] B
一、大数据的有关概念与特征
1.“大数据时代”下CPA审计的概念
大数据作为一项新的技术革命,它给人们带来了大量的数据,科学技术的创新,是信息产业的新现象。大数据具有大容量、多样性、速度性和价值性。大容量指的是数据的数量级的功能,是一个收集的大数据,数据的来源是广泛和大量的。多样性是指大数据的数据类型呈现多样化的特点,多样化指的是数据的产生和传播,因此可以说,在大数据时代,信息的生产者和传播者是每一个人的日常。速度特征是指相对于传统的数据时效性和数据的分析,大数据时代,信息通信速度,数据“保存期更短”。价值特点和前三个特点不尽相同,它表明了时代的大数据信息和数据除了量的优势,而且是一个质的保证,这里指数据的价值性和准确性。“大数据”概念下数据是可以拓展的、可估值的、开放性的,这些特性区分了大数据和传统数据。目前我国互联网经济的快速发展,大数据时代已涉及到审计工作的各个方面。
2.CPA审计在“大数据时代”下的特征
由于社会各届的积极参与,“大数据”才可能成为一个时代。大数据时代的到来也将代表信息社会的到来,因此,审计学科也要积极参与这一新时代,以品味时代的甜蜜,行业的积极调整。大数据时代下的注册会计师审计主要靠云计算信息技术审核,也被称为云审计。文峰(2011)指出,当越来越多的企业提供云服务,越来越多的企业采用云服务。秦荣盛(2014)指出,“云计算”或审计会对审计产生深远影响的大数据,将逐步改变审计技术和方法。因此,作为注册会计师审计和认证服务的事务,也应该使用云计算的概念,以提高审计技术和方法。
二、大数据时代CPA审计工作面临的挑战
1.大数据环境下审计工作的有效性和完整性受到挑战
大数据技术在审计中逐步应用,审计成果不仅有审计报告,还有大量有价值的信息和数据,这些都可以提供给被审计单位完善管理和内部控制审计,从而更广泛的应用审计成果应用。审计工作中获取的大量数据和有关资料进行总结,可以有效地获取企业财务、经营管理和制度设计等方面的内在规律和发展方向。通过大数据技术,我们可以分析被审计单位与审计问题、注册会计师与审计成果,进一步采用信息技术数据化处理,形成审计应用数据库,在下一次审计活动中,注册会计师就可以根据审计计划,通过纪录信息有针对性地按照审计目标进行审计。
2.大数据环境给审计思维模式带来挑战
一些传统的审计方法,在大数据环境下不再合适,例如传统的抽样审计。因此审计抽样方法应该向总体审计方法转变。之前没有对所有数据进行访问、处理和分析,审计方式的思维方式是以小样本性质和随机抽样分析的方式来进行,根据样本分析结果来推断审计对象的总体情况,审核过程更依赖审计抽样方法。但在大数据环境下,它可以收集和分析整个领域的数据,是一种组织和分析所有数据的通用审计方法。因此在大数据环境下,注册会计师审计单位要检查所有相关数据,将审计工作与云审计有效整合,逐步形成审计模式的整体思路。这种基于整体审计模式的思维方式,将为会计师事务所的审计工作带来巨大的挑战。
3.传统的审计技术和审计方法面临挑战
经过多年的逐步的创新和多元化发展,传统的审计工作积累了很多有效的审计手段和审计技术。例如,控制测试常用的观察,访谈,业务流程描述,而且通过测试,实质性测试,检查,库存,确认等。但是,在大数据环境下,许多传统的方法都面临着巨大挑战,审计技术和方法必须在技术创新和变革的不断进步中进行。大数据环境下,数据采集、数据存储、数据处理和分析技术将不断涌现,如果继续使用传统的审计手段和审计技术,就会降低工作效率,如果要有效利用分布式结构、云数据库、联网审计等多种技术手段,就需要不断提高审计能力。
4.大数据时代基于相关分析的审计证据收集面临挑战
在审计证据收集中,通过因果关系分析收集到的审计证据,传统的思维方式是建立在因果关系的基础上,对大数据的分析更会利用相关分析发现和收集审计证据。大数据技术从审计技术角度看,提供了一个从未有过的跨域,可用于量化的相关审计信息的维度,可以记录大量的分析。大数据分析也还是没有改变审计事项之间的关系,然而大数据分析技术的关系开发与利用,使得数据分析的因果关系减少了,而是更多的倾向于应用程序的基础上的相关的数据分析。大数据分析的重要特征是基于相关性分析的证明。这对注册会计师来说,因为长期依赖因果关系进行审计证据的收集和发现,着实面临重大的挑战。
三、大数据时代下CPA审计工作的应对策略
1.加快大数据审计技术应用的法规建设
大数据技术应用要成为会计师事务所依法审计的依据,必须有一个符合其发展规律的法规支撑。云审计数据采集与存储系统的标准化和审计数据分析结果及相关电子证据的法律地位,是大数据技术在注册会计师审计中必须解决的问题。这是大数据技术充分发挥其在注册会计师审计中的重要作用的前提。目前,云计算技术还缺乏相关的法律法规,大数据计算技术的合法化是大数据面临的一个重要而紧迫的问题,尤其是数据的安全性和保密性。因此,利用大数据进行注册会计师审计必须建立一个新的审计制度或准则,而且应该特别强调大数据审计中的审计师的责任。
2.建立行业层面大数据审计分析平台
如果要在审计中实现大数据的应用,需要建立大数据分析平台。大数据审计分析平台建设有两条路径选择:一是中国注册会计师协会审计数据资源的集合,可以满足注册会计师的审计服务需求,云存储架构和云计算技术作为基础,直接构建注册会计师行业级数据审计分析平台;二是建立省级和市级的注册会计师行业数据审计分析平台。在此基础上,各省、市注册会计师行业的大数据审计分析平台整合到注册会计师行业审计数据分析平台。如果没有行业监管,那么审计市场将是一个混乱。因此,加强对行业的监督管理,也是一项必要性工作,包括行业协会的监管和行业自律监管。最好由行业协会或行业主管部门和领导的创立,聘请第三方进行数据维护,这样同时有利于研发投入审计技术。
3.推动大数据审计分析模型和审计软件的开发
行业不同需要的大数据分析模型和发展环境也不同,注册会计师审计行业需要加强对大数据分析模型的研究和软件开发,其中要结合着自身特点。大数据审计分析平台能够真正发挥注册会计师审计领域的作用,关键是要有多个可以有效解决实际问题的数据挖掘分析模型或系统审计软件。详细的合作方式应审核实践专家提供的审核问题需要解决和明确的前瞻性需求,由专家在学术研究中和数据分析工作中加强数据分析数学模型的构建和相关软件的研发。
4.加强对大数据的理解和应用能力
大数据时代是一个新的视野,它将转变生活方式,工作和思维方式,在这场巨大的技术革命中,能够抓住机遇的人,就能成为大数据或强大的数据分析计算能力的拥有者,就可以在未来的竞争中取得胜利。但是,只有审计经验和少量的数据信息或简单的数据来进行审核工作,势必会增加审计风险。因此在大数据时代,会计师事务所必须制定长期战略目标、加强对大数据的全面认知,将云审计纳入事务所的使命和战略目标,从而实现长远利益。而且可以针对个别项目进行大数据审计试点,以培养出更加具有数据分析能力的专业的审计人员。
四、结语
总之,大数据技术的不断发展给审计工作带来了新的契机,使审计工作走向精细、科学、高效,这就要求审计人员在面对新时期的具体工作时,应该树立持续发展的理念,抓住大数据技术对审计工作带来的契机,不断在审计思路和审计方法上进行创新,最大限度地利用大数据带来的机遇,争取不断提高注册会计师在大数据时代的执业能力。
[参 考 文 献]
[1]文峰.云计算与云审计――关于未来审计的概念与框架的一些思考[J].中国注册会计师,2011(2):34-36
[2]邓川,杨文莺.基于云审计的会计师事务所机遇、挑战及对策[J].财会通讯,2012(10):83-84
大数据时代的概念与特征范文3
【关键词】大数据 企业管理 问题 对策
“大数据”起源于上个世纪90年代初期,现如今这一词汇被抄得沸沸扬扬,它是大数据技术与云计算、互联网技术相互渗透融合的产物。在商业领悟中,它作为一种形式新型的资源,为企业活动带来生机与活力的同时,增加了企业管理工作的难度。本文浅谈“大数据”的概念与属性特征,继而解析大数据环境下企业管理中面临的主要问题,最后提出解决问题的对策。
一、浅谈大数据的概念与特点
概念的呈现可以将事物的基本属性展现出来,数据“Date”在拉丁语中被译为“已知”,也可以被译为“事实”。大数据(Big Date)分为广义与狭义两种内涵,广义的概念包括大数据技术、工程、科学以及大数据资料应用的范畴;狭义的概念独指大数据技术在运用的过程中获得有效信息的能力。
大数据的属性特征可以归结为以下五点:规模大、多元性、分析速率快、数据信息资料真实度高、数据资料实用价值大。
二、列举大数据环境下企业管理中面临的相关问题
1.管理者大数据思维模式不完善
现如今各领域中都可以看到大数据翻卷的海浪,大数据是一种应用工具的附着体,也是一种复杂化思维模式的外在表现形式。企业管理者因为没有构建完整的大数据思维模式,所以不能对数据资料进行精准的分析工作,此时企业管理者重定量而轻定性,在分不清数据系统的结构、数目或者属性的情况就下结论,最终致使分析结果缺乏准确性;此外思维的不完善致使有些数据信息被遗漏,这是因为企业管理者过分的重视因果关系,一门心思想要知道“为什么”,而不去探究“是什么”。总之企业管理者缺乏大数据思维模式,久而久之会导致企业管理与营销事业一片狼藉,大数据也不能发挥自身的性能为企业服务。
2.企业管理者进行资分析工作开展得不到位
尽管在某种程度上,大数据使我们的生活面貌发生改变,但是我们应该以理性的思维去看待大数据,意识到大数据分析也存在不足之处。企业管理者可以在大数据的辅助下对营销走向、商业决断、销售策略开展做好提前规划与处理工作,但是在对具体商业活动进行预计揣测工作时,企业管理者不能依赖大数据分析,如果对大数据分析产生依赖性,不确定性就会应势而生,业务形式出现多样化,此时人的情感价值观更具复杂度。总之在大数据分析充斥制约性的条件下,给企业管理者的决策带来了困扰,这也是大数据在企业应用过程中产生的最为明显问题。
3.企业管理模式死板,缺乏灵活性
大数据时代的来临,使机械化的企业管理模式受到很大的冲击。尽管在互联网技术的配合下,大多数企业企业的管理模式积极践行数据信息的发展路线,但是传统的管理思想以及思维模式根深蒂固,再加上专业操作性人才的短缺,致使很多数据信息缺乏及时性和精准性。在大数据环境下,尤其是金融与媒体企业的管理工作受到严重的打击,使企业整体事业的运营与发展受到一定的阻碍。
三、探究使问题得以解决的对策
1.使企业管理模式转向为浅度扁平化管理
大数据时代的到来,使企业管理者深度纵向的管理模式发生扭转,他们不必将决策信息一级一级的传达,保证了数据信息的时效性,使企业管理者拥有更多的时间去解决管理进程中遇到的问题。那么所谓的浅度扁平化的管理模式是什么样的呢?作者引入下图“扁平化的信息传递”模式,以待论述更具说服力。
这一管理模式也可以被视为一种管理理念,它在企业管理工作中的应用优化了该企业层级之间的结构框架,在现代信息化技术配合下,企业管理者能够在极短的时间内容获得最为真实的信息。此外该管理模式的搭建使企业管理者随时能够对企业员工的动态进行掌握与分析,也能够协助企业管理者完成对技术员工业务操作情况的监管与规划工作。这是大数据环境下企业管理性质的改变。
2.真正落实科学决策这一管理方略
在大数据环境中,企业管理者的思维模式得到了更新,他们不再对问题进行刨根问底,节约了时间去完成数据分析工作,这大大提高了分析数据的精确性;此外科学决策还表现在企业决策主体的大众化,不只是企业高层管理者与业务精英共同完成战略发案的编制以及决策工作,“普通大众”的参与使企业管理在运行的过程中数据信息来源路径实现多样化,此时在大数据环境下,信息的完整度以及真实性有了一定的保障;此外事先预测工作的开展,使海量的数据信息的应用价值明确化,保证了企业管理者决策工作的时效性以及精准性,在大数据环境下事先预算工作体现出时效性、动态性、有序性的特点,在事先预算工作的协助下,企业管理以及决策工作注入了新型的推动力。
3.数据可视化工具的应用缓解了企业管理工作中的难题
大数据时代的概念与特征范文4
随着我国互联网的发展,云计算、物联网已成为耳熟能详的词汇;但是对大多数人只是听过这些词汇但是却不能理解他们的含义。大数据时代已成为一个不可阻挡的趋势,对于图书馆服务行业来说是一种机遇也是一种挑战,图书馆行业的发展应该主动面对这一现状,应该主动面对大数据时代所带来的挑战,积极应对。我们都知道现阶段数据的发展以幂指数方程的趋势发展,大数据时代将成为图书馆行业发展的核心,因为它支撑着图书馆在新时期下的发展。但是面对这一大数字时代带来挑战,应如何积极的面对,成为图书馆发展行业首要考虑的问题。本文主要针对这一问题进行讨论,望能够找到有效的解决方案,促进图书馆行业的发展。
1 什么是大数据时代
1.1 大数据时代的概念
对于很多人来说,大数据时代这一词汇是很熟悉的,但是对于它的含义确是很陌生的。大数据时代其实很难用一个完整的定义,我们通常可解释为:大数据(Big data)通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。从这大数据时代的解析我们能够看到,大数据时代不是单单的一种技术,但是各种信息的综合体,是一个巨型的资料库。
最早提出“大数据”这一词汇的是一个全球知名咨询公司麦肯锡,他表示到:数据已渗透到各个领域,成为促进社会发展的重要因素。面对这样的形式,人们加以合理的利用海量的数据资源,将会把世界的发展推向一个新纪元。
1.2 大数据时代的特点
我们由大数据的概念很容易的了解到,它是一个多种数据库的聚合体。有些人就根据大数据的概念将其特点归结为一下三点:量大、多样、实时,有人直接将这三点简单的成为3V特征(三个特征的首字母都是V开头,简称为3V)。但是我认为大数据时代的特点除了这三点外还其他的,诸如数据价值密度高、处理数据快的特点。因此大数据时代特点我们可以总结为:①数据量大,也就是说数据的体量大,对于体量的衡量我们已经不能用传统的衡量方式了。②种类的多样性,大数据库的种类包含众多的行业,多个领域,而且具有文本、图像、影视等多种样式,这一特点尤其适用于图书馆的发展;③更新速度快,也就是我们说的实时性,大数据的更新每时每刻都在发生,保证了数据的实时性。④数据的价值密度高,涉及到传输、决策、感知、控制开放式循环的大数据,大量的不相关信息对未来发展模式和趋势的可预测性分析起着至关重要的作用。⑤处理速度快,数据持续到达,数据分析要求实时处理而非批量式分析。
2 大数据时代下图书馆面临的机遇与挑战
我们由大数据时代的特点可知,随着大数据时代的发展,处理速度和更新速度使得其利用价值在不断地上升,在大时代数据对图书馆行业的发展有着很大的影响。
2.1 大数据时代下图书馆面临着挑战
在新的时代下要求图书馆服务行业要对其图书馆内部资料有一个充分的了解,而且这种了解要紧紧跟随着图书馆内部资料的更新不断改变。传统的图书馆服务行业的特点就是人工管理占很大一部分,数据更新速度差,管理效率低下,比较浪费时间;由于人们对知识的渴望,图书馆的作用越来越大;图书馆场地的局限也是一个重要的问题;大数据时代的高效性、实时性是传统的图书馆服务行业所不能比拟的,如何在大数据时代下更好的发展图书馆服务行业成为一个重要的问题。
2.2 大数据时代下图书馆面临着机遇
其实在大数据时代下图书馆的发展,机遇与挑战而言,机遇所占的比例不少于挑战的比例。大数据时代下数据形式有多样化、信息更新的实时性、快速的处理速度,大数据这些特点都将会促进者图书馆服务行业的发展,未来会成为图书馆服务行业发展的核心部分。
3 图书馆行业应该如何应对大数据时代下的影响
面对大数据时代下的机遇与挑战,图书馆服务不能坐以待毙,应该积极的面对挑战,勇于创先,实现机遇利用率的最大化。
3.1 创新图书馆管理方式,提高图书馆的智能化管理水平
传统图书馆管理模式已不能适应快速发展的社会,对于图书馆的管理,我们应该做到与时俱进。创新图书馆的管理方式是适应社会发展的必然趋势。我们可以充分利用大数据时代量大、快速、实时的特点,提高图书馆的智能化管理水平。数字化时代,文献资源等进行数字化、语义化处理是图书馆进行数据处理的主要模式,在此基础上借助网络服务,实现数据共享,从而最大程度满足用户需要。
大数据时代的到来可以快速的提升图书馆的服务水平,大数据可以以最快的速度更新图书馆的资源,并对资源进行分类,让人们根据自己的喜好可以快速的筛选出所需要的种类,节约借书人时间的同时也减少了图书馆行业的压力。
3.2 高度关注图书馆用户数据和信息
为了迎接大数据时代下挑战,要提升图书馆服务质量;我们首先要注重的就是用户的需求。我们都知道大数据内的资料很多,但不一定都是客户们需要的资源。因此我们要做到尽可能的满足用户们的需求。
做好用户们的需求我们就要做好以下几点:①根据用户们的网页访问数量,统计、整理出哪些资源是比较受欢迎的,对其M行大量的收集。②了解用户的爱好和价值取向,根据其不同的喜好可以向不同的人群进行资料的推荐。
4 总结
在大数据时代下,虽然图书馆服务行业受到了很多的挑战,但是同时也遇到了很多的机遇,我们要相信,随着图书馆服务行业的不断发展和创新,一定能跟随时代的潮流,为我们提供更优质的服务。
参考文献
[1]韩翠峰.大数据时代图书馆的服务创新与发展[J].图书馆.2013(01)
大数据时代的概念与特征范文5
大数据,作为一种数据管理的理念和方式,其之所以出现,是云计算和物联网等信息技术的发展,与人类社会所积累的数据高速增长并海量积累相结合的结果。无论是如何定义,从本质上,大数据是信息管理者在当今的信息技术条件下,为解决新的海量信息处理需求,所提出的解决策略。而作为典型的信息管理活动之一的档案事业,势必会受到大数据理念的影响。
大数据并不是一个严谨而完整的学术概念,其所包含的内容相对比较抽象,从字面意义上进行理解,大数据所指的是数据规模的庞大。但从这一意义上来看,显然无法与传统的以往一系列概念进行区别,如“海量数据”(Massive Data)、“超大规模数据”(Very Large Data)。在学术界,对于大数据的定义尚未形成统一的观点,但综合各种说法,主流的思路是从大数据的特征出发,通过归纳的方式,通过对特征的描述进行定义。其中最有代表性的是3V定义[1],即认为大数据需满足3个特点:规模性(Volume)、多样性(Variety)和高速性(Velocity)。此外在实践层面,普遍认为大数据具有全数据规模、多数据类型、低价值密度、高处理速度的特点。
在数据管理理念层面,大数据的特点在于全数据规模、丰富的数据类型(可能包含半结构化数据)、全数据处理对象、多数据处理工具;在数据处理技术层面,大数据体现为对云计算和新一代数据库的应用;在操作方式层面,大数据体现为对零散信息价值的重视及对数据之间相关而非因果关系的分析。
二、大数据对档案工作带来的机遇
(一)解决信息化背景下档案的“胀库”问题
近年来,随着电子文件的理念逐步得到认可,以及档案的单位管理成本的降低,加之人们对于归档保存的重要性的认识的提升,我国的档案总量步入了一个高速增长的时期[2],但与此同时,信息化背景下的档案数据库胀库问题也随之到来了,其中较为明显的表现为“新增数据失败”等[3],胀库问题带来的,不仅仅对新增档案管理上的难题,同样重要的是,由于胀库现象的出现,档案的服务利用的效率将大打折扣,其原因在于案卷在出现胀库的过程中,无法及时有效地归档并建立索引以提供服务,破坏了档案案卷之间的连续性和关联性,降低了档案中所提供的信息的价值。信息化背景下档案的“胀库”问题,本质上在于存储和计算资源分配的不够合理,传统的数据库架构在处理新的海量数据的过程中,灵活性远远不够。解决这一问题,需要求助于大数据技术框架中的云计算技术[4],利用云计算技术强大的调配计算资源的能力,根据数据处理规模的需要,配置数字化档案管理所需要的存储和计算资源,保证档案的服务利用效率。
(二)有利于推动社会档案观的普及
大数据的核心在于从海量的数据中挖掘价值[5],这为档案价值的进一步发现和提升,提供了一个新的思路。传统的档案服务利用概念中,档案的服务利用对象是特定并且相对单一的,原因在于档案通过卷宗的形式,将一个相对完整的信息“包裹”存留,这部分相对完整的信息最终成为了档案卷宗的主题。而在服务利用的过程中,“主题匹配”成为了最为常见的档案定位方式,而主要来自于政府机关、企事业单位的日常运行信息形成的档案,其主题自然会牢牢地与其形成机关的业务活动相对应,而档案卷宗中所包含的零散的信息价值,相对容易被忽略,如今被公众广泛利用的档案,多数是民生档案[6],而其他类型档案中的零散信息价值,缺乏有效的挖掘服务利用手段,这是社会档案观在普及过程中必须解决的问题之一,即如何帮助公众挖掘他们所关心的分散于海量档案中的信息价值。大数据为档案的服务利用提供了新的价值挖掘工具,使得分散在海量数据中的零散价值成为可能,这就意味借助大数据的信息分析工具,公众将能够从主题上看上去并不相关的众多档案中,发掘其自身所需要的信息,获取相应的信息价值,将推动公众逐渐意识到档案作为当今社会最重要的信息价值载体之一的重要意义,而一旦这样的意识逐步成型,档案社会观将得到普遍的认可。
(三)有利于处理多载体类型的档案
信息技术的发展对于档案管理工作的重要影响之一,就是提供了多样化的信息载体形式,丰富了档案的类型,从最原始的纸质载体的文书档案,发展到如今的音像档案、图片等等。而随着电子文件概念不断获得认可,新的信息载体形式层出不穷,从理论上讲,每当出现一种新的信息载体形式,就会相对应地出现该载体形式的档案。这就意味着未来档案的管理工作必将是基于多载体的,其载体的丰富程度可能会远远超过我们的预期,而为最大程度保证原始证据价值,在技术条件允许的前提下,未来的档案管理工作将会尝试接受半结构化的数据作为档案,以最大程度地保留证据价值[7]。这使得未来的档案载体形式将呈现数量多、增长快的特点,这就要求针对具体档案类型的管理工具,或者抽象为一类特定的数据处理工具,是无法实现“One size fit all”的,即不再存在能够完美处理所有的档案载体类型的管理工具。这一点上与大数据对处理多数据类型过程中所提出的数据工具组合的理念,是相一致的。未来的档案服务利用活动,由于其面向的档案对象的载体是多样的,对其进行利用的工具也将是多样的,甚至为处理一些半结构化的数据的过程中,可能会需要多种数据处理工具的组合。
(四)有利于电子文件的管理
大数据将从真实性、有效性、及时性三个方面提升电子文件的管理水平。首先从真实性角度考虑,由于电子文件惊人的增长速度,其真实性鉴定工作一直是困扰档案工作者的难题之一,传统的“直接鉴定法”在实际操作的过程中所消耗的人力物力成本过于巨大[8],因此鉴定文件的真实性需要求助于大数据技术处理海量数据并分析复杂数据的能力;第二,从有效性角度考虑,电子文件的结构化特征并不明显,大量的电子文件都是半结构化甚至是非结构化的,在这种数据类型情况并不稳定的前提下,处理数据对象单一的传统档案管理数据库结构是难于驾驭的,而大数据技术框架下对于多数据结构的兼容性,能够较好地解决这一问题,提升对电子文件进行管理的有效性;第三,从及时性的角度考虑,电子文件的指数增长,使得及时地对新增档案进行管理成为了档案工作者所面临的一大难题,这样的海量数据的实时处理,是档案管理过程中前所未有的,这需要利用大数据技术框架中通过云计算的方式提升数据处理的及时性,才能保证电子文件管理的及时性。
三、大数据背景下档案工作的发展趋势
(一)从数字化到数据化
为应对信息时代对于档案工作新要求,档案数字化的工作已经进行了多年,并在一定程度上解决了传统档案利用信息技术进行管理及共享的问题[9],收到了相当的成效。但在大数据时代背景下,数字化仅仅是解决了载体形式或者说是信息技术的应用问题,可以理解为档案工作对信息技术的适应性应用,对于深入的数据挖掘与利用是远远不够的。在大数据的时代背景下,信息管理者已经不再满足于更易管理和共享的信息形式,应更为关注信息所能带来的价值,这就要求对于档案的管理工作框架,需要实现从数字化到数据化的转变,即不仅仅能够实现对档案案卷的数字化管理,更能够根据海量数据挖掘利用的需要,对档案的管理深入到数据层面,这将更为适合大数据技术架构下对数据的“流处理”模式。
(二)从信息共享到信息价值共享
随着大数据时代的到来,数据挖掘技术的应用进入了一个全新的阶段,所有的信息管理者都面临着同样一个问题:将简单而直接的信息共享活动转换为更为高级的信息价值的共享,即需要对自身所掌握的信息的价值有清晰的掌握和准确的理解,对应到档案工作者的现状上,即档案工作者仅仅了解自己在管理哪些档案并提供服务利用,已经无法适应大数据时代对档案服务利用的要求了,而需要能够了解自己所掌握的档案能做什么,所提供的档案利用服务所实现的是什么功能,也就是要明确所掌握的档案的价值。这需要对档案利用服务的认识有更加深入的认识,在大数据时代的背景下,由于对信息价值提取效率的提升,对于信息价值的共享将成为所有信息服务利用的主流趋势,这对档案服务利用工作将是全新的挑战,这不仅仅要求能够灵活地运用大数据技术在整合档案数据的基础上挖掘其中蕴含的价值,更加需要档案工作者对于信息价值有着更为敏感的“嗅觉”。
四、大数据对档案工作带来的挑战
(一)如何嵌入数据挖掘环节
传统的档案管理活动,最为通行的说法是包含收集、整理、保管、鉴定、统计和提供利用六个主要环节,这六个环节组成了基本的档案管理活动,并组成了一次完整的信息从收集到提供利用的过程。在大数据的时代背景下,对于档案管理活动提出了新的要求,即主动地挖掘其中的价值并提供利用服务,这就涉及到一个流程嵌入的问题,即数据挖掘环节应该通过什么样的方式嵌入到档案管理活动中来,是作为一个单独的环节嵌入到档案的管理流程之中,还是在传统的档案管理活动的某一环节中实现数据挖掘的功能,直接关系到档案管理活动流程的合理性。数据挖掘的嵌入问题,当档案事业逐步步入电子文件时代之后,必须要解决的问题。
(二)如何保障档案信息的安全性
大数据对于档案信息的共享程度提出了更高的要求,只有在档案资源高度共享的情况下,大数据技术框架下的云计算平台才能发挥作用,真正实现档案信息价值的利用。但随之而来,就是档案信息的安全性问题,如何解决在多类型、多结构、高共享程度状态下的数据安全问题,已经显得十分棘手。工作人员操作失误、设备及网络故障、计算机病毒、网络黑客攻击等对档案信息安全构成威胁的因素,在大数据的技术框架下,所造成的威胁可能会被相应地放大。大数据时代的档案信息的保密工作,其重心很有可能不再是保密体制的设计,而更有可能是信息安全技术的有效应用。
大数据时代的概念与特征范文6
【关键词】 大数据 信息化建设 个人隐私 保护
一、引言
如今,随着信息技术和网络技术的不断发展,互联网已经成为人们生活中不可或缺的重要元素,但是人们的上网浏览记录中隐藏着大量的个人信息,一些不法分子利用这些数据信息进行违法犯罪行为,损害了公民的合法权益,也进一步扰乱了正常的网路秩序,这些都是亟待解决的问题。
二、相关概念的界定
2.1个人隐私的概念
个人隐私伴随着人类文明的出现而出现,是人类文明的重要标志,通常开说,个人的私人生活和安宁不受到他人的非法干扰,私密信息保密不受到他人的非法搜集、探秘和公开,个人的利益得到合法保护。保护个人隐私不受侵害是公民具有的基本合法权益,在现代社会,尤其是西方经济发达国家,保护个人隐私已经成为公民的基本常识,侵害个人隐私行为将会受到法律的惩处。
2.2大数据的概念和基本特征
大数据概念起源于美国,基本含义是所涉及的规模巨大到无法通过人工在合理的时间内达到截取、管理、处理和整理的人类所能解读的信息。大数据是伴随着计算机和互联网技术的出现而发展起来的新兴事物,在大数据时代下,互联网安全受到前所未有的挑战,很多互联网公司都掌握着大量的用户个人信息,这些信息一旦泄露,必将给违法分子以可乘之机,正常的社会秩序也将被扰乱,严重影响了地区经济发展。
2.3大数据下个人隐私的新特点
①隐私的数据化。大数据下个人信息的典型特征就是隐私的数据化,这也是与小数据时代的根本区别所在,个人隐私隐藏在数据化的个人信息中。②隐私的商业化。在大数据时代下,泄露的个人信息很有可能被二次利用,或被私底下进行交易和转让,为不法者谋取不正当的经济利益。③隐私换取个性化服务。一些互联网商家为我们提供贴心的个的同时,用户地浏览数据也被商家进行采集和分析,预测用户的行为,从而实现精准营销。用户实际上是用自己的个人信息换取了商家的个性化服务。
三、大数据时代下保护个人隐私的重要举措
3.1完善个人隐私的相关立法
个人隐私作为公民的合法所有物应该受到法律的保护。在日益复杂的网络环境下保护个人隐私不受侵害的首要条件就是要建立健全的相关保障性法律,为公民寻求法律保护提供支持。从现实情况来看,我国在保护个人隐私方面有四十多部法律,但是这些法律的出台首先只是约束个人,对企业和国家机关的约束力度不够。我国立法机关一定要提起对这一问题的高度重视,从我国国情出发,根据人民的意愿逐步完善相关法律体系的建设,加强对机构行为的约束力度,同时掌握公民最大、最全数据的政府机构更应该成为法律约束的重点对象。同时在大数据时代下应该充分考虑大数据的特性,扩宽个人数据的外延,用法律手段维护个人的权益不受损害。
3.2加强行业自律性建设
加强行业自律是预防隐私侵犯行为发生的最行之有效的办法之一。在大数据时代下,相关互联网企业应该提升自律精神,加强自身思想道德建设,在遵守个人隐私数据相关法律相关条文的前提下,采取一定的自律措施来规范对消费者个人数据的使用行为。企业只有提升了对自身行为的自律性和自省性才能从根本上杜绝侵害消费者个人信息的行为,维护正常的社会秩序。
3.3提升公民的个人信息保护意识
公民自我保护意识的提升也是解决当前大数据时代下个人信息泄露的关键因素。我们生活在大数据时代下,个人信息难免会受到智能设备的监控和采集,需要提升自身的隐私信息保护意识,学会辨别信息,对相关信息被储存和挪用有一个清晰地认识,有节制的让自己的数据被记录。
四、结束语
总的来说,大数据的个人隐私保护还处于起步阶段,尽管隐私保护对用户来说是一个重要的问题,对于广大的用户通过实行全民教育与技术防范同步的方式,提高人们对个人信息的自我保护意识,进一步规范互联网公司相应的经营管理行为,维护正常的社会秩序,保护公民的隐私权不受侵害。
参 考 文 献
[1]刘雅辉,张铁赢,靳小龙,程学旗. 大数据时代的个人隐私保护[J]. 计算机研究与发展,2015,01:229-247.
[2]黄成鹏. 大数据时代的个人隐私[D].华中师范大学,2015.