前言:中文期刊网精心挑选了大数据时代的定义与特点范文供你参考和学习,希望我们的参考范文能激发你的文章创作灵感,欢迎阅读。
大数据时代的定义与特点范文1
【关键词】大数据; 管理决策; 影响; 企业
引言
随着市场经济全球化,各国经济不断融合,各国之间的市场经济间都存在着激烈的竞争,随之带来的是各企业之间的强力竞争。这不仅是企业间的经济竞争,更是企业管理者间的能力竞争。这就要求决策者根据当前市场形势分析复杂的行业环境,做出正确的决策。大数据作为网络时代背景下的一次企业技术革命改革,正确地理解大数据的意义及内涵,有利于企业管理者针对企业特征,利用企业优势做出正确有效的管理决策,促进企业发展。
一、对大数据定义及其特征理解
1.大数据的定义。
对于大数据的理解,不同的机构给出的定义略有不同,麦肯锡全球研究所指出:所谓大数据,是数据规模庞大,远远超出传统数据软件对数据获取、储存、管理、分析等方面的要求的一种数据集合。据有四大特征分别为:数据规模海量、数据流转快速、数据类型多样、价值密度低。而专业研究机构Gartner给出的定义则是:大数据是一种适应海量、高增长率、多样化信息资产的具有更强决策力、洞察发现力和流程优化能力的处理模式。对于大数据的应用,其意义不在于掌握庞大的数据信息,而是对海量数据进行专业化处理后理解分析,大数据更注重对信息的处理能及,及处理后带来的实际化效益。如果对不同的大数据定义进行整理分析,可发现,这些定义都是在大数据本身具有的特征上形成的,并且多在强调现有技术手段对海量数据进行处理的困难性。且这些定义所关注重点更多的为其价值性。所以,大部分学者认为大数据的意义并不在于数据本身,更多的是作为基础性资源。企业采集、储存、使用大数据的能力,才是大数据是否具有商业价值的关键。
2.大数据的特征。
目前各学术领域对大数据的理解很多样化,对于定义还并没有一个严格的说法。但不难看出,大数据首要特征就是其数据信息庞大,海量化。就一般情况来说,普通大数据集合最少以TB为储存单位,更有甚者,大数据以PB为储存单位。在经济飞速发展的今天,几PB甚至十几PB的大数据信息并不罕见。例如目前世界最大的连锁零售超市,沃尔玛公司。其数据信息早在2010年就达到了2500TB。其次大数据的特征就是其数据流转快速。随着社会经济发展,科学进步,数据信息的产生趋于海量化。随着通讯技术和网络的不断发展,对巨型数据的处理上迈向高速化。互联网、云计算等网络的发展还有智能移动通讯设备的进步及普及,很大程度上促进加速了数据的产生与流转。除此之外,大数据还具有多样化的特征。在当今社会形势下形成的数据信息领域,其数据样式往往有多种形态存在。大数据的多样化致使大数据主要成为两大分类,即数据化结构和非数据化结构。所谓结构化数据,是在正常产业运行企业交易过程中产生的,结构化数据的处理,根据特定的数据处理方式将数据处理后进行储存记录,以便于日后应用及分析。而非结构化数据是根据互联网海量点击量,和大量的图片文字的传输和射频识别技术的发展产生的。这类数据主要产生于人与人之间,人与机器之间,或机器与机器之间。
二、大数据影响企业管理决策
决策是一个企业是否正确发展的关键,一个决策的产生,要经过资料收集,计划制定等多个阶段。一个企业的管理决策,涵盖了企业发展的战略性决策,又包括着战略性决策如何具体实施的小的决策。这种和决策不仅在企业未来和环境方面进行预测,也对企业的内部资源进行调配。决策作为一种极具动态性和复杂性的一种管理行为,面对着收集信息,对信息进行筛选,解决各类信息冲突的作用。日益成熟的大数据下,各种信息的剧烈碰撞对当前企业决策影响巨大。其影响不仅覆盖企业决策的主体,也影响企业思维模式组织结构等方面。
1.决策主体受大数据影响。
决策的产生受企业文化、组织、前景等多方面影响,但最终结果就其核心还归根于决策的制定者。一个企业的决策主体主要分为两类,一类是企业的高层管理者,其所处位置与拥有的权限能让高层管理者在决策中发挥至关重要的作用。另一类是普通员工或者是交基层的管理者,对于这类决策主体来说,他们虽然没有拥有绝对性的决策作用,但他们所创造的产品、服务、管理等更加基础,更贴近市场,符合社会需求。在普通员工创造服务产品的过程中,可以主动与客户交流,引导其参与产品的设计,使产品更加符合客户需求。并且在产品生产上市的过程中不断与客户交流,根据反馈信息对产品加以改进等,由此帮助企业快速正确发展。
在经济全球化,全球网络化的时代,各产业之间的交叉越来越多,之间的界限也越来越模糊。大数据的出现,使企业传统模式的决策主体由高层管理者向基层管理者甚至普通工转变,优秀的表现突出的员工有机会参与企业决策,企业决策主体多样化。另一方面,从企业决策的信息来源分析,网络的快速发展,信息大爆炸时代致使普通民众也可以为企业出谋划策,成为企业决策的主体,这也表示企业决策主体普遍化,由企业高层精英像普通民众发展。
2.企业决策权力受大数据的影响。
大数据下的企业决策,不仅在决策主体上发生了变化,在企业决策权的分配上,及决策权力的大小方面都有所改变。企业决策权力的配置方面主要发生以下几点变化。企业各组织之间的决策权分配,组织与外部因地的决策权分配,还有就是组织内部团队之间的决策权分配。除此之外决策权力大小的分配上决定了企业决策权利集中制或是分散制。集中制的决策权说明企业高层掌握着企业大多数的决策权力,分散式的决策主要是只决策权部分下放到基层管理者手中,每个部门都具有一定程度的决策权利。
传统的企业决策权力,更多的是集中制的决策形式,这种形式具有企业决策片面不全方位的弊端。网络飞速发展,大数据化的情况下,企业不仅从专业渠道获取数据,数据的多样化使得集中式的权力分配方式不能全面打开企业市场。而信息多元化的获取,可以使基层管理者有一个全局性的视野,更好的对企业做出决策。故而类似金字塔形的至高权利分配方式趋于平均化。企业的权力配置顺应时展,普通员工具有决策权将是大数据背景下权力分配发展的主要方向。
3.管理决策思维方式受大数据的影响。
决策者的思维方式作为企业决策的一个重要组成因素,从根本上影响着一个决策的方向。决策时依据的数据方向不同,且不同的思维方式,会产生不同的决策结果。并且在决策的部分细节制定中,这种不同也会显现出来。大数据时代背景下,决策就应该全方位的应用大数据所带来的优势,系统的、全方位的、准确的收集信息,系统的利用数学建模等专业方式对大量数据进行分析,深度挖掘有关决策的各方面信息。传统的决策方式更多的是利用决策主体的经验,直觉对当前市场发展形势做出下一步规划。然而大数据背景下,产生的新的决策模式将会改变中“感觉”上的决策。根据大数据提供的资料与分析,全方位科学的对企业下一步进行决策。
4.决策文化受大数据的影响。
人在成长过程中所受地域不同,文化环境不同,从而形成不同的情感倾向。决策主体在制定决策过程中,如确定目标、设计试试方案的同时都会潜意识的掺杂个人情感倾向。传统的决策方法数据分析不如大数据时代下信息基础庞大。主要取决于决策主体对企业内外的测评与市场评估,主观性较强,因决策本身存在一定的风险,故而管理者任何影响决策的文化背景都有可能给决策带来不同的困难。大数据时代下,为了避免某些主观因素产生的错误,利用日益成熟的大数据分析技术,和庞大的数据体系带来的信息,理性、准确、科学的为企业决策做出更为精准的判断。更有学者指出,企业的决策者应对相关关系加大关注度,而不是过分的在意因果关系。也仅是说决策者应该将企业发展决策侧重于充分利用现代科技技术与现有数据充分发挥自身价值,而不是过分关注企业决策者思维方向。
三、大数据在企业决策中产生的问题
大数据时代的临近,给企业带来了很多好处,但与此同时也有许多问题随之产生。并且很多方面的因素都影响着管理数据和大数据之间的关系。首先在数据隐私性和知识产权方面,虽然大数据对各企业决策等方面都非常重要。随着大数据的有点背人们日益挖掘,各类数据的价值被人们日益关注,更多的数据趋于便捷化、数字化,且在各种企业中被重复利用。信息时代的数据可复制,反复利用,更大程度上存在数据外泄的情况,更有企业在收集数据时面临知识产权,隐私保密方面的问题,这将是企业大数据形式下需要克服的困难。其次,大数据的优点不在于其数据庞大,更在于庞大的数据下经过分析给企业带来的价值。很多企业对数据分析不彻底,没有深度挖掘大数据带来的价值,使数据显得鸡肋,大有使之无味弃之可惜的意思。大数据还由于数据信息庞大,现有技术处理起来较困难的问题,所以运用大容量大速率的数据处理工具也成为企业决策成败的关键因素。企业应该着重致力于技术技能的发展创新,高效利用大数据给企业带来的优势。
四、总结
在大数据的背景下,企业所面对的环境每时每秒都发生着变化。此种环境下企业若想在社会中站稳脚跟,得到发展。就必须正视大数据对企业决策管理的产生的影响。合理运用大数据,能使企业在决策管理等多方面做出正确选择,为企业决策发展等提供了新思路和方向,提升企业的社会竞争力促使企业发展壮大。
参考文献
[1]王兵,池云. 大数据对企业数据管理和管理决策的影响分析[J]. 通讯世界,2016,05:227.
[2]崔双吉. 大数据视域下的企业管理决策影响探究[J]. 中国管理信息化,2016,06:61-62.
[3]丁先宏. 互联网“大数据”视域下的企业人力资源管理的思考[J]. 现代经济信息,2016,07:55.
[4]闫巍. 网络时代背景下大数据对企业管理决策的影响探究[J]. 时代金融,2016,17:110+116.
大数据时代的定义与特点范文2
面对大数据时代愈加复杂的应用环境和特点,同有科技针对不同的用户需求和市场,率先提出“应用定义存储”和“定制”两大革命性战略。通过专业、高效的产品及解决方案,帮助各行业用户积极应对大数据时代新兴应用的挑战,在业界掀起了一场新型数据中心变革的热潮。
EDC引领中高端市场新变革
大数据时代,各种具备大数据特征的新兴应用需求逐渐增多,中高端用户对数据中心的性能、效率、安全等各方面的需求都有了革命性的变化。针对新型需求,同有科技提出划时代的“数据改变未来,应用定义存储”战略,对数据中心存储架构进行了重新定义。通过一系列“E”型产品和“E”型解决方案,帮助用户构建EDC(Efficient Data Center)高效能数据中心,满足大数据时代各种新应用对数据中心存储的不同需求。
与传统的数据中心不同,同有科技EDC高效能数据中心,对数据中心存储架构进行重新规划、设计与定位。它涵盖产品、解决方案、咨询与服务三个层面,为用户规划了先进的产品和贴近应用的解决方案,帮助用户构建高效能大数据存储架构。
通过全系列 “E”型产品和方案,同有科技EDC为用户部署的高效能数据中心,能让数据中心拥有极高的IT资源、存储资源利用率;NCS虚拟交换技术和固态存储系统,保证数据中心整体性能无瓶颈;物理机与虚拟机之间的自动漂移技术,实现数据中心业务无缝闪电接管;深度条带技术,让数据中心具备超强自愈功能。
EDC理念为用户构建新型数据中心提供了全新的思路,在市场应用以来,受到了众多用户的青睐,引发了新一轮中高端存储用户在大数据时代数据中心建设的革新热潮。
定制化引爆中小存储新理念
大数据时代,作为中国存储行业最具成长性的领域,中小存储市场迎来了爆发增长期,传统的单一产品和方案已远远不能满足用户需求。作为同有科技专为中小存储市场和安防市场打造的独立子品牌,存储小金刚了划时代的“存储,从定制开始”战略。通过“定制”的产品及解决方案、渠道政策、供应链管理和服务政策,满足各行业用户的个性化需求,全面开启定制时代。
全面区别于业界单一产品行天下的模式,存储小金刚针对中小存储市场和安防监控市场的不同行业与应用,为用户打造量身定制的产品及解决方案;根据业务模式、市场拓展、培训支持、价格体系等方面的不同需求,为合作伙伴提供定制的渠道政策;同时,更为不同类型的用户及合作伙伴,定制不同的供应链管理和服务政策,满足不同行业、不同应用的个性化需求。
目前,存储小金刚已经成功为政府、教育、医疗、企业以及安防行业等用户提供定制的存储服务,成为了中小存储市场和安防市场当仁不让的领导品牌。
坚持自主创新 推动国产化
大数据时代的定义与特点范文3
关键词:大数据;关键技术;气象数据
中图分类号:TP393.05
随着信息技术、计算机技术和互联网技术的高速发展,促进了人类社会各类数据的爆炸性增长以及云计算、物联网等技术的兴起,迎来了大数据的时代,同时也引起了多家公司和机构对大数据问题进行研究。就学术界而言,《Nature》早在2008年就推出了Big Data专刊。2008年末,“大数据”得到部分美国知名计算机科学研究人员的认可,业界组织“计算社区联盟”(Computing Community Consortium)发表了一份有影响力的白皮书《大数据计算:在商务、科学和社会领域创建革命性突破》[1]。他们的认可对“大数据”术语提供了支持。
1 大数据概述
就目前来说,大数据并没有统一的标准来定义。不过就使用者来说,它是指所涉及的资料达到无法通过目前主流软件工具,在合理时间内达到采集、存储、分析和展示的数据集。但在2012年,学术界就大数据在体积、类型、速度和价值这四个方面的特征达成了共识,即所谓大数据的4V特征:Volume(大体积)、Variety(多样性)、Velocity(高速度)、Value(价值稀薄)。
2 大数据关键技术
随着大数据时代的来临,要处理的数据类型越来越复杂,量越来越大,用现有的软件和技术很难对其进行处理,为了解决这种现状就需要突破传统技术,根据大数据的特点进行技术变革,因此就需要解决一系列针对大数据的收集与存储、挖掘与分析等技术,这些关键技术包括以下几类:
2.1 数据的收集与存储
大数据数据源分布广泛,半结构化、非结构化数据大量存在,数据类型多样,因此必须对采集的数据进行抽取和集成,提取出关系和实体,经过关联和聚合之后采用统一定义的结构来存储这些数据。由于大数据的多样性、数据量大、价值密度低等特征,传统的关系型数据库已不能满足大数据时代的数据存储。为了解决这个问题,相应的提出了许多新型数据库系统,如Google的Bigtable、Amazon的Dynamo等等,Bigtable是采用字符串的形式实现对数据库数据的高效管理;而Dynamo技术是综合使用了key/value存储、分布式哈希表(DHT)等技术对基于大数据的信息系统的可靠管理。对于这些新型数据库统一称为NoSQL(not only SQL)数据库。虽然NoSQL没有一个准确的定义,但一般认为它们具有模式自由、简易备份、简单的应用程序接口、最终一致性、支持海量数据等特征[2]。目前主流查询索引技术是以Google公司的BigTable为代表的列簇式NoSQL数据库。典型的NoSQL数据库[2]分类如表1所示:
表1 典型的NoSQL数据库
2.2 大数据挖掘与分析技术
大数据挖掘与分析是整个大数据处理流程的核心。对大数据进行挖掘分析,发现蕴含的信息,研究社会运行的规律与发展趋势是大数据的根本价值所在。在大数据时代,传统的就算和分析方法在性能上遇到了严重的瓶颈。因此需要对传统的分析方法进行变革。2004年,Google公司提出MapReduce技术,作为面向大数据分析和处理的并行计算模型,致力于通过大规模廉价服务器集群实现大数据的并行处理。MapReduce并行编程模型把计算过程分解为两个主要阶段,即Map阶段和Reduce阶段,如图1所示。Map函数处理Key/Value对,产生一系列的中间Key/Value对,Reduce函数用来合并所有具有相同Key值的中间键值对,计算最终结果[3]。目前,Google公司针对MapReduce的离线处理模式的不足,提出了一个适用于Web数据级别的交互式数据分析系统Dremel,通过将列存储和多层次的查询树结合,能实现极短时间内的海量数据分析。在离线与实时处理模式上,已经出现了二者融合的趋势。
3 气象大数据
3.1 气象大数据的内涵
气象部门每天的数据增长量有非常大的数据级,包括每天有2000多个地面站、120多个高空探测站、440多个雷达站、6颗在轨卫星、5万多个自动监测站、600多个农业监测站、300多个雷达站、90多个酸雨监测站[4]……这些数据逐天逐小时甚至到逐分钟扫描着中国各种各样的天气数据,这些数据量大,且包括不同类型的数据类型。报告会专家表示,气象数据既具备“大数据”的共性,即:数据体量巨大、数据增长速度快、数据类型多样等特点。
3.2 气象大数据的主要应用
(1)气象大数据在预灾、防灾、减灾、救灾中的应用;在大数据观点中,预测是核心,而“防灾”是应对灾害的重中之重,所以预测灾害信息显得尤为重要。然而,防灾减灾的发展方向,不仅仅是完善预警系统和提高预警准确率,气象大数据必将发挥很大的作用。
(2)大数据时代,天气预报不仅影响人们的出行,还将给人们生活带来巨变。气象大数据与社会科学诸多领域或商业行为结合,会展示出全新的价值,并大大改变人们的生活方式;比如说能源,可以观测到电力负荷历史,加上气象条件进行用电量估算,农业也是一样,建筑行业也是,通过工期历史加上历史天气就可以知道工期预测;还有交通,航班准点率历史加上机场历史天气,就可以航班延误预测,准确性非常高;还有公共卫生,通过门诊量和药品销量加上气象历史就可以知道发病率预测;在饮品方面,通过销量和温度就可以知道销量预测[5]等等。
4 结束语
挖掘大数据在气象上的应用,可以有效的提高气象预报、预警能力,从而能更加有效地为防灾、减灾、救灾提供科学依据。同时,将气象大数据应用于农业、交通业、建筑业、旅游业、销售业、保险业等各行各业,也有助于产生巨大的经济效益。
参考文献:
[1]王珊,王会举,覃雄派.架构大数据:挑战?现状与展望[J].计算机学报,2011(10).
[2]孟小峰,慈祥.大数据管理:概念?技术与挑战[J].计算机研究与发展,2013(01):146-169.
[3]覃雄派,王会举,杜小勇.大数据分析――RDBMS与MapReduce的竞争与共生[J].软件学报,2012(01).
[4]纪晓峰.中国气象局:气象大数据的商业服务与研究[J].IT专家网,2014.
[5]陆林.我国公共气象服务能力建设研究[D].云南大学,2013.
大数据时代的定义与特点范文4
关键词:大数据时代;计算机;信息处理;技术分析
目前,计算机网络用户数目变大,每天产生数万亿字节的数据,并且在大数据背景下,为计算机技术带来了新的挑战。人们需要利用新的思想和观念来处理不断增长的计算机数据。促进计算机技术的发展。随着大数据时代的不断深入,网络应用人数不断增加,数据对社会的发展来说是至关重要的。大数据不仅能够为政府工作提供帮助,还能够帮助人们解决在实际生活中遇到的信息问题。由此可见,计算机信息处理技术的应用具有十分重要的意义,能够提高人们的生活质量,并促进社会经济的发展。
1大数据和计算机信息处理技术的定义
1.1大数据定义
《华尔街日报》在有关先进技术、生产等报告中,大数据是促进经济发展的重要技术。大数据通常代表着海量数据,因此提取重要信息也变成了关键。大数据具有四个主要特征:数据处理速度快且效率高。由于大数据的独创性,还需要相关工作人员不断提高自身工作技能。
1.2计算机信息处理技术的定义
该技术主要指的是数据传输、收集、分析和处理。主要内容是计算机、通信、网络技术等。信息处理技术能够将计算机技术、数据库以及通信网络技术进行融合,数据库技术能够将重要信息进行集成,存储订单信息并有效地使用。在大数据时代背景下的计算机信息处理技术,具有更多的发展机遇,但是也面临这很多挑战,应该意识到大数据技术的重要性,提高对大数据技术的重视程度,为我国社会经济未来的发展奠定良好的发展基础。
2大数据时代的计算机信息处理技术
2.1DEEPWEB数据识别和收集技术
DEEPWEB技术是一种深入的网络技术,其数据量具有大规模信息、动态信息变化,DEEPWEB技术是通过最大化数据来集成高质量数据,将其提取并合并。
2.2分布式数据存储
分布式数据处理技术的特定实现是Google提出的GFS技术。这项技术应用广泛,受到人们的关注。行列混合存储结构(一种当今流行的技术)可以在最短的时间内加载很多数据,减少查询时间并提高磁盘使用效率。
2.3基于内容信息的数据挖掘
基于内容的数据挖掘的是指网络搜索技术和实体关联分析。现阶段,互联网信息检索的热点是排名学习算法,社交媒体中兴趣数据的特征是短文本功能,而排名学习算法就是基于此功能的。目前,我国社会经济飞速发展,计算机技术已经成为时展的必然趋势,因此,完善计算机处理技术不但可以有效提高人们的生活质量,还可以为各个领域的工作提供极大帮助,具有较高的应用价值,也是促进社会经济发展的主要方式。
3当前计算机信息处理技术存在的缺陷
3.1数据的危害
大数据技术能够促进计算机技术的发展,同时出现病毒问题时,这将会降低计算机使用效率,也降低了人们对计算机的信任程度,并降低用户对计算机的满意度。现如今,大数据通常会出现丢失数据、数据泄露和销售数据,威胁到人们的生命财产安全。人们应该意识到大数据造成的破坏与流感病毒造成的破坏相同,因为人们的个人信息无法得到有效保护。
3.2数据被盗
大部分人在使用互联网的过程中都会遇见捆绑销售的情况,威胁着人们的信息安全。个人信息将会出现在网络中,降低网络信息安全性,也使人们的个人信息通过网络泄露。
4大数据时代的机遇与挑战
4.1大数据时代的机遇
由于网络的高度普及,“大数据”已经出现在各个领域。以往的数据处理方式难以处理大量数据,因此必须使用新的概念和方法来处理和分析数据,提高数据处理效率。例如,在企业管理中,“大数据”信息处理可以提高企业管理的安全性,并提高职能部门的工作效率,从而降低企业支出成本,提高企业竞争力,也可以将大数据技术应用于教育事业,大数据技术能够分析出大学生的特征和喜好,促进大学生综合素质的发展。通过应用“大数据”信息处理技术,可以帮助商家找出消费者所需的产品,并针对消费者的对产品的偏好、需求和销售点来增加销售利益。
4.2“大数据”时代信息处理技术的挑战
4.2.1数据存储需要低成本和高可靠性应该将信息进行分类,为信息处理工作提供帮助。同时,提高信息处理的效率以及准确性也是至关重要的,真正达到结果可视化。4.2.2在大数据时代,对信息安全的要求更高大数据并没有定义数据的权限,因此大数据还涉及许多隐私问题。同时,由于大量的数据集中,不同类型的数据被存储在一起,因此必须提高数据存储的安全性。此外,由于大数据的应用效率极高,也是黑客用来攻击数据的主要手段,使人们的信息使用安全性降低。
4.2.3在大数据时代,需要专业人才大数据技术属于创新型技术,需要大量的专业人才。
5“大数据”时代的信息处理技术及其发展方向
5.1信息获取、加工和传输技术
通常,处理计算机信息的首要任务是提取数据,所有处理信息的方法都基于数据提取。所谓的数据收集可以通过对目标信息源执行实时信息监视并将必要的数据收集,存储在预制数据库中,从而向每个软件系统平台提供信息。第二步是信息处理,它对存储在数据库中的数据进行分类和处理。最后,通过数据传输技术将处理后的数据发送给需要数据的用户,以实现数据传输。
5.2信息存储技术
计算机信息存储技术是将通过特定方式检索到的信息存储到结构化数据库中的功能,如果用户需要特定信息,则可以通过特定操作直接从数据库中检索特定信息。在“大数据”时代,数据具有信息量大、信息变化快的特点,因此有必要合理应用计算机信息存储技术来存储大量数据,提高信息的安全性。以往U盘被用来存储数据,但是使用U盘存在很多弊端,U盘的存储空间小,云存储逐渐走入了人们的视野,云存储是利用云技术对数据进行存储,提高了数据存储的安全性以及使用便捷性。有了云磁盘,就不会丢失任何数据,只要在网络条件下就能够存储数据,而云磁盘的另一个优点是可以在多个平台上使用,并且可以实时同步数据。可以通过APP和网页访问计算机版本和移动版本,这对用户有很大帮助。很多人喜欢使用百度网盘。登录后无需进一步学习和研究。在百度网络磁盘上创建新文件夹还是复制和粘贴文件与在计算机上相同。
5.3信息安全技术
要想提高大数据时代信息的安全性,就必须不断完善信息安全技术。(1)创建信息安全系统。不断提高计算机信息安全专业人才,建立完善的信息安全系统。(2)不断开发大数据信息安全技术产品。随着大数据时代的来临,传统的信息处理产品已经不能满足信息处理工作的发展需求,因此必须加强安全技术产品产品开发工作。
5.4信息处理技术的发展方向
由于计算机的硬件功能有限,导致计算机网络受到限制。未来计算机网络发展的主要内容是将计算机硬件和网络数据进行分离,真正实现云计算。同时,计算机网络将逐渐演变成大数据系统,计算机信息处理技术不仅仅依靠某个公司研发,而是基于大数据技术利用多个公司进行合作研发。计算机处理技术是计算机信息处理的关键技术,也是大数据技术的基础内容。在以往的计算机信息处理工作中,都是使用硬件系统,但是由于硬件系统无法高效普及,存在很多系统无法操作计算机的现象。随着大数据时代的到来,硬件系统已经逐渐被云技术取代,并且,云技术在信息处理方面没有局限性,提高了信息处理工作的有效性。大数据技术已经与人们的生活变得息息相关,也是未来社会发展的重要趋势。
大数据时代的定义与特点范文5
【关键词】大数据;电子政务;信息服务
1.大数据概述
目前对大数据还没有标准的定义,一般认为它是一种数据量很大、数据形式多样化的非结构化数据。维基百科定义为:大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。百度百科定义为:大数据通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。从各种各样类型的数据中快速获得有价值信息的能力,就是大数据技术。IBM 从三个基本特性角度来定义大数据,即:“3V”:体量(Volume)、速度(Velocity)和多样性(Variety)。也有人认为大数据包括三个要素,即:大分析(Big Analytic)、大带宽(Big Bandwidth)和大内容(Big Con-tent)。
2.电子政务具有了“大数据”特征
近年来国内外电子政务获得了长足的发展,很多政府部门正在尝试将云计算、物联网、移动互联等新技术应用到电子政务中来,随着电子政务信息公开、公众参与、在线服务等功能的深入发展,用户对政府电子化公共服务满意度不断提升,从而推进了政府信息资源建设的步伐,电子政务在大数据时代已经具备一定的大数据特征。首先,电子政务信息资源规模总量不断增加,随着政府电子化公共服务水平的提高,用户参与电子政务的积极性日益提高,这也导致电子政务信息资源总量的激增。其次,电子政务的数据种类繁多,有电子政务内部公务处理的结构化数据,也有大量的来自于外部用户反馈的大量非结构化数据和半结构化数据。最后,随着电子政务个性化服务的深入开展,用户的个性化需求日益增多,政府部门必须根据用户的服务需求做出相应的处理,对大数据量的分析与信息潜在价值的挖掘将不可避免。电子政务的大数据特征主要体现在数据处理和信息服务两个方面,数据处理是电子政务信息服务的前提和基础,用户信息服务是数据处理效率的具体体现,以下将重点分析大数据时代电子政务的数据处理和信息服务的具体特征。
3.大数据时代电子政务的数据处理
大数据时代的来临对电子政务带来了影响和挑战,数据处理是电子政务服务用户的基础和前提,为用户提供个性化的电子化公共服务必须以快速髙效的数据处理为前提,在大数据时代用户的信息需求日益个性化、复杂化、实时化,这必然要求电子政务的信息处理也必须适应大数据的时代特征,创新电子政务数据处理方式。大数据时代的电子政务数据处理呈现出以下特征:
3.1复杂多样的数据处理
传统的电子政务数据处理在政府内网主要处理一些标准化的公文数据,在电子政务外网中主要处理数据格式和XML 格式的数据,很多政府部门通过一系列国家标准等规范使这些数据格式和 XML 格式的数据实现了规范化和统一化,这使得传统环境下电子政务数据处理基本以结构化数据为主。随着大数据时代的到来,大数据的特性与优势在政府内部日常工作和电子化公共服务中将显现出其巨大的优越性。用户对的电子政务的需求也将呈现出个性化、多样化等特点,这必然使电子政务的信息资源呈现复杂化、多样化的特点,适应社会的发展,满足用户的个性化需求,提供复杂多样的数据处理将成为大数据时代电子政务数据处理的显著特征。
3.2海量的数据存储
信息环境下,信息产生的成本快速下降,产生的方式也多种多样,存在于社会空间中的信息数据量迅猛增长,但大数据时代更会促使数据产生的范围、方式、途径发生翻天覆地的变化,人们的一举一动、一言一行、行为规律等都将产生出大量的半结构化、非结构化信息数据,信息数据的组成结构、类型格式、存在形态等都愈加复杂。电子政务信息处理对这些复杂的数据进行的应用、存储将有着极强的挑战性,其不仅有技术问题,也还包括社会问题。
3.3智能化的数据分析
传统的电子政务数据处理主要是通过结果化的公文处理、数据库处理和网络数据处理实现用户对信息服务满意的最大化。在大数据时代电子政务的数据处理范围、方式、对象、目的将日趋个性化和智能化,比如根据用户浏览政府门户网站的痕迹和参与在线服务的偏好,通过智能化的数据分析,构建出新的电子政务服务方案和策略。
4.大数据时代电子政务的信息服务
服务用户是电子政务的最终目的,为用户提供个性化的髙效的电子化公共服务是电子政务信息服务的根本目的。在大数据时代用户的信息需求日益个性化、复杂化、实时化,这必然要求电子政务的信息服务也必须适应大数据的时代特征,创新电子政务信息服务方式。电子政务的用户服务一般包括信息公开、公众参与和在线服务三个方面,大数据时代的电子政务的信息公开、公众参与和在线服务呈现出以下特征:
4.1大数据时代的电子政务信息公开
目前,政府门户网站已经逐渐成为各政府部门政务信息的主要平台,政务信息公开是以网络为工具进行政务信息资源收集、传播、贮存并将信息与公众共享。政府部门应按照《政府信息公开条例》要求,建立政务公开栏目,主动各类政务信息。在大数据时代,信息公开的内容依然应按照《政府信息公开条例》要求,而信息公开内容的页面布局应顺应大数据时代的特征发生改变,通过分析大量的用户访问和浏览的行为数据,分析用户对政务信息公开的内容的偏好,重新组合页面布局,实现个性化的政府信息公开服务。
4.2大数据时代的电子政务公众参与
目前,电子政务公众参与的渠道日趋多样化,主要的渠道有领导信箱、民意征集、留言板、网上、网上直播、在线调查、网上咨询投诉、在线访谈、公众论坛、政务微博等,随着信息技术的快速发展,一些新技术、新网络形态还将应用到电子政务公众参与中来,换句话说通过电子政务公众参与获得的用户反馈信息会越来越多样化、复杂化和个性化,这表明电子政务的公众参与具备了“大数据”的特征,因此,大数据时代的公众参与应按照大数据时代的数据处理要求,通过处理海量的结构化、非结构化和半结构化的数据,深入挖掘潜在价值,进一步优化电子政务的公众参与服务,从而提升用户的满意度和政府的公信力。
4.3大数据时代的电子政务在线服务
电子政务的在线服务功能是指通过政府网站整合政府各部门以及社会各种服务资源,完成或促进社会公众日常生活及企业经营决策活动实际事项的能力。目前,电子政务的门户网站要求能为用户提供“一站式”的服务平台,即能够为面向不同类型的用户群提供全生命周期应用主题的信息和服务,最大范围的整合服务资源。由于电子政务的在线服务的用户类型多样,需求各异,这必然要求电子政务在线服务能够具备处理用户个性化信息需求的能力,通过对海量个性化数据的处理,发掘出潜在的有价值的知识和规律,从而提升大数据时代的电子政务在线服务能力和服务质量,获得最大化的用户满意。 [科]
大数据时代的定义与特点范文6
关键词:位置大数据; 移动社交网络服务; 轨迹隐私; 行为模式
中图分类号: TP393
文献标志码: A
文章编号: 2095-2163(2016)06-0098-03
0引言
随着移动互联网和智能移动设备的应用拓展与普及,基于位置大数据的移动社交网络服务(Mobile Social Network Service based on Location Big Data,MSNSLBD)得到了快速发展,但与此同时,MSNSLBD也随即伴生了众多新的问题,其中显著突出的一类内容展现就是用户轨迹隐私将更加容易泄露。尤其是在大数据时代,移动社交网络服务轨迹隐私保护问题已日趋精深复杂,而且又牵涉到诸多领域的时新高效技术,因而如何让用户在充分享受大数据时代移动社交带来重大优势便利的同时,能够更好地保护用户的轨迹隐私,为用户的信息安全保驾护航,进而提供绿色网络环境即已成为社会与学界吸引关注、加大投入的热点与焦点。本文则针对这一课题范畴展开研究论述。
[BT4]1研究进展与研究现状分析
[BT5]1.1研究工作综论
文献[1]提出了一种空间泛化和延迟相结合的方法,保护用户的轨迹隐私和缺席隐私。文献[2-3]针对轨迹数据挖掘中可能频繁访问模式的应用,提出了一种保护频繁访问模式的轨迹隐私保护方法BF-P2kA。具体地,该方法就是以前缀树为基础实现构建轨迹k-匿名集。文献[4]则设计了一种在移动社交网络中推导用户位置的方法,该方法通过用户n个朋友提供的推理攻击方法已可达到80%的精确度。文献[5-6]还针对在近邻服务中,当用户在某个朋友的附近时,系统就会自动将用户的位置告知其朋友,从而可能导致用户轨迹隐私泄露给不可信的朋友或者服务提供商的情况,而相应研发了一种近邻服务中的轨迹隐私保护方法。在此基础上,更有文献[7-8]针对当前社交网络隐私属性匿名算法中存在的合理模型匮乏、属性分布特征扰动大、忽视社交结构和非敏感属性对敏感属性分布的影响等现实缺点,发展性地推出了一种基于节点分割的隐私属性匿名算法。另外,文献[9]继而又提出了一种基于GSNPP算法的隐私保护方法。方法通过对社交网络中节点进行聚类,再对生成的簇通过簇内泛化及簇间泛化,来对社交网络引入匿名化处理,拟达到隐私保护的目的。此外,文献[10]也研究了基于隐私信息检索的位置大数据隐私保护技术。
[BT5]1.2研究成果解析
[JP2]综上探讨可知,这些文献虽然针对MSNSLBD中轨迹隐私保护获得了可观技术进展,但仍存在一定不足,具体剖析如下。[JP]
1.2.1[ZK(]缺乏合理有效的MSNSLBD轨迹隐私保护算法[ZK)]
大数据时代,黑客可以从多种渠道获得用户公开信息和位置数据,然后结合位置数据推测出用户的隐私信息[5]。近年来,对这方面的研究都H仅从单一网络的角度来分析影响MSNSLBD的属性,而未能综合网络技术、心理学、社会学、信息学等来全面研究针对MSNSLBD属性的关联作用,也未能灵活引入如下新情况所带来的发展新因素:在位置大数据时代,随着位置感知技术(传感设备、移动通信等)的进步,将导致事物和人的地理位置呈现出数据化[9]等情形。如此片面的研究后果,即会使得现有轨迹隐私保护算法必然缺乏必要的合理性及有效性。
1.2.2[ZK(]对用户位置与行为模式之间映射关系方面的研究,尚处于起步阶段[ZK)]
针对位置大数据的移动社交网络服务轨迹隐私保护,即应围绕用户位置与行为模式之间的映射关系而着重展开研究,力争减弱攻击者收集到的从匿名用户位置推测可得的个性向量与不同用户之间的个性向量上的性能匹配,从而弱化两者之间的相关度。
同时研究可知,保护用户位置大数据隐私的关键问题是:在确保服务可用的前提下,通过对映射后的个性向量设计执行非数据化,尽量使得个性向量实现模糊化。因而针对不同的应用特点,既要获得位置数据个性向量的模糊化结果,又要保持位置服务的准确性,亟需相关人员进一步的研究投入。
[JP3]1.2.3[ZK(]对MSNSLBD轨迹隐私问题的理解尚处于比较浅的层面[ZK)][JP]
分享位置为用户提供方便的同时,也成为泄露用户隐私的根源,用户将不得不面对由此带来的潜在风险。如何在保护轨迹隐私、提高服务质量、增强MSNSLBD应用的吸引力之间维系最佳平衡则是时下MSNSLBD面临的严峻挑战[1]。
MSNSLBD服务的核心表述即是位置分享,因而既要考虑位置分享形成的实用优势,又要关注对轨迹隐私的周到保护。但是如果偏重于保护轨迹隐私、从而削弱了位置分享这项核心功能,MSNSLBD的吸引力就必将出现急剧下降。
特别是在大数据时代,强力提倡绿色网络的大环境下,MSNSLBD陆续涌现的一些新问题,则需要结合社会学、地理学、经济学、信息学等多个学科,并同时展开全方位、多角度的梳理分析,而现有对这些问题的研究却仍未臻至客观、全面。
[HS(3][HT5H][ST5HZ]2[ZK(]位置大数据的移动社交网络服务轨迹隐私保护的研究方向[ZK)][HS)]
[BT5]2.1重新定义MSNSLBD的轨迹隐私δ
[HT5”SS][ST5”BZ]
通过对基于启发式隐私度量、概率推测、隐私信息检索的大数据时代MSNSLBD隐私保护技术的探讨分析;并立足于网络技术、心理学、社会学、信息学等多维角度,而非仅是从网络技术单一角度,针对影响MSNSLBD的属性展开全方位量化分析,同时改进调用如上技术,由此可得位置大数据的移动社交网络服务轨迹隐私δ的数学定义为:
δ=[SX(](P(t, i, Lt)-p(t, i))*P(t, i+1)*dan(xi, xj)min[]p(i)[SX)][JY](1)
其中,p(i)表示用户处于敏感位置的后验概率;danmin表示最相近的2个向量的差异程度,代表不同用户的位置数据映射到用户个性向量xi和xj的不同元素个数的最小值; p(t,i)表示用户在t时刻处于位置s(i)的概率,P(t,i+1) 表示用户在t时刻处于位置s(i)下一步移动的概率;Lt则表示攻击者收集到的用户在时刻t之前的位置数据。
2.2[ZK(]为了降低轨迹隐私泄露的风险,对用户位置与行为模式之间映射后的个性向量模糊化考虑移动社交网络中用户相关的位置数据与非位置数据之间的关系,防止攻击者利用该关系推测用户的敏感信息。因而需要减少用户的位置数据数量,降低用户位置数据中的元素映射为个性向量中有效元素的能力。研究用户位置与行为模式之间的映射关系,以设法降低攻粽吒据从匿名用户位置推测出的个性向量与攻击者收集到的不同用户之间的个性向量的匹配程度。在确保服务可用的前提下,尽量使映射后的个性向量显得模糊,如此才能最大限度地降低轨迹隐私泄露的风险。
2.3[建立MSNSLBD轨迹隐私保护模型,构建MSNSLBD轨迹隐私保护框架在大数据时代,MSNSLBD的研究中,既要考虑位置大数据的特点,又要保护移动社交网络服务,这就使得大范围、多角度分析、研究造成轨迹隐私泄露风险的原因已然成为研究必须。综合时下各类学术成果可知,最佳技术方案可描述为:要尽快建立合理有效的MSNSLBD轨迹隐私保护模型,同时科学构建MSNSLBD轨迹隐私保护框架。
[BT4]3拟解决的关键科学问题
[BT5]3.1多角度、全方位量化分析影响MSNSLBD的属性
从网络技术、心理学、社会学、信息学等多个角度,而不是从网络技术单一角度,全方位量化分析影响MSNSLBD的属性。但由于用户心理的不确定性,不同用户之间关系的复杂性,信息的海量性,等等这些,都给科学有效定义MSNSLBD轨迹隐私增加难度。
建立合理有效的MSNSLBD轨迹隐私保护模型,给出轨迹隐私保护算法,并验证其先进性研究需要重点构建位置大数据的移动社交网络服务轨迹隐私保护的模型,并在优化改进MSNSLBD轨迹隐私定义的前提下,给出更加合理的MSNSLBD轨迹隐私保护算法,在此基础上还需进一步加入仿真验证,由此证明轨迹隐私保护算法的先进性。
[BT4]4结束语
大数据是指一种包含大量信息、具有高新价值的数据集合。在大数据时代,由于传感设备、移动通信等位置感知技术的发展,从而形成了位置大数据。人们在充分享用位置大数据挖掘出各种各样的信息、使用位置大数据带来便利的同时,用户自身的隐私也不可避免地受到位置大数据的严重威胁[7-13]。因此,如何在充分利用位置大数据的同时,更好地保护用户的行为模式、行为习惯、地理位置等敏感信息,如何构建一个MSNSLBD轨迹隐私保护框架?如何在确保MSNSLBD可用的前提下,尽量让用户位置与行为模式之间映射后的个性向量变得模糊?如何建立一个更加合理的MSNSLBD轨迹隐私保护算法?使得用户在充分享受大数据时代移动社交的效益优势的同时能够更趋安全地使用MSNSLBD,即已成为一个现实重要的研究问题。本文在MSNSLBD轨迹隐私保护方面提出了一些新的思路,同时还对拟解决的关键科学问题进行了前景展望。
参考文献:
SADILEK A, KAUTZ H, BIGHAM J P, Finding your friends and following them to where you are[C]//Proceedings of the 5th International Conference on Web Search and Data Mining (WSDM’12). Seattle, USA:ACM, 2012:723-732.
[2] MASCETTI S, FRENI D, BETTINI C,et al. Privacy in geosocial networks: Proximity notification with untrusted service providers and curious buddies[J]. The VLDB Journal,2011,20(4):541-566.
[3] MASCETTI S, BETTINI C,FRENI D, et al. Privacyaware proximity based services[C]//Proceedings of the 10th International Conference on Mobile Data Management (MDM '09). Taipei, China:IEEE, 2009:31-40.
[4] FRENI D, VICENTE C R, MASCETTI S,et al. Preserving location and absence privacy in geosocial networks[C]//Proceedings of the 19th ACM International Conference on Information and Knowledge Management (CIKM’10). Toronto, Canada:ACM,2010:309-318.
[5] PENSA U R, MONREALE A, PINELLI F,et al. Patternpreserving k-anonymization of sequences and its application to mobility data mining[C]//Proceedings of the 1st International Workshop on Privacy in LocationBased Applications (PiLBA’11). Malaga, Spain:CEURWS, 2008:1-17.
[6] GUNTER C A, MAY M J, STUBBLEBINE S G. A formal privacy system and its application to location based services[M]//MARTIN D, SERJANTOV A. Privacy Enhancing Technologies. Berlin Heidelberg: Springer, 2004,3424: 256-282.
[7] 付G艳,张敏,冯登国,等. 基于节点分割的社交网络属私保护[J]. 软件学报,2014,25(4):768-780.
[8] 杨秋伟,刘玲,李肯立,等. 一种支持隐私保护的角色访问控制模型[J]. 计算机科学,2010,37(6):46-50,121.
[9] 韦伟,李杨,张为群. 一种基于GSNPP算法的社交网络隐私保护方法研究[J]. 计算机科学,2012,39(3):104-106.
[10]王璐, 孟小峰. 位置大数据隐私保护研究综述[J]. 软件学报,2014,25(4):693-712.
[11]谈嵘. 轨迹隐私保护及其在基于位置的社交网络服务中的应用研究[D]. 上海:华东师范大学,2013.