前言：中文期刊网精心挑选了大数据时代的应用范文供你参考和学习，希望我们的参考范文能激发你的文章创作灵感，欢迎阅读。
大数据时代的应用范文1
【关键词】 数据挖掘 分析方法 应用
一、基本概念介绍
1、大数据。2011 年5 月，麦肯锡全球研究院在《大数据：创新、竞争和生产力的下一个新领域》中指出，大数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产要素；而人们对于大数据的运用预示着新一波生产率增长和消费者盈余浪潮的到来。据估计，在未来，数据将至少保持每年50%的增长速度。
2、数据挖掘。数据挖掘是一门新兴的学科，它诞生于20 世纪80 年代，主要面向商业应用的人工智能研究领域.从技术角度看，数据挖掘就是从大量的、复杂的、不规则的、随机的、模糊的数据中获取隐含的、人们事先没有发觉的、有潜在价值的信息和知识的过程.从商业角度来说，数据挖掘就是从庞大的数据库中抽取、转换、分析一些潜在规律和价值，从中获取辅助商业决策的关键信息和有用知识。
二、数据挖掘的基本分析方法
分析方法是数据挖掘的核心工作，通过科学可靠的算法才能实现数据的挖掘，找出数据中潜在的规律。通过不同的分析方法，将解决不同类型的问题，在现实中针对不同的分析目标，找出相对应的方法。目前常用的分析方法主要有聚类分析、分类和预测、关联分析等。
1、聚类分析 。聚类分析就是将物理或抽象对象的集合进行分组，然后组成为由类似或相似的对象组成的多个分类的分析过程，其目的就是通过相似的方法来收集数据分类。它是一种无先前知识，无监督的学习过程，从数据对象中找出有意义的数据，然后将其划分在一个未知的类。这不同于分类，因为它无法获知对象的属性。“物以类聚，人以群分”，通过聚类来分析事物之间类聚的潜在规律。聚类分析广泛运用于心理学、统计学、医学、生物学、市场销售、数据识别、机器智能学习等领域。 聚类分析根据隶属度的取值范可分为硬聚类和模糊聚类两种方法。硬聚类就是将对象划分到距离最近聚类的类，非此即彼，也就是说属于一类，就必然不属于另一类。模糊聚类就是根据隶属度的取值范围的大小差异来划分类。一个样本可能属于多个类。常见的聚类算法主要有密度聚类算法、层次聚类算法、划分聚类算法、网格聚类算法、模型聚类算法等。
2、分类和预测 。分类和数值预测是问题预测的两种主要类型。分类是预测分类（离散、无序的）标号，而预测则是建立连续值函数模型。分类是数据挖掘的重要基础，它是对已知的训练数据集表现出来的特性，获得每个类别的描述或属性来构造相应的分类器或者分类。分类是一种有监督的学习过程，它是根据训练数据集发现准确描述来划分类别。常见的分类算法主要有决策树、粗糙集、贝叶斯、遗传算法、神经网路等。预测就是根据分类和回归来预测将来的规律。常见的预测方法主要有局势外推法、时间序列法和回归分析法。
3、关联分析 。在自然界，事物之间存在着千丝万缕的联系，当某一事件发生时，可能会带动其它事件的发生。关联分析就是利用事物之间存在的依赖或关联知识来发现事物之间存在的规律性，然后通过这种规律性进行预测。如经典实例购物篮分析，就是通过分析顾客购物篮中物品的管理规律，来分析顾客的购物心理和习惯，然后根据这种规律来帮助营销人员制定营销策略。
1、科学研究。在科学研究中，经常需要分析各种大量的实验和观测数据，并找出相关的规律和知识.这些数据分析和挖掘都需要一定的算法，利用数据挖掘技术能科学的找出数据之间的规律以及找出我们未发现的知识.例如，对外空星体的探索、对DNA 数据的分析等等.
2、制造业。在制造业领域，通过对零部件生产的各种数据分析，来提高生产效率和提高良品率，如分析造成产品缺陷的环节及数据，找出生产过程影响生产率的因素，暴露制造和装配操作过程中变化情况等各种因素，从而通过重点改进相关环节及工艺，来提高企业的生产效率及利益.
3、电信业。近些年，随着电信业的蓬勃发展，电信业的技术和服务已经成为一个非常庞大的混合载体，它不仅关系市场，也关系到技术及服务.在将企业有效资源整合，实现无缝连接的过程中，将产生大量的复杂数据集合，如何从庞杂的数据中找寻出规律和知识，已成为电信业的重要问题。通过数据挖掘的运用，能很好的解决上述问题，为行业的发展起到很好的作用，如系统负载、数据通信速率和容量、用户行为、利润率等；采用孤立点分析和聚类方法，查找出盗用模式和异常状态；利用关联和序列模式，找出影响电信发展的相关因素，更好的推动电信业务的发展。
参 考 文 献
大数据时代的应用范文2
关键词：数据时代 数据库 技术应用
中图分类号：TP311.1 文献标识码：A 文章编号：1007-9416（2016）11-0241-02
社会各行各业之所以可以不断的改革和创新，与信息技术所具备的强大推动力有着密不可分的联系，同时在其推动下人们也进入了一个全新的信息化时代，增加了人们在生活中所涉及到的方方面面的信息亮。人计算机数据库技术的诞生为人们及时有效的管理这些信息提供了重要的技术支持。目前，在社会的很多领域比如：国防、通讯等行业都在大力的推广数据库技术，而这些也给人们的生活带来了极大的便利。就目前这项技术发展的情况而言，这项技术不但可以完成对信息的及时有效处理，而且其也积极的推动了社会的发展和进步。
1 数据库技术特点
数据的统一处理可以通过数据库实现。在没有广泛的应用计算机数据库之前，传统的数据库技术在信息处理时存在过于分散而且相互之间联系不够紧密的缺点，从而使得数据的作用没有充分的发挥出来。而计算机数据库则可以有效的在各个数据之间建立联系，并利用相关的逻辑顺序实现了数据结构模型的建立。同时数据库中的各个数据又可以保持其独立性，在进行某一数据的更改时不会对数据库的整体结构造成影响。正是因为数据库本身具备了数据的共享性，所以相关文件系统也就不用用户自己建立，只需要其借助计算机进行所需数据的调取就可以了，这样也就避免了信息重复。而且由于数据库中相关的信息还具备了整体性、一致性以及独立性，所以也进一步提高了数据调取和使用效率的提高。
1.1 组织性
数据库内所有的信息都具有一定的顺序和结构。数据库中左右的文件和信息之间都存在着联系，而且其排列也是按照一定的顺序，从而组成了信息结构体系的整体性。而且存储在同一数据库中的信息都有相似的特点。
1.2 共享性
计算机数据库建立的主要目的就是实现数据库的共享。如果数据库无法实现数据信息的共享的话，那么这个数据库也就失去了建立的意义。具备良好共享性的数据库不但可以进行内部信息的共享。而且和可以在不同的数据库之间建立联系，从而实现不同部门、不同个体之间的数据共享，甚至在不同的国家和地区之间也可以建立数据库的共享。
1.3 独立性
逻辑独立性和物理独立性是数据库独立所体现的两个方面。可以随意的改变某一个数据库的逻辑结构就是我们所说的逻辑独立性。比如，可以修改数据库内部数据的性质，或者将新的数据添加到数据库中，而且还可以调整数据的类型。而在调整这些信息的时候都不需要对原有的程序进行更换。数据的存储结构发生根本性的变化就是我们所说的物理独立性，比如，数据库原有的逻辑结构不会因为存储设备的更滑、存储位置的更滑或者存取方式的改变等情况而受到影响，同时也不会将程序运行的方式有任何的改变。
1.4 冗余度的可控性
冗余指的就是数据库中重复的数据。在需要对数据库中的数据进行专用的情况下，用户经常会在接收信息的过程中重复接收相同的数据，而此时也就出现了数据的冗余。而通过计算机数据库技术的应用就实现了系统自动删除重复信息数据的功能。而且，具体的操作人员也可以根据实际的需要保留一定数量的冗余数据，这样不但可以提高数据查询的效率，而且也更加方便了用户的操作。
1.5 灵活性
数据库不但要进行数据的存储，同时好不想具备管理、编辑、输入以及输出等相关的功能，同时在实际的使用和操作时灵活性也相对较大。而用户在使用的过程中可以根据自身的实际需要建立相关的信息数据库，并可以随时的调用数据库中所存储的相关数据信息。
2 数据时代数据库技术的具体应用
目前使用的最为广泛的信息管理手段就是计算机数据库技术，这项技术最大的优势就是提高了信息管理的效率，而且其在很多行业中都得到了广泛的应用和推广。数据存储不仅可以通过计算机数据库的应用得到满足，同时其还提供了更加个性化的服务给用户。就目前而言，计算机数据库在应用的过程中主要有以下几方面的特点：首先，用于对敏感、机密数据资料的处理中。计算机数据库可以通过设置数据访问的密码、防火墙等方式确保信息的保密性，避免了机密的信息数据被恶意的窃取或篡改。同时其对于用户个人的隐私也具有极为重要的作用，所以，计算机数据库技术已经被越来越多的商业机构用来进行数据的存储。其次，建立有效的数据模型。信息的内容不同其所具有的性质和价值也就不同，因此必须根据信息的特性对其进行分类和整理，切记不可所有的信息都采用统一的模式进行处理，只有这样才能从根本上保证信息处理的质量，为后期的查询与使用做好铺垫。同时计算机数据库技术还可以根据不同信息数据的特点按照需要迅速的建立数据模型，为人们查找数据提供了极大的便利。最后，保障数据信息的安全有效。安全管理信息是数据库所具备的另一大特点，这一特点为数据的安全可靠性的提高奠定了基础。目前，所使用的数据库一般都具有信息自动备份和文件恢复的功能。即便系统因为意外而出现故障，也不会造成信息丢失。而如果系统受到外部入侵窃取者被恶意篡改时，通过对之前备份好的数据进行还原就可以得到原始的数据。而这些度不仅对数据库的安全性提供了最大限度的保障，而且降低了因为数据故障而使数据安全受到威胁。
3 数据时代数据库技术在应用趋势
3.1 计算机数据库技术在信息管理中的应用范围日益广泛
将计算机技术和数据库技术紧密的结合，使得这两种技术的潜能得到了充分的发挥，而且其应用的前景也极为的广泛。随着计算机数据库自身应用范围在商业、农业以及服务业等领域的不断扩大，也进一步促进了相关产业管理效率和质量的提高，从根本上保证了产品的信息质量，而且也促进了相关产业的深化发展。安全性和实用性是计算机数据库技术最大的特点，而且通过各个领域的推广已经取得了显著的效果，不仅获得了各个产业的青睐，而且为这一技术的深化发展奠定了良好的基础。
3.2 计算机数据库技术在信息管理中的应用呈现出强劲的发展势头
在实际的应用过程中计算机数据库技术的优势已经越来越显著，所以这项技术已经得到了越来越多的行业的应用和推广。同时计算机数据库技术在其实际的应用过程中也在不断的进行自身的完善和创新，而这也促进了信息管理效率的提高。到目前为止数据库技术已经经历了几十年的发展，可以将其发展阶段分为：网状数据库的使用阶段和层次数据库的发展和使用两个阶段，目前为止，人们对于对象数据库的应用已经极为的广泛。数据库技术在其不断的发展和演变的历程中技术日趋的成熟。而且经过不断的实践检验之后，其在信息管理方面的能力有了更进一步的提高。从而使得目前所使用的数据库具备了更加便捷、高效、安全、稳定、操作性强以及稳定性高等优点，而这些优点对于其在各个领域的推广和应用都具有极为重要的意义。伴随着对媒体技术的迅速发展，在不久的将来。数据库在数据的编辑、整理以及展示等方面的能力也会得到进一步的提升。同时将其与多媒体技术有效的结合之后，实现了对文字、声音、影像等素材的综合展现，而且还可以进行复杂信息的处理，而这些不但提升了这一技术在信息管理方面的应用力度，同时也扩大了这项技术的使用范围。总体而言，数据库技术与计算机技术不但会更加紧密的结合在一起，而且其应用范围也会越来越广阔。同时信息管理的前景和市场也会随着计算机数据库技术的应用而不断的扩大，这项技术的身影会出现在农业、工业以及商业等众多的领域，不仅从根本上提高了这些行业的信息化水平，而且也带动了相关领域生产力水平和生产效率的提高。
3.3 计算机数据库技术的系统安全性能不断增强
计算机数据库技术在信息管理中的功能，随着数据库安全性能的提升而得到了充分的发挥。利用计算机数据库技术进行保密性较高的信息的存储可以有效的避免安全风险的发生，使信息资源的价值得以充分的体现出来。而且计算机数据库技术也具有便于管理的最大特点。数据信息利用计算机系统的备份功能进行备份从而避免因为误删信息而造成不必要的损失，同时也有效的降低了信息复制的成本。同时随着计算时数据库自身安全性能的不断提高，也增强了其在数据保护时的效果，不仅过滤了非法的信息，而且对于危害数据库安全的操作和行为也进行了有效的阻止。而计算机数据库不较之传统的安全保护手段而言，其不仅新增加了用户账户、新型密码等手段，而且还设置了更多的抵抗风险的系统，从而全面的提升了计算机数据库的管理性能，为广泛的推广计算机数据库技术奠定了良好的基础。
4 结语
总体而言，由于我们处于信息化时代中，而且每天都会面对新的事物的信息，而这也就增加了人们每天生活中所面临的信息量和数据量。而要想对这些信息和数据进行有效的整理和筛选就必须有先进的信息处理技术。所以将计算机技术和数据库技术紧密的结合在一起，就可以将两者的技术优势充分的发挥出来，使其具备更加完善、高效、全面的数据信息处理功能，从而促进信息处理效率和质量的提高。
参考文献
[1]金澈清，钱卫宁，周敏奇，周傲英.数据管理系统评测基准：从传统数据库到新兴大数据[J].计算机学报，2015，01：18-34.
[2]刘海英.数据挖掘技术在警务数据分析系统的应用研究[D].吉林大学，2015.
[3]梁宁宁.基于标准数据建立企业集团数据仓库及费用分析研究[D].重庆理工大学，2015.
大数据时代的应用范文3
斯蒂夫·道科多夫与罗瑞·道科多夫是一对生活在美国明尼苏达州沃特金斯小镇上的农场业主夫妇。农场共养殖了100多头奶牛。当他家的两个孩子离开他们的农场去上大学后，他们不得不开始考虑如何寻找替代的劳动力。本来，传统的解决方案是要雇用几名额外的临时工，然而，道科多夫却别出心裁的选择了机器人—让机器人帮助喂养奶牛，清洁谷仓，甚至可以帮助奶牛产奶。罗瑞说，“以前，奶农们每天都要花费两次，每次三小时的时间用来挤奶。现在，我们早上醒来，机器人已经为所有的奶牛挤过奶了。”
俗话说，农场生活是简单的，但运营一家奶牛场其实是相当复杂的。它不同于其他企业的运营，用来生产牛奶的“设备”是奶牛。奶牛必须要喂饱，还需要有良好的睡眠，它们每一磅体重的增加或减少都至关重要。因此，最终保证奶牛场正常运转所要考虑因素的数目是惊人的。
在10月初威斯康星州麦迪逊城举办的美国工业最大的贸易展—世界乳品博览会上，展示了目前最新的行业技术应用。
一家加拿大的名叫优质奶业（Dairy Quality）公司，最近推出了一款名为“牛奶监护人”的用来监控乳品质量的新产品。外形是一个黑色的小盒子，可轻松地夹在iPhone的背面。奶农只需要将从奶牛身上取下的牛奶样本的塑料收集片插入这个小盒子，这一设备立刻就可统计出样本的体细胞指标数（高体细胞数可以是乳腺炎—感染的组织的一项指标）。以前，检测体细胞数需要将牛奶样本送到异地的实验室并等待一周甚至更长的时间才可得到结果；现在，只需要用显微镜及这个应用，牛奶监护人就可以在6秒或更少的时间内就可分析出所放上的标本。配件及应用软件的综合成本合计1，800美元。
在世博会另一个最热闹的展位之一就是荷兰乳品设备制造商莱伊公司，最吸引人的展示是一个称为“A4宇航员”的喂奶机器人，这是道科多夫夫妇在他们的农场使用系统的更新版本。在奶场引入这套机器人喂奶机的好处在于，奶农从此就基本不需要再进入奶场来给奶牛挤奶了—这套系统大约需要200，000美元。A4的另一端有饲料槽，是一个封闭的小区域，在两次挤奶过程的间隙，这台机器还可用来喂饲料。奶牛发现这里有粮食，自己就会主动进入这个区域了。当它咀嚼的时候，一只不锈钢及碳纤维制的长臂就会延伸到牛的下面，通过激光扫描，自动识别奶牛的四个位置，自动吸附并开始挤奶。当完成挤奶时，饲料槽移动，大门打开，奶牛重新回到谷仓的牛群中。而后，A4机器自动清理，重新归位，准备迎接下一只奶牛。
这样，农场的奶农们不必每天辛苦得天还没亮就起来挤奶了，此外，更为重要的是这套系统可以方便地收集到每头牛的数据。A4扫描牛的后颈，利用无线电波或红外灯来识别不同的动物。下一步，在挤奶的过程中，系统会自动跟踪其他几个参数：牛的重量，挤出的牛奶，挤奶所需的时间，以及牛所吃的饲料—甚至通过对牛的特定后颈上的音频传感器，还可确定牛在反刍食物上所用的咀嚼时间。
大数据时代的应用范文4
在大数据时代下，信息在迅速的发展，随之信息的重要性也日益显著。所以在这种背景下，医院的必然发展趋势就是在对档案信息进行管理时进行大规模信息利用开发。为了让医院的档案信息更加具有广泛性、主动性、时效性、针对性，就应该把大数据中的多媒体技术应用进去，这样不仅可以为档案信息的管理提供很大的技术支持，还可以对档案信息资源另外通过多媒体电脑，我们在进行丰富多彩的档案资源的获取时也会变得非常便捷。
在现代化的大数据背景中，随着网络技术和数字化技术越来越趋于成熟，而医院也开始出现大量的电子文件，因此医院不仅要对档案室的传统体裁的档案进行保护，还要对记录数字化的管理。数字化这一功能给档案室带来的必然是功能扩大，而且还会让其更加广泛的影响和作用于医院的信息管理中。但是在进行档案数字化的过程中会遇到不同的瓶颈和困难，如技术不过关、法律不够完善、个人的信息化水平有限、数字化差距较大等等，所以目前做主要的就是在大数据时代背景下加快多媒体技术在医院档案信息化的应用建设这一间距的工程，一旦完成这一工程，最终就会实现医院档案信息共建共享。
1.简述多媒体技术
1.1什么是多媒体技术
利用计算机技术对资料信息中的视频、动画、图形、声音、图像、文字等进行恢复、传输、加工、存储等处理，能够把这些资料信息完全转化成二进制代码，并且利用放映机和计算机等将其播放出来，从而实现人机交互，这就是多媒体技术，并且还是一种新型信息技术。电缆、电磁波、磁盘、磁带、光盘、计算机等都属于多媒体技术中的主要媒介载体。
1.2多媒体技术的特点
在大数据的时代背景下，多样性、分布性、集成性、交互性、实时性和可包装性是目前的多媒体应用过程中存在的主要特点。多媒体技术能够把文件资料的全部内容进行汇总统一，在一个系统中再对其进行存储和整编，这样人们就可以更加全面、方便地对资料信息进行调阅、查看和修改，从而能够在很大程度上对工作的水平和效率进行提高。
1.3大数据时代多媒体技术在医院档案信息化的应用意义
多媒体技术在医院进行档案信息化的建设过程中体现出了显著地促进和推动作用。它主要有以下两点应用意义和应用价值：一是把多媒体技术应到档案信息化建设中，能够把多媒体的接受度高、传播迅速、直观性强、信息量大等优点充分地发挥出来。另外还能够将档案信息化管理的工作水平和效率进行不断地提高。进而把档案信息化管理工作中的一些流程和操作步骤进行了简化，能够使用户更加方便地查阅和维护档案信息。二是把多媒体技术应用到档案信息建设化中，能够让当前的档案信息管理工作跟上大数据时代的步伐，更好地适应现代化发展，在医院扩建中与之相关的大量管理资料和人员档案以及医疗档案的要求?M行满足。使得不同科室以及患者在对相关的档案信息进行查询利用时更加方便高效，从而减少了档案信息管理的工作量，节省了档案信息的存储空间，使档案信息化管理的质量和效率都得到了提高。
2.大数据时代多媒体技术在医院档案信息化的应用
2.1对空间的占用有所减少，储存能力有所扩大
我们现在的社会在向大数据大方向发展，档案的数量一直在增加，而传统的纸质档案占据了相当大的空间，这就导致库房空间越来越小受到了限制，所以这就大大阻碍了档案的保管工作。在这种不利的形势下，就要求我们寻找一种能够符合大数据时代要求的存储设备，并且要求该种设备安全性较强，存储量也足够大。多媒体技术的应用不仅可以全方位地传输多种类型的信息，还能够非常方便地进行档案的存储。对于大量的不同种类的数据多媒体技术也能够处理，所以这种技术未来的发展方向是更加多样化的。在这种背景下，光盘存储就诞生了。光盘存储的载体是激光介质，其优势是有着较大的存储量，并且还有很强的操作性和可靠性，信息档案工作的成本投入也会有所减少。
2.2对档案信息载体的多媒体化起到了推动和促进作用
大数据的时代背景下的在档案信息载体的多媒体应用中起到了非常关键的推动作用，特别是当声像技术和电子图文显示技术出现的时候，档案信息的密度随之提高，存储量崔志增大。同时传统的纸质档案也在转向电子档案。其中多媒体电子文件的一个非常重要的载体就是CD-RO光盘，该光盘的最大优势就是有着非常大的存储量，在进项信息的查询和检索过程中也有突出的优势，还展现出了人机界面的声像，以上所说的这些优势在传统的纸质档案中是不存在的。多媒体信息主要是以电子文件的形式进行传播的，所以档案信息的电子化是需要多媒体技术的推动，从某种意义上来说也推动了大数据时代多媒体技术在医院档案信息化建设的应用。
2.3对档案信息管理能力有了提高
要想更好地改进和完善档案管理工作，对简化归档程序采取有效的措施是一个非常重要且有效的途径，在档案工作中最基础的一项工作就是归档，在档案库中每年都会有很多的档案需要纳入，这样就会有大量的工作需要档案部门和文书处理部门完成。而且在归档这一项工作中会耗费很多的时间，而多媒体的出现则克服了这种困难，它可以更简单便捷地进行归档工作，借助多媒体技术可以更直接更方便，另外而很多时间都要放在归档工作中，多媒体技术的出现使得归档工作更加简单便捷，根据具体的归档要求，档案室会进行全面地选择和评价，归档处理一些有价值的文件档案。利用多媒体技术，不仅让工作的效率有了显著地提高，还大大减少了工作人员的工作压力。
在现在的大数据时代中多媒体技术可以更好地帮助存储和有效地管理多种档案，还能打印出来一些信息图标，尤其是可以整理和存储一些非常重要的资料，对档案的原件可以进行严密地保护。另外还可以存储和修补那些值得重视的历史档案，还能适当地修复和调整一些被损坏的信息，在对其进行剪辑和重新排列。
2.4更加方便、快捷地检索档案信息
全面地查找用户的多媒体档案信息是多媒体档案检索技术的主要内容，这种技术的优势就是在广泛应用的基础上，在获得相关信息时准确性有着较高的准确性，并且在检索的过程中可以呈现出不同的方式，这样就大大提升了检索的质量和效率，同时还提升了检索的智能化水平。在大数据的时代中以飞快的速度向前发展的两大检索就是超文本检索和全文本检索，同时它还是一种非常重要的信息资源开大的形式和手段。全文检索顾名思义就是全文搜索和查询文本，而不是查询某一个目录或者是文献的数目，通过这种全文本的搜索，检索和可以一次性的找到所需信息。检索文本、章节、全文以及图像声像时超文本主检索的主要内容，这种检索方式的优点就是更具有灵活性，而且检索的结果也具备灵活性，检索行驶时多变的，根据检索人的需求，可以适当地调整检索形式，很大程度上改变了传统的检索方式。
2.5档案信息服务多媒体化
在档案管理中多媒体计算机主要应用在以下三方面：第一，对档案室的情况介绍，室藏指南等软件进行编制，并且要把档案室的建筑、人员、机构等各种信息通过像、声、文、图的生动想害死演示出来。使得人机之间对话的灵活性、敏捷性各加突显。第二，对档案室的图形、文字、录像、录音等各种档案信息进行自动检索和存贮，在保存时间上光盘信息存贮介质战友很大的优势，远远超过了磁盘、磁带等介质，对档案信息的长久保存起到了促进作用。第三，加快了档案机读取数据时的累积速度；有机得联系文书工作和档案工作的自动化，可以有助于工作流程和设备的合理分布；另外通过把有效的档案信息资源建立在Internet上，可以使图书情报资料和档案信息的联网交流得以实现。总之，在大数据时代的背景中，在档案信息化的建设中多媒体技术起到了纽带和桥梁的作用，通过建立一个多媒体化的档案信息管理系统，各种媒体可以被有机地综合起来，进而档案信息的表示方法就可以得到改善。
在医院档案信息的管理应用中，有了多媒体技术的加入，可以拓宽阅者对档案信息的需求，同时也会更加高标准地要求档案工作人员的自身素质。在传统的档案信息管理中，档案室是文件文字唯一的传输者，阅者要想同时得到声音、动态图像、档案文件材料的文字等档案信息，可以利用多媒体化的档案信息服务，这样档案工作者就可以舍弃传统简单的借还工作。另外在大数据的时代背景中，这种对媒体化的档案信息服务还可以达到真正跨越国界、空间、时间的资源共享。
大数据时代的应用范文5
关键词：Nutch；HBase；大数据
中图分类号：TP393.09；TP333
搜索引擎能根据一定的算法或者规则，运用计算机程序从互联网上抓取信息，并在组织、处理和索引信息之后，为用户提供检索类服务。Nutch2.x版本通过使用Apache Gora处理对象的持久映射，使得存储从特定的底层数据存储分离出来。这意味着我们可以实现Nutch与众多NoSQL存储解决方案相集成。HBase，一种面向列的分布式存储系统，具有高可靠性、高性能、可伸缩的优点，利用HBase可在廉价PC上搭建起大规模集群。在致力于起源于开源项目Nutch的大数据处理方面，二者结合所带来的优势不言而喻。
1 需求分析
随着多元化新兴媒体形态不断出现，互联网上的数据每年将增长50%，并且目前世界上90%以上的数据是最近几年才产生的。搜索引擎作为连接受众和互联网海量信息的窗口，发挥着重要作用。而传统通用搜索引擎难以满足企业或者个人的定制化需要，难以准确判别用户感兴趣的信息并提供相应的搜索服务，为解决这些问题，Nutch应运而生。
反观储存层面，当代典型的关系型数据库在大数据的应用中越来越乏力，例如为巨量文档建立索引、高流量网站的网页服务，以及发送流式媒体等方面。而以HBase为代表的NoSQL能实现数据高并发读写，海量数据存储和访问，高扩展性，这些优点使得它在处理Nutch抓取到的海量数据时游刃有余。
2 系统体系结构设计
2.1 系统框架
图1 系统框架结构图
如图1所示，Nutch网络爬虫不断搜索Internet来搜寻新网页，或者更新过的网页，网页独立的存储在HBase中，等待索引。通过MapReduce对抓取到的网页进行索引，以提高用户搜索的方便性和准确性。最后用户通过搜索程序入口提交目标关键词，通过索引在HBase中找到相关记录，并返回给用户。
2.2 Nutch工作过程
图2 Nutch工作过程
（1）Injector注入目标URL列表。从用户指定的urlDir目录下，获取URL列表内容，并进行格式化、过滤，消除其中的不合法地址，设定抓取状态（fetched和unfetched）和初始分值；将URL及其状态、分值存人CrawlDB数据库，或更新已有内容成最新的；（2）Generator产生成抓取列表。从CrawlDB数据库中将地址取出，按一定规则进行过滤和排序；最后将生成的列表写入segments中；（3）Fetcher抓取网页。对segments下的抓取列表顺序抓取。在抓取过程中，页面的地址可能会发生跳转，需要重定向。该过程采用多线程方式，获得页面源文件后同时进行下一步操作，即解析内容；（4）解析网页内容。解析segments目录中由Fetcher抓取到的页面，将页面分解到parse_date和parse_text目录下。其中，parse_date中保存页面的标题、输入输出链接等内容；parse_text中保存页面的文本内容；（5）更新CrawlDB及反转链接。根据segments目录下的crawl_fetch和crawl_parse来更新CrawlDB，增添新的待抓取URL地址。Invert Links统计外部页面对本页面链接，并更新LinkDB，为建立索引的工作提供准备；（6）Indexer建立索引及索引去重。该过程生成Lucene索引，将本地数据转换成文本，并进行分析，并将已分析的文本保存到数据库中。
3 系统部署及实现
3.1 Nutch及HBase安装部署
（1）Nutch 在Eclipse下的配置过程。使用svn从nutch官方网站直接检出项目到本地后，配置项目路径，删除项目文件夹下src文件夹，随后添加部分的java和test文件夹。由于Nutch在版本1.2之后，使用ivy来进行依赖管理。因此要添加IvyDE依赖库，使用ivy下ivy.xml作为依赖库，最后进行ant；（2）Ubuntu终端下直接配置HBase。在终端下，使用wget工具下载zookeeper，并编辑zoo.cfg文件。为防止在负载压力过大，linux默认文件句柄数过低会造成异常，还需要修改nproc值。最后编辑hbase-env.sh、hbase-site.xml、regionservers，添加或修改相关属性值；（3）Nutch文件自动储存到HBase。由于Nutch2.x自身在设计过程中，已经利用Gora将底层数据存储抽象出来，因此只需要在gora.properties中添加了gora.datastore.default属性，并对nutch-site.xml、ivy.xml进行简单修改即可。
3.2 Nutch与HBase结合在大数据方面的潜在价值
毫无疑问，大数据是一座金矿。Nutch搜索引擎结合HBase，可以充当在这座金矿中，进行数据挖掘以获取有价值信息的淘金工具。下面举几个例子进行详细说明。
政府部门大都拥有海量数据，如交通管理部门有路段监控、车站监控等数据，卫生等有关部门拥有流感数据等数据，公安部门有大量的身份信息数据等数据。如果这些数据与Nutch的搜索日志记录以及存储在HBase中的全网数据结合，则可以轻松科学地实现路线智能规划提醒、流感疾病预测、嫌疑人信息锁定等等功能。
大型企业如金融、通信等行业也拥有海量数据。但同样没有大数据处理能力，面对海量数据也不能为企业创造更大价值。如果能够应用HBase，则可以对海量数据进行低成本且的存储，再结合Nutch进行由浅入深的信息挖掘。
4 结束语
随着大数据越来越深刻的体现在互联网的方方面面，搜索引擎需要解决的问题，也变成找到最佳结果而不是大量结果，个性化需求凸显。数据库更加强调大规模的数据存储能力以及高并发访问。相信提供高质量的搜索结果等强大功能的Nutch，结合拥有着极好的且廉价的可扩展性，优秀海量数据存储能力的HBase，会被越来越多的企业和个人认可。
参考文献：
[1]王学松.Lucene+Nutch搜索引擎开发[M].北京：人民邮电出版社，2008.
[2]郭匡宇.基于MongoDB的传感器数据分布式存储的研究与应用[D].硕士学位论文，2013：10-24.
[3]维克托・迈尔-舍尔维恩，肯尼斯・库克耶.大数据时代[M].杭州：浙江人民出版社，2013.
[4]严春来.基于Nutch的个性化搜索引擎的研究与探讨[J].软件开发与设计，2014（04）：4-5.
[5]詹恒飞，杨岳湘，方宏.Nutch分布式网络爬虫研究与优化[J].计算机科学与探索，2011（01）：70-71.
大数据时代的应用范文6
>> 大数据在教育中的应用 大数据在教学中的应用 教育大数据在教育管理中的运用分析 大数据时代下慕课对高校教学发展的影响 大数据技术及其在教育领域的应用 简析大数据及其在教育领域的应用 大数据在教育领域应用的前景分析 大数据在教育培训业的应用 慕课时代留学生教育理念的转变 大数据在教育中的“进与退” 大数据时代下数据挖掘技术的应用 数据挖掘在大数据时代下的应用 大数据时代下数据挖掘在银行中的应用 大数据时代下数据挖掘技术在企业中的应用 大数据时代下数据挖掘技术在银行中的应用 论慕课时代教与学中的人文关怀 浅析后IT时代下“慕课”在初中美术教育中的应用 数据挖掘在教育中的应用 大数据时代下的电子商务教育模式 大数据时代下的汽车防撞智能的应用 常见问题解答 当前所在位置：）：这是爱课程网络以及网易云课堂一起合创立的，其中北京大学、浙江大学、复旦大学等我国的高校目前已经有超过16所学校加入其中，其中在线的课程一共大约是75门，包括70万多的用户都在使用。
1.2 “慕课”所在优势
“慕课”作为一种新型的教育理念与教育模式，已经在全球范围内开始实行，根据有关学校使用后的感受反应，这种资源共享型的学习方式是符合现当今社会的理念，而且已经在各国的高等学府都开始这种新型的教育模式。“慕课”是在线进行学习，这给没有上大学的人来说是一个千载难逢的机会，他们可以利用在家或者其他场所内进行在线学习，学习有关职业技能。“慕课”为在校的大学生又提供了另外的的一种学习模式与学习理念，与此同时也是商业思想的源泉所在。“慕课”平台最大的特点就是有一部分的在线资源是共享型的，不用支付任何的费用就可以免费使用，这也是给大学生最大化的福利，使得学习不再是一件高投资的事情。“慕课”平台的资源数量是巨大的，能够为教学带来实际性质的帮助，老师可以在其中找到任何需要的教学资源。
2 “小微课”时代
2.1 平台简介
“小微课”是在2013年被提出来的，主要就是针对在校大学生所开设的平台，“小微课”平台也被称之为是后“慕课”时代，它主要就是更加细致、准确、具有代表性、能够针对大学生的具体特点进行安排、多元化体现的最为明显。“小微课”主要形式有以下几种：
（1）哈佛大学在2013年开设“小微课”，相关的学者都认为这是一次不小的教学改革。
（2）我国的清华大学、北京科技大学等也都使用了“小微课”，包容性、可持续性是其最大的特点。
（3）美国的加州大学在2013年秋使用了“小微课”，大部分的使用者都是对此表示赞同与支持。
2.2 “小微课”所在优势
“小微课”问世短短的两到三年的时间内做出了不少的成绩，使使用过的大学生对此都非常的喜爱。“小微课”对于大学生学习的数量具有限制，这样使得老师在管理起来就会方便很多。“小微课”有一个可以提前预选的阶段，在预选的阶段大学生能够清楚课程的性质，能够了解自己是否具备学习此门课程的能力，因此对于后期的淘汰率来说会大大的降低，起到了前期的辅助作用。平台上的在线内容几乎是针对各种专业、各种类型的学生而设定的，体现了区别对待的理念。又一个新的突破是将在线学习与老师课上讲授结合在一起，使得学生能够从各方面的角度进行学习。在线学习与老师课上讲授结合在一起的同时，增加了老师与学生互动的模式，学生不会可以及时的向老师进行提问。传统的教育教学是在课堂上进行讲授，而“小微课”则是随时随地都可以进行学习，打破了传统的授课学习固有的模式。
3 大数据的应用
大数据自从问世以来，一直被社会当中的各行各业、各个领域所使用着，它给社会带来的好处不是能够语言所表达的。它是一个社会的热词，定义是宽泛的，因此没有具体的定义。就大学英语来说，大数据的特点显现如下：
在学习的过程中可以容许大量的学生与老师，能够系统性、全面性的展示学科中的知识，所教的内容比“小微课”中的还要细致、具体，对于大数据里面的题型来说，它们都是自动归类，将与之有关系的学科知识点进行统一划分，对于学生的考察评价机制也是具有针对性的，因人而异，学生自身也可以进行设置，在进行数据的需要时，少去了前期的筛选工作，可以直接在大数据中找到自己需要的信息，节约了大量的筛选时间，在进行数据提取的时候，一次就能够解决问题，不需要进行第二次的提取。
4 结束语
随着“慕课”以及“小微课”的逐渐问世，为大数据时代的到来打下了基础，它们都是在各自的平台上为需求者提供着大量的知识信息，就大学英语来说，其中的知识与结构不是老师都能够讲解到的，利用“小微课”“慕课”在大数据当中的应用，更好的开展教学，充分的利用现有的平台进行知识的掌握与学习，使其真正的发挥自身的价值。
参考文献
[1]张世蓉，杨永林，丁韬，张虹，王娜.从“慕课”到“小微课”，看大数据在教学中的应用[J].现代教育技术，2014（12）.
[2]范崇源.慕课发展中的挑战与对策[J].信息技术与信息化，2014（09）.
[3]胡丽英.新媒体视角下的“慕课”发展与评判分析[J].信息与电脑，2015（14）.
[4]薛丽伟.对高等教育在慕课“热潮”下的“本土化”思考[J].科学导报，2014（15）.
作者简介
封伯燕（1981-），女，广东省肇庆市人，大学本科学历，讲师职称。研究方向为计算机科学与技术。
