前言:中文期刊网精心挑选了云计算的技术特征范文供你参考和学习,希望我们的参考范文能激发你的文章创作灵感,欢迎阅读。
云计算的技术特征范文1
中图分类号:TP311 文献标识码:A 文章编号:1006-4311(2014)24-0229-03
0 引言
Java提供了进行大整数计算的类BigInteger,封装了大整数的加(add)、减(subtract)、乘(multiply)、除(divide)以及求余(remainder)运算,还封装了大整数的幂运算(power)和比较(compare)运算等。通过使用这些大整数运算,可以求解许多高精度运算问题。
计算具有100位以上精度的黄金分割系数、计算100位以上精度的圆周率、计算具有100位以上十进制数的大整数都是具有重要意义的事。应用Java的BigInteger类,可以方便地解决这些问题。
1 Java BigInteger类封装
Java的BigInteger类是java.math包中的一个类,提供任意精度的整数运算。
1.1 构造大整数对象 Java中的大整数是BigInteger类的对象,构造大整数对象的构造方法是:
1.2 BigInteger类封装的主要方法 BigInteger类封装了以下常用方法,实现另一个大整数对象与本对象的运算,并生成一个新的大整数对象(比较运算除外)。另外,还封装了与大素数的方法,这些方法是:
①获取一个给定位数和随机数位的大素数,是一个静态(static)方法,定义如下:
public static BigInteger probablePrime(int bitLength,Random rnd):该方法获得一个可能性很的具有二进制bitLength位的大素数,其概率为1-2-100。
②获取下一个可能素数的方法,方法定义如下:
BigInteger nextProbablePrime();该方法返回一个与当前的可能素数p, 最接近的可能素数q;对于任意p
③将一个长整型转换为BigInteger对象的方法,方法定义如下:
public static BigInteger valueOf(long val); 该方法返回长整型数val的bigInteger对象。
④判断大整数是否为可能素数的方法,方法定义
如下:
boolean isProbablePrime(int certainty); 若对象num.isProbablePrime(cer)返回true,则num是素数的概率大于1-2-cer。
⑤求余数运算方法remainder(),方法定义如下:
public BigInteger remainder(BigInteger opnd);实现一个大整数对象与另一大整数对象opnd的求余运算,并返回余数(一个大整数对象)。
⑥求大整数的商和余数的方法 divideAndRemainder(BigInteger opnd),该方法返回大整数对象除以大整数opnd的商和余数,用一个BigInteger类型数组存放,例如:
BigInteger aBig[]=new BigInteger[2];
BigInteger num=new BigInteger(“125”);
aBig=divideAndRemainder(num,new BigInteger(“23”));
那么aBig[0]是125除以23的商5,aBig[1]是余数10。
其余方法这里就不多加叙述,可参考文献[1]。
2 BigInteger类在高精度计算问题中的应用
可应用BigInteger类进行高精度计算问题的求解,方法简便。求解步骤如图1。
3 典型问题的大整数求解
3.1 高精度黄金分割系数问题的求解 黄金分割系数0.61803... 是个无理数,这个常数十分重要,在许多工程问题中会出现。有时需要把这个数字求得很精确。比较简单的一种是用连分数表示,如图2。
这个连分数计算的“层数”越多,它的值越接近黄金分割数。
我们需要求出黄金分割数的足够精确值,四舍五入到小数点后100位。
我们可以将黄金数的计算抽象为以下表达形式:
由此递推,计算分子和分母,直到分子≥10100,这样,可保证结果满足能得到所要求精度。然后是将分子乘上10100,在与分母做除法,得到的就是100位的大整数,就是这个黄金数的小数点后的数字,经四舍五入处理并转换成字符串输出即可,通过对余数的判断,可确定是否要在结果中加1。程序如下:
3.2 求大素数问题的程序 大素数是数据加密与解密问题的核心,在RSA加密体系中,为了生成RSA算法的公钥和私钥的秘钥对,先要选择两个大素数p和q,并计算它们的乘积N。我们这里用Java的BigInteger类来产生具有100位(当然可以更多,视需要而定)十进制数的大素数。对于大素数的判断,并没有一个严密的数学公式可供应用。可用BigInteger类中相关运算方法,结合素数相关方法,可以求出给定位数(二进制)的可能大素数,且具有随机性。
可以用BigInteger类的probablePrime()方法生成给定位数的近似大素数(称为概素数),其准确度可用一个参数进行控制。下面的程序生成若干个随机生成的具有330位二进制位(具有100位十进制)的大素数。BigInteger.probablePrime(bitNum, rnd)生成的“概素数”具有bitNum位二进制,其是素数的概率大于1-2-100。为了提高可靠性,程序中对生成的“概素数”进行更严格测试,用10000做参数,用isProbablePrime(10000)测试,该方法保证素数的概率大于1-2-10000。
3.3 求解与梅森素数有关的问题 根据法国数学家梅森的猜想,我们习惯上把形如:2n-1的素数称为:梅森素数。截止2013年2月,一共只找到了48个梅森素数。新近找到的梅森素数太大,以至于难于用一般的编程思路验证。这里要解决的是跟梅森素数有关的一个问题:1963年,美国伊利诺伊大学为了纪念他们找到的第23个梅森素数n=11213,在每个寄出的信封上都印上了“211213-1是素数”的字样。211213-1这个数字已经很大(有3000多位),编程求出这个素数的十进制表示的最后100位。直接用BigInteger类求解该问题相关语句如下:
4 结束语
本文介绍了Java中的BigInteger类的一些典型应用。BigInteger类中包装了绝大多数大整数运算功能,文中没有完全涉及,可参考Java有关技术资料,应用Java的BigInteger类求解一些高精度运算问题,十分方便。特别说明的是,符合费尔马定理的大整数只符合素数的必要条件,但不是充分条件。本文中所给程序计算的结果,只能是有极大可能性是素数,其可能性超过1-2-10000。如果要用所有小于待测“概素数”的平方根的所有概素数去检测一个数百位十进制位需要很长时间,并不实用。
参考文献:
[1]耿祥义,张跃平.Java面向对象程序设计(第2版)[M].北京:清华大学出版社,2013.
云计算的技术特征范文2
关键词:云计算;病毒;杀毒;安全
云计算将极大地改变我们使用计算机的方式,作为最日常的应用之一,病毒防护与杀毒软件的使用,在云计算时代将会与现在有较明显的区别。
1 传统杀毒模式的困境
用户依赖于计算机软件来进行工作与计算机病毒的破坏是一对长期存在的矛盾。进入网络时代后,除了传统的病毒传播方式外,病毒还可通过电子邮件、网页、即时通讯软件等进行传播。计算机网络的发展对于计算机病毒的传播起到了一个加速器的作用,并且感染的范围也越来越广。可以说,网络化为计算机病毒的快速传播提供了极大的便利。
传统上,清除和预防病毒的方法是使用防病毒软件。杀毒软件常采用特征代码法在病毒样本中,抽取特征代码。并将特征代码纳入病毒特征库。杀毒软件工作时,打开被检测文件,在文件中搜索,检查文件中是否含有病毒特征库中的病毒特征代码。由于病毒特征代码与病毒一一对应,如果发现病毒特征代码,便可断定被查文件中含有何种病毒。采用病毒特征代码法的杀毒软件,面对不断出现的新病毒,必须不断更新版本,否则杀毒软件便会老化,逐渐失去实用价值。病毒特征代码法对从未见过的新病毒,自然无法知道其特征代码,因而无法去检测这些新病毒。这也就是杀毒软件必须时时更新的原因。
如果病毒的数量没有迅猛的增加,而是以很慢的速度递增,那么,以上的杀毒方式还是能够适应使用要求的。然而,据德国AV测试实验室在2008年1到2月,已经发现了100多万种新病毒,并预计2008年的新病毒数量将首次超过1000万种,在2009年的新病毒数量将超过2000万种。与此对应,当杀毒软件面对2000万种新病毒时,其对计算机扫描一次,就需要1GB左右的内存空间。目前主流的PC机内存是2GB,其中操作系统和其他应用已经占据了大量内存空间,如果特征库占1GB内存,计算机很可能将无法正常运行操作系统和其他应用程序。可以看出,病毒的传播手段、途径和数量已经超出了杀毒软件的能力界限。从各大杀毒软件厂商所的最新安全报告中也能看出病毒难防的无力现实。同时,传统的病毒采集渠道也不堪重负,在短时间内收集不到必需的样本;而限于现有的病毒分析能力,即使收集到足够的病毒样本,海量的病毒也会让病毒分析人员无所适从,导致杀毒软件赖以生存的“特征码扫描”技术面临严峻的挑战。
2 云计算带来的转变
2.1 什么是云计算
云计算的概念众说纷纭,不同的厂商从不同的角度定义。简单的说,云计算就是简化客户端的处理能力,将更多的处理任务交给云计算端去做,两者之间通过互联网交换数据,最为典型的就是互联网搜索、邮件等服务,数据存储在互联网之上,而不是客户端计算机中,需要使用就可以随时获得。
2.2 云计算时代的杀毒模式
云计算时代的防病毒技术不再需要客户端保留病毒特征库,所有的信息都将存放于互联网中。当全球任何角落的终端用户连接到互联网后,与云端的服务器保持实时联络,当发现异常行为或病毒等风险后,自动提交到云端的服务器群组中,用云计算技术进行集中分析和处理。
2.3 云计算时代杀毒软件的特点
(1)杀毒软件独立于云计算之外,以云安全为平台,与不断涌现的“云病毒”“云僵尸”等新威胁做斗争。透过云计算平台,为用户提供安全服务,与云计算平台结合紧密。但生存的本质不再依赖于病毒特征库,而是更加完善的反病毒技术和引擎。
(2)杀毒软件在云端之中,是云计算的组成部分,与云数据安全、云风险管理、云硬件安全设备等成为云计算安全服务的一部分。
云端强大的存储和处理能力,完全可以保证用户得到的反馈是同步的,而目前的杀毒软件则无法实现这种快速分析处理,一般都是“马后炮”,也就是说,只有大规模的感染了病毒且在相应的服务器中又事先存入了对应的病毒特征代码时,杀毒软件才能起到应有的查杀和拦截作用,如果是变种病毒则无法拦截,我们看到臭名昭著的熊猫烧香病毒,杀毒软件都是无能为力的。而通过遍布全球的服务器构建一个强大的云端,完全能够拦截病毒变种,而且这也大大减少了客户端的处理任务,减少了客户端的内存占用,客户端无需按时杀毒和升级软件,因为云端和客户端随时通过互联网交互信息。所有计算放到云端上进行,大大节约了成本和时间,有效的控制了病毒传播。
3 现阶段的云安全产品
现阶段,各著名的传统杀毒软件厂商都根据自己的理解,开发推广各自的云安全产品。
3.1 瑞星云安全产品
瑞星通过其“云安全”计划,在其推出的瑞星全功能安全软件2009版本中,通过互联网,将全球瑞星用户的电脑与瑞星“云安全”平台实时联系,组成覆盖互联网的木马、恶意网址监测网络,能够在最短时间内发现、截获、处理海量的最新木马病毒和恶意网址,并将解决方案瞬时送达所有用户,提前防范各种新生网络威胁。每一位“瑞星全功能安全软件2009”的用户,都可以共享上亿瑞星用户的“云安全”成果。
3.2 IBM云安全产品
IBM推出了Proventia虚拟化网络安全平台(Proventia Virtualized Network Security Platform),这一虚拟设备可以帮助保护公司有形资产和云资产的安全。作为IBM涉足安全虚拟化领域的首批产品之一,Proventia虚拟化网络安全平台是一个可扩展的虚拟安全平台,它把包括入侵防御、网络应用程序保护和网络政策执行在内的安全应用程序整合成为一个单一的解决方案。使用Proventia虚拟化网络安全平台,客户能够通过前所未有的规模获得虚拟化的强大功能,进而向虚拟网络提供X-Force支持的网络保护,而这种保护是实现“安全云”服务的重要组成部分。
3.3趋势科技云安全产品
趋势科技Secure Cloud云安全网络防护解决方案包括如下技术:
(1)Web信誉服务
(2)电子邮件信誉服务
(3)文件信誉服务
(4)行为关联分析技术
(5)自动反馈机制
(6)威胁信息汇总
Web信誉服务是趋势科技云安全网络防护解决方案的关键组成部分,它为网域及网域内的网页指定相对的信 誉分数,按照多种因素进行评分,包括网站网页、历史地址变化及其它可能揭示可疑行为的因素。电子邮件信誉技术是一层额外的保护,可拦截高达80%的电子邮件威胁,包括含有危险网站链接的电子邮件,防止这些威胁到达网络或用户计算机。趋势科技云安全利用行为分析的“相关性技术”把威胁活动综合联系起来,确定其是否属于恶意行为。Web威胁的单一活动似乎没有什么害处,但是如果同时进行多项活动,那么就可能会导致恶意结果。另一个重要组件就是自动反馈机制,以双向更新流方式在趋势科技的产品及公司的全天候威胁研究中心和技术之间实现不间断通信。
4 结论
互联网日新月异的发展,使得传统单机时代的杀毒模式与现实需要严重脱节,解决之道是与云计算的发展同步。利用云计算的防病毒技术使Web威胁、电子邮件威胁和文件威胁等相关威胁到达最终用户或公司网络之前即可对其予以拦截,这种全新的方法降低了客户网络和端点的带宽消耗和资源占用率,提供了更快、更全面的及时保护。随着云安全技术的发展和成熟,需要软件厂商不断推出云安全产品来适应网络时代的安全需求。最终实现“互联网就是杀毒软件”的目的。
参考文献:
[1] 计算机病毒的特征发展趋势及防范措施 汤轶 罗庆云 网络安全技术与应用2008年12期
云计算的技术特征范文3
关键词:云计算;体系架构;关键技术
中图分类号:TP393 文献标识码:A 文章编号:1009-3044(2016)33-0035-02
云计算相关概念早在1961年就有一定的思想雏形,人们预言计算资源可以发展为一种公共设施被人们使用,随后出现的效用计算、服务计算以及网格计算等技术,均是云计算的发展基础。就一般情况而言,云计算习惯利用计算机集群构成相应的数据中心,用户通过付费获得相应的服务,具体模式与用水、用电类似。云计算对于服务弹性具有一定的要求,还需综合考虑经济性、可用性、运行可靠性等内容。
1 云计算基本特征分析
云计算具体特征与其实际使用要求关系紧密,具体包含弹、资源池化、可计费服务、按需服务、泛在接入等。
1)弹特征分析
云计算相关服务可依据业务负载实际变化,自动完成相应的快速伸缩变化,具有良好的服务弹性。这种弹可有效增强用户使用与业务需求的一致性,从而避免因服务器性能冗余或过载,造成的资源浪费或服务质量下降问题。
2)资源池化特征分析
云计算所有资源均通过共享资源池模式进行管理,以保障管理的系统性和统一性。这种管理模式借助虚拟化技术,实现不同用户的资源分享,并保障资源的管理、放置以及分配对用户完全透明。
3)可计费服务特征分析
云计算可自动完成用户实际资源使用量的监控,并依据相应的收费标准,对用户使用的服务进行计费。
4)按需服务特征分析
云计算系统可依据用户的实际需求,完成资源的自动分配,以资源服务的形式,为不同用户提供基础设施、应用程序以及数据储存等资源。云计算相关服务不需要系统管理员进行干预。
5)泛在接入
云计算系统对于终端设备并无具体要求,在互联网条件允许情况下,用户可使用笔记本电脑、智能手机以及PC电脑等设备访问云计算服务。
2 云计算体系架构分析
云计算以一系列的服务集合为主要表现形式,从而满足弹性资源、按需服务的实际需求,结合当前云计算相关研究、应用分析,其体系架构主要分为三层,具体包括服务管理、核心服务以及用户访问接口三部分内容,如图1所示。核心服务层主要负责间应用程序、硬件基础设施以及软件运行环境抽象为可用性高、可靠性高且规模可伸缩的服务,以充分满足云计算的应用需求;服务管理层负责给予核心服务层相应的支持,以提高服务的安全性、可用性及可靠性;用户访问接口主要负责实现用户端到云的有效访问。
1)核心服务层
就一般情况而言,核心服务层具有三个子层,分别是平台即服务层(PaaS,platform as a service)、软件即服务层(SaaS,software as a service)、以及基础设施即服务层(IaaS,infrastructure as a service)。
基础设施即服务层主要负责提供硬件基础设施相关的部署服务,根据不同用户的实际需求,为其提供虚拟或实体的网络、储存、计算等相关资源。用户在实际使用基础设施即服务层过程中,需将基础设施相应的配置信息提交给IaaS层的提供商,同时包含基础设施运行的程序代码及其他数据。就基础设施即服务层而言,数据中心是基础,其优化及管理问题一向是该部分的研究重c。随着云计算研究不断深入,IaaS层应用了虚拟化技术,以进一步提高硬件资源分配的科学性,同时为用户提供规模可扩展、可靠性更高的优质服务。
平台即服务层是指应用程序的具体运行环境,主要负责相关管理服务及程序部署服务的提供。借助平台即服务层的开发语言和相应的软件工具,应用程序开发者通过上传具体数据和程序代码即可获得相应的服务,有效避免了底层操作系统、存储以及网络的管理问题。
软件即服务层是一种在云计算基础平台基础上,开发的应用程序,主要用于解决企业的信息化问题。企业主要通过租赁的形式实现该平台的使用,以GMail为例,企业并不需要对服务器相关的维护、管理问题分心,均有Google数据中心负责。
2)服务管理层
服务管理层主要负责保障核心服务层的安全性、可靠性、及可用性,具体分为安全管理和服务质量保障两部分内容。
云计算用户客观要求其实现高可用性、高可靠性,且成本低廉的个性化服务。但云计算本身结构复杂且规模庞大的系统平台,提高了这些要求实现的难度。因袭,云计算服务提供商常需围绕服务质量与用户进行有效的协商,并通过服务水平协议的形式,名列双方的服务需求,以控制双方需求的一致性。如提供商未能遵照协议提供相应质量的服务,用户可依据协议内容获得赔偿。
安全性也是用户重点关注的问题。采用资源集中式管理模式会导致云计算平台出现单点失效问题,即发生停电、地震等突发事故时,可能导致数据中心的数据丢失问题。因此,云计算平台还需加强个性化安全管理相关探索,利用隐私保护、数据隔离等技术,提高平台使用的安全性。
3)用户访问接口层
用户访问接口层是云计算平台实现泛在接入功能的基础,具体包含Web门户、Web服务以及命令行等形式。其中Web服务和命令行模式,既可作为应用程序的开发接口,又具备多种服务组合的能力。Web门户则是另一种访问接口形式,借助Web门户,云计算可实现用户桌面至互联网的迁移,完成这种迁移之后,用户可借助浏览器完成相关程序及数据的访问,不受时间和空间的影响,从而极大地提高用户的实际工作效率。随着云计算的发展,其计算接口逐渐趋向统一化标准发展,从而实现了不同企业间的无缝合作。
3 云计算关键技术
云计算平台的最终目标就是低成本条件下为用户提供可靠、安全、弹性的个性化服务。为全面满足不同用户的使用需求,云计算广泛应用了虚拟化技术、数据中心管理技术、QoS保障技术等关键技术。
3.1 基础设施即服务层关键技术分析
IaaS层是整合云计算平台的基础,承担着海量硬件资源提供、按需配置硬件资源以及个性化基础设施服务的重要职能。该层应用的关键技术,主要包含以下几点内容。
1)数据中心关键技术分析
数据中心作为云计算的绝对核心,其运行可靠性及资源规模,关乎于云计算服务的整体质量。该部分内容的技术应用要点主要分为两点,其一数据中心网络拓扑应满足成本经济性、运行可靠性要求,其二加强节能技术研究,以减少环境污染。
就现阶段云计算数据中心而言,通常由近万个计算节点组成,且随着云计算平台不断发展,节点数量有进一步上涨的趋势。在这种背景下,传统的树形网络拓扑结构具有较大的应用局限性,包括可靠性地、可扩展性差以及网络宽带有限等。为解决数据中心网络拓扑问题,相关研究人员相继提出了PortLand、BCube、VL2等网络拓扑结构。这些创新性网络拓扑结构,通过类似mesh构造的融入,相同提高了节点间的容错能力和连通性,增强了节点负载的均衡性。此外,这种形式的拓扑结构通过小型交换机即可完成,进一步降低了建设成本。
云计算平台数据中心普遍规模较大,在实际运行过程中,涉及计算机设备、制冷装置、通风系统、不间断电源等多项耗电单元,会消耗大量的电力能源。因此,加强绿色节能技术的研究,具有重要的现实意义。
2)虚拟化技术分析
数据中心作为大规模资源的提供基础,需满足平台资源按需分配的实际需求,即虚拟化技术的应用,包括虚拟机快速部署以及在线迁移两部分技术内容。虚拟机模板技术的应用,极大地简化了其部署过程、缩短了部署时间;在线迁移技术具体是指保持虚拟机运行状态下,实现不同物理机转移的技术,其应用意义主要包括以下几点:(1)增强系统运行可靠性;(2)促进负载均衡;(3)便于节能方案设计。
3.2 平台即服务层关键技术分析
平台即服务层在核心服务层中处于中间位置,需同时满足上层分布式编程框架和下层复杂数据调度管理的双重需求,该层的技术重点在于数据的储存与处理。
1)数据存储技术分析
就云计算平台实际需求而言,其数据存储需综合考虑文件的可用性、可靠性要求,和系统I/O性能要求。以Google公司的数据存储技术GFS(google file system)为例,在其实际运行过程中,大文件被有效分为若干数量的数据块,每块数据块具有统一的标准大小,分布存储于节点对应的本地硬盘中,且每一块数据块均具有多个副本,以确保数据存储的可靠性。这种技术的优势在于:一,数据存储能力强,通过文件分块,GFS可满足PB级的存储要求;二,并行读取模式;三,可有效解决数据块副本同步的简化问题;四,数据存储可靠性提升。
2)数据处理技术分析
除数据存储外,平台即服务层还包括相应的数据处理功能,由于该平台建立在大规模硬件资源上,故而其数据处理要求相应的抽象处理过程,同时要求规模扩展功能。
以Google公司的数据处理技术MapReduce槔,是一种建立在GFS之上运行的数据处理技术。在实际运行阶段,可将完整的作业分解为多个Map任务及Reduce任务,从而通过两个阶段的数据处理过程完整相应的数据处理工作。第一阶段为Map阶段,该阶段主要读取Map任务,并完成相应的处理,其中间结果通常保存在对于的Map节点中;第二阶段为Reduce阶段,读取Reduce任务的同时,完成Map中间结果的合并。
3.3 SaaS层关键技术分析
SaaS层主要面向用户终端服务,负责互联网软件应用服务的提供,在Web服务、Mashup、Ajax等技术飞速发展的背景下,带动了SaaS应用的迅猛发展。
4 结语
综上所述,云计算是一种新型的信息技术,具有弹、资源池化、可计费服务、按需服务、泛在接入等特性。云计算体系架构主要分为三层,具体包括服务管理、核心服务以及用户访问接口三部分内容,分别对应不同的服务功能。同时为进一步满足不同用户的实际使用需求,云计算广泛应用了虚拟化技术、数据中心管理技术、QoS保障技术等关键技术。目前,云计算还处于研究发展阶段,针对其运行可靠性、可用性、成本经济性要求,仍需相关人员不断进行探究,以促进云计算的进一步发展。
参考文献:
[1] 罗军舟,金嘉晖,宋爱波等.云计算:体系架构与关键技术[J].通信学报,2011(7).
[2] 黄晓雯.云计算体系架构与关键技术[J].中国新通信,2014(13).
[3] 杨通国.云计算的体系架构与关键技术研究[J].科技展望,2016(25).
云计算的技术特征范文4
【关键词】云计算 大数据 网络
云计算技术是基于网络,提供数据计算服务、存储服务的新型网络管理调度技术,统筹的将网格计算、并行计算以及分布式计算加以实现,应用到了网络数据管理中,并结合其他软件、硬件提供给用户多种服务。利用云技术,可以大幅度的提高资源利用率,这一新型的超级计算其数据非常密集,能够实现集数据存储、数据计算、服务器功能、应用软件功能、IT软硬件设备资源虚拟化。当今全球互联网的流量也在爆炸式的增涨着,云计算与大数据的应用是数据处理的重要技术。并且,随着网络技术、软件技术的发展,云技术在数据的处理中展现出了越来越多优势,如表1所示。
大数据是在云技术之上兴起的新课题,大数据往往具备以下四个特征:
(1)大量的数据;
(2)多种类型的数据;
(3)数据生成及处理速度快;
(4)大数据的巨大价值;这也就是大数据的4V特征。
并且S着基于云计算技术的大数据不断的发展,还提出了大数据的第五点特征及要求,便是强化大数据处理分析中的准确性(Veracity),目前的大数据处理已经进入了5V时代。
1 大数据的特点
大数据技术对比传统数据的诸多特性来分析,具有非常明显的差异。这些差异主要体现在数据的计算、存储以及检索等多方面。传统的数据线性特征显著,对比离散型显著的大数据而言,大数据的发散性、随机性、爆发性显得更为复杂,但是这种复杂的数据能够体现出更为客观的现象,具备更有效的价值。
2 关键技术
2.1 数据存储技术
信息数据在进行存储时的可靠性、安全性以及读写时的效率是云计算技术的基础,利用云计算技术在存储时,往往采用分布式存储,将大量的数据进行汇总并储存到集群服务器中。这种存储技术往往会对数据进行备份储存,利用先进的数据加密技术配合冗余存储能够确保数据的可靠性、安全性。以HDFS为例:
HDFS是一种分布式文件存储系统,被广泛应用在通用硬件中。这一系统具备较高的容错功能,能够在廉价设备上实现应用,并且其对数据访问的吞吐量也很大,适合应用在大数据集的处理上。HDFS系统可以进一步的实现文件系统中的数据流式读取,在大数据处理中,HDFS常被设计成能够实现平台间便于迁移的系统,这就令大数据集的应用更便捷,如图1所示。
2.2 虚拟化数据管理
云计算的主要功能在于针对大量的数据进行分布式的分析处理,并且为用户提供高效的服务,这就需要强大的数据管理能力作为支撑,而基于云计算的大数据技术在数据管理中具备虚拟化特征。将数据处理的计算机系统转换成了虚拟层,利用硬件设备资源,配合操作系统建立了这样一个虚拟的空间链接数据处理的各层级。令上下层的配合更灵活,极大程度的缩减了开销,提高了资源利用率。
3 大数据与云计算的关联
大数据的处理是将云计算技术视为一种技术平台,大数据在进行数据处理时的首选处理形式则是云计算技术,云计算为大数据的处理分析提供了最适的存储空间及计算能力,可以令大量的数据信息迅速的分析出结果,便于使用付诸现实。而云计算技术的主要功能在于计算能力,大数据则可以视为接受计算处理的对象,前者对于计算能力更为注重,后者则是更倾向于存储功能。将存储的大数据付诸应用的重点在于数据处理,而云计算恰好满足了这一功能性要求。
4 总结
大数据处理技术与云计算在信息处理中展现出了极大的潜力,结合这两种技术能够实现信息传递的高效性、准确性、大容量。在很多领域,应用基于云计算的大数据处理技术表现出强大的功能。随着网络信息技术的高速发展,信息数据的传播数量及速度都亟待提升。基于云计算的大数据处理仍需进一步的开发,并对这一新技术加以应用,相关技术的研究也是当前学术界的关注点。
参考文献
[1]丁有伟,秦小麟,刘亮,王涛春.一种异构集群中能量高效的大数据处理算法[J].计算机研究与发展,2015(02):377-390.
[2]李贞强,陈康,武永卫,郑纬民.大数据处理模式――系统结构,方法以及发展趋势[J].小型微型计算机系统,2015(04):641-647.
[3]李敏,倪少权,邱小平,黄强.物联网环境下基于上下文的Hadoop大数据处理系统模型[J].计算机应用,2015(05):1267-1272.
[4]彭建华,李臣明,邱军林,李晓芳,徐立中.接收与处理分离的实时大数据处理模型[J]. 计算机科学与探索,2015(08):906-913.
[5]张少敏,毛冬,王保义.大数据处理技术在风电机组齿轮箱故障诊断与预警中的应用[J].电力系统自动化,2016(14):129-134.
云计算的技术特征范文5
【关键词】云计算技术;大数据;网络异常流量检测
随着互联网的发展,网络技术广泛应用于生活中,许多公共场所布设移动WiFi接入点,为人们获取信息提供便捷条件。人们应用网络服务时将个人信息、银行账户等敏感数据存储到网络中,重要数据传递带来安全隐患造成网络安全问题突出。本文利用云计算技术对大数据下网络异常流量进行检测,并测试检测效果。
1大数据下网络异常流量检测方法研究
光纤网络利用光在玻璃纤维实现光波通信,大数据集成调度,然后通过交换机分配IP。光纤通信传输距离远,云计算环境通过波分复用技术使光强度变化,通信中受到干扰导致通信信道配置失衡,需要对云计算光纤网络大数据异常负载优化检测,提高网络通信的输出保真性[1]。云计算光纤网络中大数据异常负载检测模型研究需要提取大数据负载异常特征,实现异常负载检测。
2网络异常数据检测大数据分析平台
网络异常流量分为DDoS、NetworkScan等类型,异常流量类型可从目的IP地址、源IP地址、字节数等特征区分[2]。DDos异常流量可通过特征二四五七检测;NetworkScan异常流量可采用多个网络地址对主机端口扫描动作;FlashCrowd异常流量由异常用户对访问资源申请动作。本文以影响网络安全异常流量检测为研究内容,运用现有数据样本对建立检测模型训练,对训练后识别分析模型检验[3]。研究异常流量类型包括U2R攻击类型、Probing攻击类型等,需要对数据特征提取分析,对入侵事件进行分类[4]。应用多种入侵事件特征数据,包括离散不间断协议、离散常规行为、离散接点状态、不间断数据源到目标数据比特数、持续创建新文件个数等。为避免两种衡量标准相互干扰,需对离散数据采用连续化操作。云计算平台迅速占领市场,目前应用广泛的是Apache开源分布式平台Hadoop,Hadoop云计算平台由文件系统、分布式并行计算等部分组成[5]。MapReduce将传统数据处理任务分为多个任务,提高计算效率(见图1)。MapReduce编程核心内容是对Map函数进行特定动作定义,Map核心任务是对数据值读取,InputFormat类将输入样本转换为key/value对。发现tasktracker模块处于空闲状态,平台把相应数据Split分配到Map动作中,采用createRecordReader法读取数据信息,tasktracker处于工作状态程序进入等待。
3大数据分析模型
随着待处理数据规模剧增,单台计算机处理数据速度过于缓慢,云计算系统以Hadoop为平台基础,提高计算效率。基于Hadoop平台对网络异常流量操作,向平台提交网络流量检测请求,工程JAR包运行,通过JobClient指令把作业发送到JobTracker中,从HDFS中获取作业分类情况。JobTracker模块执行任务初始化操作,运用作业调度器可实现对任务调度动作。任务分配后进入Map阶段,所需数据在本地磁盘中进行存储,依靠计算机Java虚拟机执行实现JAR文件加载,TaskTracker对作业任务处理,需要对文件库网络流量特征测试,Map动作结果在本地计算机磁盘中存储。系统获得Map动作阶段计算结果后对网络流量分类,中间结果键值相同会与对应网络流量特征向量整合,ReduceTask模块对MapTask输出结果排序。Reduce动作完成后,操作者通过JobTracker模块获取任务运行结果参数,删除Map动作产生相应中间数据。BP神经网络用于建立网络流量检测模型,MapReduce平台具有高效计算优势,最优参数结果获得需多次反复计算优化,MapReduce平台单词不能实现神经网络计算任务,采用BP神经网络算法建立网络流量检测模型会加长计算时间。本文采用支持向量机算法建立网络流量检测模型。支持向量机以统计学理论为基础,达到经验风险最小目的,算法可实现从少数样本中获得最优统计规律。设定使用向量机泛化能力训练样本为(xi,yi),i=1,2,…,I,最优分类平面为wx+b=0,简化为s.t.yi(w⋅xi+b)-1≥0,求解问题最优决策函数f(x)=sgn[∑i=1lyiai(x⋅xi)+b],支持向量SVM把样本x转化到特定高维空间H,对应最优决策函数处理为f(x)=sgn[∑i=1lyiaiK(x⋅xi)+b]。云计算Hadoop平台为建立网络异常流量检测模型提供便捷。MapReduce模型通过Reduce获得整体支持向量AIISVs,通过Reduce操作对SVs收集,测试操作流量先运用Map操作对测试数据子集计算,运用Reduce操作对分量结果Rs统计。
4仿真实验分析
为测试实现云计算光纤网络大数据异常负载检测应用性能,采用MATLAB7进行负载检测算法设计进行云计算光纤网络中大数据异常负载检测,数据样本长度为1024,网络传输信道均衡器阶数为24,迭代步长为0.01。采用时频分析法提取异常负载统计特征量进行大数据异常负载检测,重叠干扰得到有效抑制。采用不同方法进行负载异常检测,随着干扰信噪比增大,检测的准确性提高。所以设计的方法可以有效检测大数据中异常负载,并且输出误码率比传统方法降低。单机网络异常流量检测平台使用相同配置计算机,调取实测数据为检验训练源数据,选取典型异常流量200条数据样本用于测试训练。采用反馈率参量衡量方法好坏,表达式为precision=TP/FP+FN×100%,其中,FN为未识别动作A特征样本数量;TP为准确识别动作A特征样本数量;FP为错误识别动作A特征样本数量。提出检测方法平均准确率提高17.08%,具有较好检测性能。对提出网络异常流量检测方法进行检测耗时对比,使用提出网络异常流量检测方法耗时为常规方法的8.81%,由于使用检测方法建立在大数据云计算平台,将检测任务分配给多个子任务计算平台。使用KDDCUP99集中的数据进行网络异常流量检测分析,选取R2L攻击,Probing攻击异常流量数据用于检测分析,采用准确率参数衡量检测方法宏观评价网络流量检测识别方法:r=TP/FP+FN×100%。使用单机平台下SVM算法建立网络异常检测模型对比分析,本文研究检测模型平均识别率为68.5%,研究网络异常流量检测模型检测准确率提高28.3%。多次试验对比检测耗时,使用本文提出网络异常流量检测耗时较短。
【参考文献】
[1]林昕,吕峰,姜亚光,等.网络异常流量智能感知模型构建[J].工业技术创新,2021(3):7-14.
[2]武海龙,武海艳.云计算光纤网络中大数据异常负载检测模型[J].激光杂志,2019(6):207-211.
[3]农婷.大数据环境下的网络流量异常检测研究[J].科技风,2019(17):84.
[4]马晓亮.基于Hadoop的网络异常流量分布式检测研究[D].重庆:西南大学,2019.
云计算的技术特征范文6
【关键词】 云计算 电信应用
近几年云计算以成为了炙手可热的技术热点, Amazon、Google、IBM、微软和Yahoo等大公司是云计算的先行者,并以前所未有的速度和规模推动着其技术和产品的普及。云计算领域的众多成功公司还包括Salesforce、Facebook、Youtube、Myspace等。那么究竟什么是云计算呢?著名IT咨询机构Gartner对云计算的定义为“云计算是利用互联网技术将庞大且可伸缩的IT能力集合起来作为服务提供给多个客户的技术”。
云计算的架构,可分为管理和服务两部分:管理方面,主要以云的管理层为主,它的功能是确保整个云计算中心能够安全、稳定的运行并能够被有效管理,负责资源管理、任务管理、用户管理、安全管理等工作。服务方面,主要提供用户基于云的各类服务,可分为三个模式:一是IaaS,这层的作用是将硬件设备等基础资源封装成服务供用户使用;二是PaaS,这层作用是将一个应用的开发和部署平台作为服务提供给用户;三是SaaS,这层的针对性更强,它的作用是将应用软件封装成服务,以基于Web的方式提供给客户。
随着信息化技术的高速发展,电信网络发展到今天,已经日益复杂和庞大,而电信网的建设及维护模式并没有发生质的变化,其衍生暴露出许多问题:
1、基础设施使用率低、建设成本高、能耗大;
2、维护复杂、效率低;
3、业务平台多采用烟囱式独立建设,复用效率低;
4、对业务支撑力度差;
5、分散式PC管理,维护成本高、缺乏数据安全保护。
根据传统电信行业的现状,结合云计算的特点,云在电信行业领域的应用发展思路可分以下几个阶段:
1、构筑云平台,奠定开展IDC业务的基础;
2、内部业务云,优化云系统、改善云服务,如:VDI、业务整合;
3、以IaaS为切入点,匹配市场企业多样化需求,积累运营经验,如:弹性主机;
4、以SaaS为赢利点,丰富个人与企业业务,增强用户粘性,如:云存储、个人移动桌面;
5、以专业服务为价值点,咨询顾问、云建设与维护等体系化云服务,如:私有云部署、代建代维;
6、以持续创新为致胜点,ICT创新,发挥差异化优势,持续创新,如:一站式ICT。
云计算的转变主要体现在资源(包括计算\存储\带宽)虚拟化和共享整合,以提供更高的复用率,通过对计算、存储、带宽三者之前再分配以服务模式提供给客户,而电信运营商主要核心竞争力在于带宽和运营经验,所以云计算在电信行业进行应用时,根据业务特点产生可产生以下应用模式:
1.云计算模式:针对计算密集型业务,采用带宽换计算;
2.云网络模式:针对视频等高带宽型业务,采用计算存储换带宽;
3.云聚合模式:针对事务或流程密集型业务,采用中心带宽换边缘带宽。
电信网络主要分为接入网、承载网、核心网、业务网、网管网,这些网络都有自已的侧重点,不同网络的云化能力是不同的:
1、对于业务网,天生就具备“一点接入,全网服务”的云特性,并且业务类产品处于电信网络的边缘,云化不会导致全网的振荡。所以,业务类产品不仅在业务特征上有云化的驱动力,在网络架构上也是最适宜率先云化的系统设备。
2、对于核心网,由于处于网络的核心地位,并且随着IMS的引入,核心网设备出现功能细化、网元种类多、网络扁平化的特征,这导致在发生网络故障时,故障的定位具备很高的复杂性。如果在云计算技术尚未完全成熟的时候引入云平台,将加剧核心网的复杂性,导致故障定位的难度加大。因此网络设备的云化,应该在云计算技术较为成熟时再加以考虑。
3、对于基站等接入设备,虽然业界已经出现“基站云”等概念,但是由于天生具备地域分散、容量小等“非云”特征,云化的业务驱动力不足。接入设备的云化,应当是最后考虑的设备。