前言:中文期刊网精心挑选了云计算的基本架构范文供你参考和学习,希望我们的参考范文能激发你的文章创作灵感,欢迎阅读。
云计算的基本架构范文1
【关键词】 SDN 网络架构 可靠性 可用性 策略
一、背景
随着互联网和移动互联网的高速发展,网络的灵活性和敏捷性要求更高,现有的传统分布式IP网络的局限性日益突显,主要表现为:
1.网络刚性。网络设备大量由单一功能的专用设备构成,造成网络复杂、无法协同、缺乏灵活性等弊端。
2.网元封闭。硬件和软件一体化的封闭结构,导致设备扩展性差、价格昂贵、不同厂家的网元互通困难。
3.业务僵硬。不同厂家的网元设备功能单一封闭,新业务开发周期长、成本高,难以满足快速灵活提供业务的要求。
4.运营复杂。大量厂家的各类专用设备以及相关的协议众多,网络规划复杂,整合难度高,运营复杂,造成运营成本居高不下。
多年来积累的问题已经使得今天的IP网络患有“动脉硬化症”,网络架构重构迫在眉睫。2006年,SDN概念于是应运而生。
SDN(Software Defined Network)即软件定义网络,是一种开放灵活和可持续演进的新型网络架构,采用软件化、虚拟化的“分离”方法,将现有传统的分布式网络架构进行重构,让网络中的控制面和数据转发面进行分离,由传统分布控制向集中控制的网络转变。
关于SDN网络架构,不同的组织有不同的定义,当前较为主流的是开放网络基金会ONF(Open Networking Foundation)对SDN分层架构的定义,如图1所示。
该分层架构模型得到了产业界的广泛认可和推广使用。
SDN的核心是“S”即软件,也就是网络不再是“硬”的,固化封闭的,难以扩展的,而是可以通过软件程序实现灵活的新I务开发和部署,网络资源可以灵活调度,使得网络作为一个管道变得更加智能和弹性可用,较好地解决运营商现有网络运营的痛点,因此,SDN概念一经提出,就受到了运营商的青睐和积极响应。2014年以来,随着SDN技术的逐步成熟,国内运营商开始进行局部试点商用。
二、传统分布式IP网络和SDN网络架构分析
SDN是对运营商现有网络架构进行重构,重构后的网络是否能够稳定运行,是否出了故障能及时恢复,是否能达到或接近传统分布式IP网络的可靠性可用性要求,是运营商关注的重点之一。
2.1可靠性、可用性
网络的可靠性使用网络运行阶段平均业务失效故障间隔时间来描述,用无故障运行时间来衡量。网络的可用性使用网络稳定不出现故障的时间与总的时间的百分比来表示。
从通俗的角度来理解,可靠性高是指网络持续一段较长时间(如一年或两年)运行稳定,不出现业务失效的故障;可用性高是指网络稳定运行不易出现故障,并且一旦出现故障能够快速恢复。
要提升网络的可靠性和可用性,通常采用冗错技术来实现,也就是在网络设计中增加冗余资源,避免单点故障造成业务失效。
2.2传统分布式IP网络基本架构分析
传统分布式IP网络的基本架构如图2所示,分为管理平面、控制平面和数据平面。管理平面为网管系统,负责网络监控和业务配置,当业务配置下发后即使脱网也不影响网络的正常运转。控制平面和数据平面由路由器等设备组成,路由器负责按路由表转发数据包,采用IGP和BGP两种核心分布式动态路由协议,当网管把业务配置上传到路由器后,如果网络状态发生变化,控制平面即路由器会在网络中自动扩散这些变化,各自根据新的状态自动重新计算路由,全网采用冗余路由技术和路由快速收敛技术,当故障发生时能够在秒级时间内使受到影响的业务得以恢复,网络具有故障快速自愈能力。
SDN网络的基本架构如下图3所示,分为应用层、控制层、基础设施层。应用层由各类商业应用软件程序组成,通过北向接口向控制器提交各种网络应用;控制层由SDN控制器组成,它是整个网络的控制中心和指挥中心,是整个网络的“大脑”,拥有全局网络视图,负责实时采集全网设备状态、网络拓扑和各链路流量,生成流表并通过南向接口下发给网络设备,同时根据网络状态变化或应用层提交的功能更改重新生成流表并下发;基础设施层由网络设备和线路组成,一方面负责接收控制器下发的流表并按之进行数据包转发,另一方面负责将网络资源信息和状态上报给SDN控制器,是执行单元,本身不做决策。
从SDN网络的架构来看,SDN控制器作为网络的“大脑”是关键部位,成为单点故障引发全网故障的风险点。
2.4两种架构的可靠性可用性比较
从传统分布式IP网络和SDN网络的基本架构来看,传统分布式IP网络的控制功能是分布式的,任何一个单点故障发生时网络具有快速自愈能力,而SDN网络的控制功能全部集中在SDN控制器,有单点故障引发所有业务失效风险,因此,传统分布式IP网络的可靠性和可用性较高,但是,SDN具有简化网络、快速业务开发和部署、低成本等核心价值,值得研究对策,让SDN网络可用。
三、提升SDN网络可靠性可用性的策略
可靠性和可用性是基于网络故障来考虑的,如果能够识别出各层可能发生的故障及对网络的影响程度,拿出应对策略,避免网络因单点故障而瘫痪。
从SDN网络架构来看,各层可能出现的故障如下:
应用层
设备方面:服务器故障、应用程序故障、服务器所在机房出现断电等故障。
链路方面:服务器与SDN控制器的通信链路故障。
安全方面:非法侵入等。
控制层
设备方面:服务器故障、SDN控制器软件故障、服务器所在机楼出现坍塌等故障。
链路方面:SDN控制器和网络设备之间的链路故障。
安全方面:非法接入或受DDOS攻击等。
基础设施层
设备方面:网络设备故障。
链路方面:网络设备之间的链路故障。
安全方面:非法侵入等。
针对以上各层可能出现的故障,以及各层在网络中的重要程度,权衡成本投入以及可接受的可靠性、可用性等因素采取以下的应对策略:
3.1应用层的应对策略
应用层的设备方面故障对网络的运行影响并不大,当应用需求通过北向接口提交给控制器,由控制器生成相关的业务逻辑变成相关流表下发给网络设备执行,此后,应用程序的服务器即使出现脱网等故障也暂时不会影响网络的运行。因此,用层的服务器、应用程序采用冷备份冗余设计,考虑到机房安全问题,在异地机楼部署冷备份系统。当主用系统出现异常时切换到冷备份系统上运行。
防范链路方面的故障,可采用一条主链路和一条备用链路。由于与应用程序通信的外部设备是可知的,因此,防范安全方面造成的故障,采取对连接的设备进行白名单设置并进行严格的身份认证。
3.2控制层的应对策略
SDN控制器是网络的控制中心和指挥中心,一旦SDN控制器无法提供服务,假设基础设施层的网络没有发生变化,网络设备仍按原有的流表进行转发,不影响网络运行,但是此时基础设施层的网络拓扑如果发生变化,没有SDN控制器重新计算路由生成新的转发流表,对网络的运行就会造成重大影响。因此,控制层健壮性设计非常关键。
防范设备方面的故障,采取SDN控制器异地机楼的热备份设计显得尤为重要,承载SDN控制器软件的服务器采用云化虚拟机集群,这些虚拟机独占物理设备不与其他用户分享,软件采用分布式部署,主用控制器和备份控制器同时运行,都在处理业务,是负载均担关系,因此具有超强的自愈能力来应对单台或多台服务器故障,冗余保护措施在故障情况下自动生效,对外服务不中断,故障服务器修复后重新上线,系统自动平衡工作负载。
控制器和网络设备之间的通信链路如果中断导致控制器无法控制网络,会造成重大影响,为了防范链路故障的影响,应采用控制器通过多条链路连接到网络设备,采取带外专门的链路通道,辅以带内控制通道作为冗余链路,使得任何一条链路故障,都不影响控制器与网络设备的通信。
为防范非法接入或受DDOS攻击,应采取在SDN控制器和网络边界处部署防火墙、入侵检测设备以及流量清洗系统。通过防火墙和入侵检测设备进行访问控制、病毒木马防治、非法入侵检测、安全漏洞扫描等,采取只对特定的IP地址提供服务并按需开放端口原则,阻断非法IP接入或攻击;通过清洗系统对进出控制器的流量进行分析,一旦发现非法攻击流量,立即引导非法流量到清洗部件。
3.3基础设施层的应对策略
基础设施层的网络设备或链路故障,会造成部分业务中断,故障发生后,SDN控制器会根据网络变化情况,重新进行路由计算并生成新的流表下发给在线运行的网络设备,实现网络收敛。在设计网络节点时采用传统的设备冗余、链路冗余技术,部署IP FRR快速重路由,一旦节点故障发生,网络设备在没有控制器控制下也能自动完成路径切换。适当加大资源冗余度,以轻载为主,链路带宽利用率控制在50%以下。防范非法侵入网络设备产生的故障,采取管理控制网络与公网隔离,对远程登录进行严格设置和身份认证。
四、SDN可靠性可用性策略在实际网络部署中的应用
中国电信广西公司从2014年以来,积极推进SDN网络的试点工作,在实际SDN试点网络部署中综合考虑以上可靠性可用性策略,采用如图4的方式部署:
应用层和控制层的软件使用云资源池分配的虚拟机来承载,同时在异地机楼云资源池上部署备用系统。应用层和控制层的虚拟机各自独占一个VLAN与云资源池中的其它网络进行隔离。这些虚拟机独占物理设备不与其他用户分享。SDN控制器采用热备份部署。
SDN控制器与网络设备的通信链路,采用带外管理控制网络和带内控制通道相结合的方式。
基础设施层采用设备、链路冗余配置。
在控制层部署防火墙、入侵检测设备和流量清洗系统,保障SDN控制器的安全。
通过在SDN试点网络进行了专线业务开通、业务流量优化、新业务开发和部署、模拟攻击、设备主备倒换等一系列实验,各项业务功能达到了预期效果,网络可靠性可用性也达到商用的要求。
五、结束语
SDN网络架构具有传统网络无可比拟的优势,虽然SDN网络的可靠性可用性相对于传统分布式IP网络而言,还有一些差距,但是可以通过以上的策略来提升SDN网络的可靠性可用性,从而使SDN网络达到可商用的目的。
参 考 文 献
[1]闫长江,吴东君,熊怡 .SDN原理解析―转控分离的SDN架构[M].北京:人民邮电出版社,2016
[2]刘文懋,裘晓峰,王翔 .软件定义安全:SDN/NFV新型网络的安全揭秘[M].北京:机械工业出版社,2016
云计算的基本架构范文2
关键词: 云计算; 海量视频点播; Hadoop系统; 建模
中图分类号: TN911?34; TP37 文献标识码: A 文章编号: 1004?373X(2013)14?0010?03
Cloud computing technology and modeling of mass VOD system
CHEN Xu?wen, HUANG Ying?ming
(Department of Information Engineering, Jieyang Vocational & Technical College, Jieyang 522000, China)
Abstract: With the promotion of the triple?net fusion, the mass VOD emerges out some characteristics such as complicating data, multiple platforms and huge business, which make a huge challenge to the traditional on?demand mode. By using the powerful computing ability and mass data efficient processing of cloud computation, the application of cloud computation in mass VOD system is discussed on the basis of analysis of the basic framework and technical characteristics of cloud computation and in combination with the characteristics of VOD service. The framework and working principle of the cloud computing system are analyzed. Some main technologies, such as redundancy backup of data, heartbeat detection, replacement of intelligent nodes and load balancing are elaborated. A new idea to make the mass video propagation smooth is put forward.
Keywords: cloud computation; mass VOD; Hadoop system; modeling
随着互联网技术和多媒体技术的迅猛发展,基于网络的视频点播(Video On Demand,VOD)业务成为了网络应用的一大热点。人们通过手机、掌上电脑等简易的终端设备随意欣赏视频的新型模式极大地颠覆了传统的电视观看模式,逐步成为视频点播的主流。虽然流媒体及P2P技术[1]的应用在一定程度上减轻了中央服务器和骨干网络的负担,优化了节目流的播放质量,但当面对热点视频时,海量视频的处理传播极大地考验着视频运营商的实力。另外,随着电信网、计算机网和有线电视网三网融合步伐的快速推进,对于视频点播业务的需求也将呈现出数据量剧增和多平台共存的局面,光靠原有的硬件基础绝对无法满足形势的发展,而增加投入势必会增加企业的运营成本,租用第三方运营平台将成为一种发展趋势。
作为一种新型的商业计算模型,云计算提供了强大灵活的计算能力和高效快捷的海量数据处理方法,其高可靠性也是普通的第三租赁方所无法比拟的。本文以云计算为平台,研究了基于云平台的视频点播模式,为解决海量视频的高效传输提供了新方法。
1 云计算技术及海量视频点播的技术特点
1.1 云计算的概念
自云计算(Cloud Computing)概念提出以来,至今仍没有统一、公认的定义,比较获得业界认可的是2011年由美国国家标准和技术研究院(NIST)提出的[2]:云计算是一种通过网络以便利的、按需付费的模式获取计算资源(包括网络、服务器、存储、应用和服务)并提高其可用性的模式,这些资源来自一个共享的、可配置的资源池,并能够以最省力和无人干预的方式获取和释放。
云计算是网格计算、并行计算、分布式计算、效用计算、网络存储、虚拟化、负载均衡等传统技术和网络技术发展融合的产物,它以虚拟化为核心,通过网络把多个成本较低的计算实体整合成一个具有强大计算能力的资源系统,以按需、易扩展的方式为用户提供所需的各种资源和服务。云是一个包含大量可用虚拟资源的资源池,云中的资源在使用者看来是可以无限扩展、随时获取、按需使用、按量付费的[3]。云模式[4]也即电厂模式,利用电厂的规模效应来降低电力价格,用户根据用电量付费,便可源源不断获取电力资源,而无需维护和购买任何发电设备。
云计算具有低成本、高性能、超大规模、虚拟化、高可靠性、通用性、高可扩展性、按需服务等特点[5]。目前比较成熟的云计算业务和应用有:Google的AppEngine、Amazon的弹性计算云EC2、微软的Azure云平台和IBM的蓝云等。
1.2 云计算的架构[5]
(1)软件即服务(Software as a Service,SaaS):SaaS服务供应商将各类应用软件统一部署在服务器上,用户通过简易的互联网接入终端就能直接使用,并按需按量付费。云中的软硬件设施由供应商负责维护和管理,用户不需顾虑类似安装、升级和防毒等琐事,且免去初期高昂的硬件投入、人员配置、软件许可证等费用的支出,经济便捷。
(2)平台即服务(Platform as a Service,PaaS):PaaS主要面向开发人员提供一个应用的开发和部署平台,包括SDK、文档、测试环境和部署环境等。平台的部署和运维均由供应商负责,用户可一心一意致力于研发工作。
(3)基础设施即服务(Infrastructure as a Service,IaaS):IaaS由底层硬件或虚拟机资源构建而成,用户从供应商那里获取所需的计算或存储资源来装载相关应用,且仅需为所租借的那部分资源付费。
1.3 海量视频点播的技术特点
(1)文件庞大,数据量多。单个视频文件非常大,视频资源繁多,数据海量化。
(2)编码多样,业务复杂。随着三网融合的推进及视频播放技术的改革,必将出现多编码、多平台共存及多业务共享的局面。
(3)质量至上,要求严格。庞大的数据量对服务器性能及网络带宽要求甚高,而随着点播量的快速增长,对于计算能力及处理强度的要求也相应剧增。
2 海量视频点播系统的云计算技术与建模实现
2.1 系统架构
根据视频点播业务的技术特征及云计算技术的特点,本文提出了基于云计算的海量视频点播平台的基本架构,其拓扑图如图1所示。用户通过Web交互服务器向视频点播系统发出业务请求,经Web交互服务器受理后将具体的业务要求提交给云核心服务器,由核心服务器对整个云文件系统进行控制处理,完成视频文件的调用并反馈回客户端。
图1 系统架构图
2.2 系统工作原理
系统采用Hadoop系统实现云点播平台SaaS层的构建[6]。根据点播系统的功能要求及Hadoop系统的基本构成,包括以下几个功能组件,阐述如下:
2.2.1 Web交互服务器
在整个点播系统中,Web交互服务器作为系统前端窗口,负责受理用户的点播、注册、用户管理等常规业务,当涉及视频文件调用时,则将业务请求转交给后台的云核心服务器处理,Web交互服务器仅负责点播信息的传递工作,没有涉及具体视频文件的传输内容。
2.2.2 云核心服务器
云核心服务器位于云计算的最上层,负责整个云系统的资源管理及任务控制。
(1)资源管理。作为Hadoop系统的主控节点,云核心服务器负责记录文件的数据块分割规则及这些数据块的具体存储位置,对内存及I/O进行集中管理。为加快维护效率,同时减轻本身负担,云核心服务器通过与各集群主控服务器进行交互控制,对集群中的所有节点和所有虚拟机进行实时控制,维护系统的资源状态信息表。为提高系统的运作性能,云核心服务器仅管理文件系统的元数据,具体的数据访问则交由下层服务器负责[7]。
(2)任务控制。响应Web交互服务器的点播请求,检索资源状态信息表,获取资源的具置,然后通过集群主控服务器汇总节点信息,建立客户端与各虚拟机实例的通信,实现数据传输。
2.2.3 集群主控服务器
为提高云系统的运作效率,减轻核心服务器的负担,将云系统的资源划分成多个集群,由集群主控服务器负责管理该集群中的所有资源。集群主控服务器主要有以下作用:
(1)集群主控服务器管理其集群中的所有节点控制器和虚拟机,对系统资源进行实时监控,形成子资源状态信息表,并将结果反馈给云核心服务器,更新整个云系统的资源状态信息表。
(2)响应云核心服务器的任务要求,快速调用集群中的虚拟机实例,建立与客户端机器的连接,传输数据。
(3)担任Hadoop系统的主节点,控制集群中的所有从节点,对集群中所有虚拟机实例及系统资源进行统筹管理,提高系统的响应效率。
2.2.4 节点控制器
节点控制器是整个云系统的前沿阵地,在节点控制器上真正运行着虚拟机实例,并通过虚拟机管理器进行管理,虚拟机实例的数量由节点控制器的资源及计算任务的类型决定,一般为3~5台。节点控制器的功能包括以下三方面[8]:
(1)节点控制器负责监控节点上运行的所有虚拟机实例的运行状态及资源的使用情况,并将监控状况实时返回给上层的集群主控服务器。
(2)响应集群主控服务器的需求,启动虚拟机实例实现数据通信。当任务完成后或在规定时间内客户端无响应(如客户异常退出)时,则停止虚拟机实例运作,释放网络带宽及点播资源。
(3)监控和管理虚拟机实例。包括虚拟机资源的存储备份、虚拟机宕机的应急处理等。
2.3 系统设计的关键技术
2.3.1 数据的冗余备份
云系统的文件传输采用流媒体技术实现,即将多媒体文件压缩后分解成若干大小相等的数据块(数据块的大小可根据实际情况进行配置),并统一编号,再由服务器对客户端进行实时传送。为了容错,文件的所有数据块都会有副本,即冗余备份。系统运行时,节点控制器利用虚拟机管理器对虚拟机上的文件系统进行监控,产生一份数据块与本地文件对应关系的列表,形成块报告返回给节点控制器,节点控制器根据块报告进行完善(如增加数据块具体路径等)后反馈给集群主控服务器更新资源状态信息表。
云系统的集群一般运行在多个机架上,不同机架上的数据通信必须通过交换机,通常机架内节点之间的带宽比跨机架节点之间的带宽要大,这有可能影响云系统的可靠性和性能。采用机架感知(Rack?aware)策略[9],将数据块以多个副本形式部署在本地机架和不同机架上,改进数据的可靠性、可用性和网络带宽的利用率。此策略可防止机架失效时的数据丢失,也可保证系统的性能。
2.3.2 心跳检测技术
在任何系统设计中,硬件异常检测总是极其重要的。云系统采用心跳检测[10]技术来控制系统硬件的异常情况。集群主控服务器周期性地通过节点控制器接受虚拟机的心跳包和块报告,以此判断虚拟机的存活状态:收到心跳包说明工作正常;若在特定时间t内没有收到心跳包信息,则认为宕机,系统将不会发给它们任何新的I/O请求。对于宕机的虚拟机,系统将不断进行检测并通过虚拟机管理器进行故障修复,若在特定时间内仍无法恢复,则将重新复制该数据块,避免该数据块副本数减少所造成的影响。
2.3.3 智能节点替换技术
智能节点替换技术与心跳检测技术联合应用,当系统在特定时间内仍无法检测到某数据块的心跳包时,则将该数据包重新复制,此时,节点控制器将更新数据包的新位置,并使用新节点替换原来的故障节点,保证数据传输的连贯性。
2.3.4 负载均衡技术
负载均衡是很多系统中需要解决的重要问题。在云系统中,云核心服务器根据节点控制器发送的心跳信息和存储的数据块情况,掌握各节点的当前状态,通过平衡资源状态信息表中的资源分配情况,将数据块分配给负载较轻、写入速度较快的节点控制器。具体包括:在新数据加入时,为新数据寻找优越的存储位置;若现有的资源过于集中,可采用数据块迁移方法,重新分配合适的存储位置,平衡整个文件存储系统。
3 结 语
随着三网融合进程的不断推进,视频点播业务将面对内容繁杂、平台多样、业务量激增等局面,这对传统的视频点播模式提出了巨大的挑战。
本文在分析云计算的基本架构和技术特点的基础上,结合视频点播业务的特点,论述了云计算在视频点播系统中的应用,对其系统架构、工作原理和关键技术进行了详细的阐述,为解决海量视频的流畅传播提出了一个全新的思路。
参考文献
[1] 陈旭文,林若波.基于P2P的多原VOD系统的设计[J].测控技术,2012,31(8):27?30.
[2] MELL P,GRANCE T. NIST SD 800?145 the NIST definition of cloud computing [S]. Gaithersburg,MD: NIST Special Publication,2011.
[3] 吴朱华.云计算核心技术剖析[M].北京:人民邮电出版社,2011.
[4] GROSSMAN R L.The case for cloud computing [J]. IEEE Computer Society,IT Professional, 2009(11):23?27.
[5] 周洪波.云计算技术、应用、标准和商业模式[M].北京:电子工业出版社,2011.
[6] HADOOP W T. 权威指南[M].曾大聃,译.北京:清华大学出版社,2010.
[7] 刘鹏,黄宜华,陈卫卫.实战Hadoop:开启通向云计算的捷径[M].北京:电子工业出版社,2011.
[8] Anon. Amazon elastic computing cloud [EB/OL]. [2011?07?18]. http:///cn/ec2.
云计算的基本架构范文3
(中国民用航空华东地区空中交通管理局 上海 200335)
摘 要 鉴于传统构架的协同决策(CDM)系统不能适应民航事业快速发展,提出建立基于云计算平台的CDM系统。
首先概述了云计算的基本概念和主要特征,并总结了云计算的关键技术和基本架构。之后,研究了对云计算拓扑设计算法,在树形拓扑结构的基础上对三种算法进行了比较和选择,确定方案为merge-MST。最后,完成云计算平台的初步总体设计,并搭建仿真测试平台,测试结果证明所设计的云计算CDM系统具有较好的性能。
关键词 民航,协同决策系统,云计算
中图分类号:TP392 文献标识码:A
doi:10.3969/j.issn.1674-7933.2015.04.004
*基金项目:上海市2013 年“ 科技创新行动计划”信息技术领域项目(13511504700) 。
作者简介:叶云斐,1984 年生,本科,助理工程师,主要从事及研究领域:航空计算机信息管理,Email :leaves616@126.com ;
陈晓建,研究生,高级工程师;
陈伟青,本科,工程师;
谷叶,研究生,助理工程师。
0 引言
近年来我国民航事业快速发展,航班延误现象愈发严重。中国民用航空局的《2013年民航行业发展统计公报》显示: 2013年不正常航班占比27.66%,旅客投诉率较2012年增长13.66%。华东区域经济发展迅速,人口密度大,以全国1/9的空域面积承载着1/3的航班流量,问题尤为显著。以发展的眼光看问题,有必要依靠各方可靠、全面、实时的信息,采用高效合理的航班排序、放飞算法,充分利用空域时隙资源,协同决策(CDM)的概念应运而生。
民航华东空管局CDM系统于2012年12月上线运行,系统基础数据多,计算量大,对软硬件资源要求高。以上海虹桥、浦东两个机场为例,每天就有5 000多架航班起落,涉及空域航路点300~400个,各航路点又分3~4个高度层;在此基础上,CDM系统必须结合实时的流量控制、气象预报等信息反复计算调整,且任何时刻的航班重新规划都会影响到一整条航路上与之相关的所有航班,使计算量成倍增加。随着航空流量的逐年增加,CDM系统计算量也以指数方式快速增长。
现有系统采用传统架构设计,不能满足前瞻性设计要求。理想的CDM系统架构应具有虚拟化、易扩展、按需部署、高灵活性、高可靠性、高性价比的特点。本文提出一种基于云计算的CDM系统构架,利用自动拓扑设计算法(merge-MST)设计网络拓扑,采用Hadoop开源管理软件实现任务调度,最后通过仿真手段验证了该方案的可行性和适用性。
1 现有民航CDM系统的不足
协同决策是一种技术手段,更是一种基于资源共性和信息交互的多主体(空管、机场、航空公司等)联合协作运行模式。华东空管局CDM系统从各个参与单位引接实时航班数据,建立塔台电子进程单系统、A-CDM系统、飞行计划处理系统等,并形成三大客户端——流量管理客户端、塔台客户端和公司机场客户端,系统构成如图1所示。
`该系统基于传统的关系型数据库,以塔台电子进程单为例,架构示意图如图2所示。尽管其成熟度高、可靠性好,但随着数据量逐渐增大,数据范围逐渐拓宽,其存储和查询效率已不能满足需求。
2 云计算平台及其架构设计
2.1 定义和特点
云计算是一种新的计算模式,由分布式计算、并行计算和网格计算的发展而来。其后台大量采用虚拟机,并通过互联网形成资源池。这些虚拟资源可以根据不同的负载动态重新配置,快速并以最小的管理代价提供服务[1]。从用户角度看,云计算具有可靠的存储技术和严格的权限策略,可为客户提供安全可靠的数据存储中心;对用户端的设备要求低,支持手机、平板电脑等无线通信设备;可实现不同设备间的数据、应用共享。
从硬件的角度看,云计算高度灵活,可按需投入或释放硬件资源,从而提高整体利用率。2.2 类型
云计算按其服务层次分为三类[2],如图3所示:
1)基础设施即服务(IaaS,infrastructure as a service)
在虚拟化技术的支持下,利用廉价计算机实现大规模集群运算能力,同时按需配置,为用户提供个性化的基础设施服务。此类型的典型代表有亚马逊云计算AWS(Amazon Web Services)、IBM蓝云等。
2) 平台即服务(PaaS,platform as a service)
提供的服务是开发环境,允许用户使用中间商提供的设备开发自己的程序。此类型的典型代表有GoogleApp Engine(GAE)等。
3) 软件即服务(SaaS,software as a service)
通过Internet直接提供运行在云计算设备上的应用程序。用户无需考虑基础设施及软件授权等内容。此类型的典型代表有Salesforce公司的CRM服务、ZohoOffi ce、Webex等。
2.3 关键技术
云计算作为一种集群计算和服务模式,运用了多种计算机技术,以编程模型、数据存储管理、虚拟化最为关键。
1) 编程模型
Google提出的Map-Reduce[3]是一种流行的云计算编程模式,Map(映射)程序将数据分割成不相关的数据块,Reduce(化简)程序则将将数据处理的中间结果进行归并,如图4所示。Map-Reduce可将海量异构数据的分析处理工作分解成任意粒度的子任务,并允许在多个计算节点之间进行灵活的数据调度,此外,程序员无需关心数据块的分配和调度,该部分工作由平台自动完成。
2) 数据存储管理
云计算采用分布式的方法存储和管理数据,并利用冗余存储保证数据的可靠性,常用技术有Google的GFS及Hadoop团队的HDFS[4],其中后者是前者的开源实现。
GFS系统架构如图5所示,整个系统节点分三类:Client(客户端)是GFS提供给应用程序的访问接口、Master(主服务器)是管理节点, Chunk Server(数据块服务器)则负责具体工作。Chunk Server可有多个,每个Chunk对应一个索引号(Index)。作为对比,HDFS体系结构如图6所示。
云计算的数据管理需满足大规模海量数据的计算和分析,大多采用列存储的数据管理模式。现有技术中最主流的是Google的BigTable,Google对BigTable给出了如下定义:BigTable是一种为了管理结构化数据而设计的分布式存储系统,这些数据可以扩展到非常大的规模。此外,Hadoop团队也开发了类似BigTable的开源产品HBase和Hive。
3) 虚拟化技术
虚拟化技术是云计算区别于一般并行计算的根本性特点,其实质是实现软件应用与底层硬件相隔离,把物理资源变成逻辑可管理资源。目前云计算中虚拟化技术主要包括将单个资源划分成多个虚拟资源的裂分模式,也包括将多个资源整合成一个虚拟资源的聚合模式。根据对象又可分为存储虚拟化、计算虚拟化、应用级虚拟化等等。
将虚拟化的技术应用到云计算平台,使得云计算具有灵活的进程迁移方式,更有效的使用主机资源,在部署上也更加灵活。
2.4 架构设计
云计算体系结构的特点包括:设备众多、规模大、采用虚拟机技术、任意地点、多种设备汇集,并可以定制服务质量等等。文献[5]提出了一种面向市场应用的云计算体系结构,如图7所示:
1) 用户:用户可以在任意地点提交服务请求;
2) SLA资源分配器:充当云后端和用户之间的接口,包括服务请求检测和接纳控制模块、计价模块、会计模块、VM监视器模块、分发器模块和服务请求监视器模块;
3) 虚拟机(VMs):为实现在一台物理机上的多个服务提供最大弹性的资源分配;
4) 物理设备:包括服务器、存储设备及路由器等。
基于云计算平台的华东CDM系统还处于初步研究阶段,采用本架构进行初步设计及仿真验证。
3 云计算网络拓扑设计
云计算系统后端的网络由大量服务器组成,分布广泛,复杂度高。要保证数据的畅通传输,需要设计一个合理高效的网络拓扑结构。
首先,为保证管理扩展和维护的方便,将云计算系统分成多个子网,各子网采用树形拓扑结构,如图8所示。在此基础上,把每个子网看成一个节点,各个节点具备流量、交换能力、地理位置等属性,将云计算网络拓扑抽象成图论数学模型。如何连接各个节点,才能即满足冗余度要求,又尽可能降低网络架设花销已被证明为NP-hard[6][7],故只能求解近似最优解。此类问题的解法有两种,一种是在限定网络花销的情况下最大化网络的抗毁能力[8],另一种是在保证网络一定抗毁能力的条件下尽可能减小花销[7],本文按照后者进行设计。
在图论领域,该问题可简化为求解特定连通度k时最小生成子图的问题,本文主要考虑基于图论的k-FOREST算法[9]、merge-MST算法[10]和启发式算法TEA[7]。通过理论推导,三种算法的时间复杂度如表1所示,其中TMST=O(m?logm)或O(n2),m代表图边数,n代表点数。
本文
参考文献[11]的仿真手段对三种算法进行比较,考虑7、10、15、25个节点的场景,得到平均边数和平均花销的比较示意图如图9、10所示。
通过比较可看出,在节点数目较少时TEA算法表现最佳,但随着节点数目增多性能迅速下降;在节点数多于20个时,则是merge-MST算法更优。
考虑到CDM系统规模庞大,仅华东区域就需要计算机点80~100个,故选取merge-MST进行网络架构的设计。
4 总方案设计
基于云计算架构的CDM系统,依托中心节点、区域节点和业务集中节点,整合分布的物理资源,形成统一的可调配的逻辑资源。总方案结构如图11所示。包括基础设施、虚拟资源层、信息共享云平台层,应用层以及贯穿始终的安全层和管理层。
1) 基础设施层:既包括支持民航CDM系统运行所必需的基础设施,也包括行业内可整合入CDM系统的其他设施。
2) 虚拟资源层:采用云计算技术,整合分布的硬件资源,形成资源池,灵活调配提供服务。
3) 云平台层:涵盖管理底层资源、支撑上层应用的各个软件和模块,包括平台管理、负载均衡、中间件、业务流程管理软件等等。
4) 应用层:将CDM系统功能进行最后一步封装后提供给用户。
5) 安全层:负责整个CDM系统的安全。
6) 管理层:管理整个CDM系统运行配置,包括资源管理、网络监控、部署管理、内容管理以及用户管理等,监控硬件、软件等多个层次,提高整体运行效率。
5 系统测试与应用
为验证所设计方案的可行性,并测试方案性能,本文搭建了测试环境,针对CDM系统多项业务进行了测试。
CDM系统主要业务涵盖协同决策系统、流量管理系统、统一飞行计划处理系统和塔台电子进程单系统。其中协同决策系统为顶层系统;流量管理系统帮助最大限度利用空中交通服务的容量;统一飞行计划处理系统负责接收、处理和飞行计划;塔台电子进程单系统则协助塔台管制员管制飞机的起降。
5.1 硬件环境
云计算集群设有3个master节点,18个slave节点,各节点均是基于X86架构的PC机。PC机配置如表2所示。
所有测试主机均连接在千兆网络中,网络环境中不存在其他设备,干扰因素可忽略不计。
5.2 软件环境
测试采用Hadoop团队开发的开源软件,版本如表3所示。
5.3 测试结果
通过编写程序,在测试环境中进行电报处理、雷达轨迹处理、气象与情报处理、桥位信息处理、航班信息、数据查询以及协同航班处理等压力测试,平均日最大处理条目数量如表4所示。
测试结果表明:云计算平台计算能力强,能够弥补现有民航CDM系统的不足,可满足华东地区CDM系统前瞻性设计要求。
6 结束语
本文针对华东地区巨大的航班吞吐量,提出了一套基于云计算平台的CDM系统设计方案。通过测试验证,该系统架构具备良好的计算能力和业务处理能力,使用灵活,更满足系统安全可靠、成本低、易拓展的需求。
基于云计算的华东空管CDM系统是现有CDM系统的发展方向,将在2015年开始详细设计。
参考文献
Vaquero L, Rodero-Marino L.Caceres J. et al. A break in theclouds: towards a cloud defi nition[J]. SIGCOMM ComputerCommunication Review. 2009,3(1): 50-55.
UC Berkeley 可靠自适应分布式系统实验室, 姚宏宇译. 云端之上——Berkeley对云计算的看法. 2009.
J. Dean, S. Ghemawat, MapReduce: Simplified DataProcessing on Large Cluster[C], OSDI’04, Sixth Symposiumon Operating System Design and Implementation, SanFrancisco, CA, December, 2004.
Sanjay Ghemawat, Howard Gobioff, Shun-Tak Leung.The Google File System[C]. Proceedings of 19th ACMSymposium on Operating Systems Principles. 2003, 37(5):20~43.
R. Buyya, C.S. Yeo, S. Venugopal, Market-OrientedCloud Computing: Vision, Hype, and Reality for DeliveringIT Services as Computing Utilities [C], The 10th IEEEInternational Conference on High Performance Computingand Communications.
S. Pierre, G. Legault, A Genetic Algorithm for DesigningDistribute Computer Network Topologies[J], IEEE Trans.Man, Systems, and Cybernetics, 28(2), 1998: 249-258.
E. Szlachcic, Fault Tolerant Topological Design for ComputerNetworks[C], Proceedings of the international Conferenceon Dependability of Computer Systems, DepCos-RELCOMEX’06.
F.M. Shao, X. Shen, and P.H. Ho. Reliability Optimization ofDistributed Access Networks with Constrained Total Cost[J],IEEE Trans. Reliability, 2005,54:412-430.
H. Nagamochi, T. Ibaraki, A linear-time algorithm for fi ndinga sparse k-connected spanning subgraph of a k-connectedgraph [J], Algorithmica 7, 1992, (7): 583-596.
云计算的基本架构范文4
关键词:桌面云;虚拟化;服务器;协议;中间件
中图分类号:TP311 文献标识码:A 文章编号:1009-3044(2016)30-0015-03
过去的几年里,说起信息技术领域的热门话题,云计算技术应该是首当其冲、不可不提的。“云计算”为人们使用网络提供了几乎无限多的可能,当然也包括在教育信息化中的应用。正是基于云计算技术的发展,教育信息化的发展必定是教育与云计算的相结合。现代高等教育无论是高校的教学还是科研工作,计算机机房都是不可或缺的一块基地。云实验室也就是”云”机房的概念应运而生,它是云计算技术和虚拟化技术在教育领域的创新应用。
1 “云”机房技术基础
1.1 云计算技术
“云”机房系统的构建首先有赖于云计算技术的飞速发展。分布式系统、虚拟化、Web2.0、面向服务的计算和效用计算这五种技术在云计算的实现过程中发挥了重要的作用。大型机计算系统,集群计算和网格计算是云计算技术发展史上的三大里程碑。
作为一种服务模式,根据交付内容的不同,目前云计算包括三个层次的服务:IaaS(Infrastructure as a Service,基础设施即服务)、PaaS(Platform as a Service,平台即服务)、SaaS(Software as a Service,软件即服务)。
这三种服务类型相互关联,从底部到顶部,构成了云计算技术的整体组织结构,同时也将利用云计算技术提供的各种服务进行了从底部到顶部的层次划分。
1.2 虚拟化技术
虚拟化技术是指将计算机的物理资源(如硬件、运行环境、存储以及网络等)进行抽象化后呈现给用户,从而实现底层硬件和上层软件的分离的方法。它可以将单个资源划分为多个虚拟资源,也可以将多个分散资源整合为一个虚拟资源,它可以用于在操作系统中隔离应用程序的运行环境,也可以创建多个虚拟环境,如本文研究的“云”机房中的服务器端模拟多个操作系统界面。
虚拟化技术拥有庞大的技术和概念体系,根据其仿真的服务和实体,可以将虚拟化技术分为执行环境虚拟化、存储虚拟化和网络虚拟化。也就是说,利用虚拟化技术不仅可以为应用程序提供运行的抽象环境,也可以用于存储、网络以及客户端/服务器交互的虚拟化。
虚拟化技术在应用上,比较典型的有服务器虚拟化和桌面虚拟化。
1.3 “云”机房的理论研究
1)“云”机房的虚拟化架构组成
“云”机房的虚拟化架构可以说是桌面虚拟化架构(VDI)的局部应用。VDI架构的原则是“集中计算,分布显示”。通常,VDI方案的基本架构可以分为三层。顶层是用户访问层,用户通过支持VDI访问协议的终端设备进入VDI。中间层是虚拟架构服务层,用户访问层通过特定的显示协议和中间层实现通信,从而获得安全、规范、高可用的桌面环境。最底层是存储服务层,虚拟架构服务通过调用存储协议来访问在该层中存储的用户数据、属性、镜像等。
具体地说,一个“云”机房的虚拟化架构应该主要包含终端客户端、管理服务器和虚拟桌面服务器。
2)“云”机房的虚拟化显示协议
桌面虚拟化显示协议连接着终端客户端和服务器中的虚拟桌面,负责将终端客户端输入的信息经过打包、压缩、加密后传输给虚拟桌面服务器中对应的虚拟机进行计算,然后将计算的结果再进行打包、压缩、加密传输到终端客户端并解析显示给用户。因而,桌面虚拟化显示协议的效率是用户体验的关键,也是桌面虚拟化技术的关键技术之一。
当前主流的桌面虚拟化显示协议主要有四种,第一种是RDP协议,第二种是ICA协议,第三种是PCoIP协议,第四种是SPICE协议。
2 “云”机房平台架构设计
2.1 桌面云平台架构总体设计
桌面云平台的总体架构设计如下图1所示。整个桌面云平台架构分为三部分,终端客户端(云终端)、管理中间件(Broker)和虚拟桌面服务器端(Host)。每个部分具w包含的功能模块设计以及各部分之间的关系如下图所示。
如上图所示,在整个桌面云平台中,终端和服务器端通过管理中间件实现连接。具体来看,是终端的Broker客户端模块Broker Agent对管理中间件中的终端接口进行访问从而实现终端和管理中间件的通讯,然后获取到终端的显示桌面,接着通过Spice协议实现自身SPICE客户端到虚拟桌面服务器中的SPICE服务端的通讯,同时由虚拟桌面服务器中的服务器客户端Host Agent来实现服务器端虚拟机及各种资源的管理,其管理接口Host Agent接口由管理中间件提供。
2.2 云桌面平台服务器
将桌面“云端”化的前提条件是将服务器资源虚拟化。虚拟环境管理套件、虚拟化管理接口、QEMU-KVM平台、SPICE显示协议,是虚拟化服务器中的主要组成部分。
1)QEMU-KVM虚拟化平台
作为一款纯软件的虚拟化模拟器,QEMU在Linux平台上被广泛使用,其开源性为研究提供可能。它可以通过模拟的方式虚拟化出各种常见的硬件架构,且模拟效率较高,再通过非开源的KQEMU软件的加速,可使整个虚拟环境的运行速度与实体机相媲美。同时为了突破QEMU的I/O系统瓶颈又引入了Virtio,于是其整体架构如图2所示:
2)桌面显示协议SPICE
SPICE是一种体验度较高的远程桌面显示协议,在整个桌面虚拟化架构中承担的仅仅是内容的显示功能,它本身不参与控制信息、执行逻辑等数据的传输。所有涉及执行、处理等功能时都将在服务器端执行。SPICE协议只显示更新变化的显示内容,因此它对带宽的要求极低。这也是保证虚拟客户端高效率执行的前提。
SPICE服务端可以利用SPICE协议与远程的客户端和建立虚拟设备接口的虚拟机进行通信。当前对象的覆盖关系和依赖关系需要通过维护一个树结构体和一个命令的序列来管理,同时把虚拟机的QXL指令转化为SPICE协议传递给客户端。
3) Libvirt虚拟化管理接口(Host Agent)
作为一套开源的函数库,不少主流的虚拟化工具都采用了Libvirt来进行开发。大部分虚拟化管理平台的虚拟机管理功能都被Libvirt所支持。
在构建Libvirt管理平台时,可将Libvirt与被管理的虚拟机置于同一台物理机上,也可以将它们分离开置于不同的物理主机上。在同一主机上的逻辑结构为:最底层的物理主机;第二层的Linux操作系统;第三层为虚拟化管理平台和Libvirt;虚拟机管理应用位于Libvirt之上,虚拟机则位于虚拟化管理平台之上。
2.3 虚拟化平台中间管理组件
中间管理组件是整个虚拟化架构中的“桥梁”,能让用户通过云终端连接到远程虚拟化桌面中,可以实现虚拟化平台的监控、虚拟机的管理、用户的管理、数据库的管理、虚拟机的申请管理、终端连接的管理等,是位于云终端和虚拟桌面服务器端之间的非常关键的部件。该组件又被称为Broker。
虚拟机的管理是虚拟化Web管理平台的核心。管理中间件可以连接到虚拟桌面服务器上,服务器端的和虚拟机相关的信息和数据都可以被中间件所调用,从而实现对虚拟机的管理。
2.4 终端客户端
终端设备客户端主要实现三方面功能,第一是建立与管理中间件的联系也就是Broker Agent;第二是实现SPICE显示协议的API接口工作;第三是对当前终端设备的配置。
高校“云”机房的终端客户端一般采用专用的云终端设备来建立虚拟桌面与用户之间的联系。从用户端输入来说,“云”终端将用户输入的数据或信息,经过编码、压缩、加入安全码后通过远程桌面显示协议将其传送到虚拟机,虚拟机在执行这些指令后将执行结果再进行编码、压缩、加入安全码后传输给“云”终端,最后“云”终端将这些信息解码后在终端显示设备显示出来,从而使用户获得PC般的体验。
3 “云”机房的管理模块设计
3.1 桌面模块
“云”机房的桌面模块主要包括三个部分:桌面教学管理模块、教学桌面模块和个人桌面模块。
教学桌面管理:对场景(即不同的教学实施环境)的新增、查找、激活、场景桌面开机、场景桌面关机,开机加速、修改场景及删除基本功能的操作。
教学桌面:对教学场景管理应用,及各场景下的教学桌面的开机、关机、重启、暂停、恢复、查看桌面、查找基本功能的操作。
个人桌面:对桌面基本功能及修改桌面、动态迁移、存模板、快照功能实施。
3.2 模板模块
模板模块主要包括硬件模板、教学模板、个人模板和终端模板等。硬件模板主要是针对不同的需求建立不同的虚拟机硬件配置模板,如选择具体CPU、内存、硬盘数据等。教学模板下主要包含5个功能块,制作模板、编辑模板、更新桌面、下载模板、删除模板。个人模板功能设计主要包含4个,制作模板、编辑模板、下载模板、删除模板。
3.3 终端模块
终端模块主要包含教室管理、终端管理和会话管理三个方面的功能。
在教室管理模块,通过课程列表应该能够查看和编辑每个教室不同时间的教学桌面课程详情。设定时间到达可自动激活预设桌面,以方便教学。教室管理具体功能设计主要包括对教室的新增、编辑、删除、搜索基本功能的操作。
终端管理是针对所有通过Windows/Linux客户端登录连接到服务器的终端信息,包含终端的IP、MAC地址及其连接桌面的相关信息。终端管理具体功能设计主要包括对终端唤醒、关机、修改IP/计算机名/教室、配置参数功能的管理。
会话管理主要功能是对客户端以教学/个人桌面接入时形成的会话进行显示和管理。
3.4 其他模块
“云”机房管理系统还应该包含用户模块、排课模块、监控模块、安全模块等方面的设计。用户分为管理用户和普通用户,管理用户实现对用户的新增、编辑、搜索、删除等。普通用户分为两种:普通用户和教师用户。实现新增用户、编辑信息、批量导入、批量导出等功能。排课模块主要功能是完成“云”机房的课程安排,要包含每节课开始以及结束的时间、每节课教室配置信息以及排课与清除等功能。监控模块主要是对主机和桌面进行时时监控,方便查看数据找到性能瓶颈。安全模K主要包括对系统的备份、镜像、升级和操作日志等方面的功能设计。
另外,根据高校教学管理的需求,在整个管理系统中还可以增加多媒体网络教学软件和在线考试的设计。实现网络教学过程中的屏幕广播、文件传输、锁定控制、短线锁定、教学内容登录查看、可视对讲、屏幕录制、电子点名、上线同步广播等功能,更好地满足教学工作的实际需求。在线考试模块,实现题库的导入、编辑,试卷生成,在线计时、评分等功能。
4 结束语
基于“云”的计算机机房有众多的优点,但设计、构建的过程并不简单。随着“云”技术和硬件水平的飞速发展,“云”机房设计方案也将不断成熟和发展,基于“云”的计算机机房必将成为高校机房的建设趋势。
参考文献:
[1] 徐哲. 绩效导向的高职院校电子阅览室建设模式研究[J]. 电脑知识与技术, 2014,10(34).
[2] 朱朝辉. 简述校园网机房“云”设计与实现[J]. 电子制作, 2013(8).
[3] 谢炫. 浅谈高校公共机房虚拟化的建设[J]. 电脑知识与技术, 2014(27).
云计算的基本架构范文5
关键词:云计算技术 高校图书馆 信息资源平台
中图分类号:G250.7 文献标识码:A 文章编号:1673-9795(2013)09(a)-0252-01
在Web2.0技术的推动下,internet上的信息量呈爆炸式增长。这使得传统的构建方式已经远远不能满足于现如今图书馆信息资源平台了,要想进行安全、高效的管理和使用,那么就需要建立一个便捷、内容丰富的图书馆信息资源共建共享平台。在这种情况下,云计算诞生了,它是以计算和网络技术的新型计算模型。从而,云计算技术为高校图书馆信息资源平台构建提供了新的发展思路和方向。
1 云计算的特征
云计算技术是并行处理、分布式处理、网格计算和网络存储的进一步发展和商业实现[2],其基本原理是,数据计算被分布在众多分布式计算机上,用户可根据需要随时随地访问计算机和存储系统。使用云计算的服务就像使用煤、水、电一样,即买即用,费用低廉。云计算与其它商品最明显的区别在于,它必须通过internet进行传输。可以设想,在不久的将来,人们只需一个浏览终端就可以获取图书馆所提供的一切文献信息服务,甚至包括个人计算机无法完成的超级计算任务。
1.1 便捷的云服务
用户是云服务的对象,在云计算时代,读者不必经常更新防火墙和杀毒软件,更不需要不断升级自己的计算机硬件和操作系统,因为在云服务端有专业技术人员帮助用户维护硬件设施、安装升级软件、预防病毒攻击,用户只需网络浏览器就可以轻松、便捷地享用由云计算提供的各种服务。
1.2 可靠的数据存储
在云计算环境下,数据可以实时同步传递,用户利用任何终端设备即可通过web使用,从而避免了将信息存储在个人计算机上而出现的数据丢失及病毒感染等问题。
1.3 低廉的费用
云计算服务商的存储、宽带、计算处理等成本加起来也只有自己建设数据库成本的几分之一,从而大大减低了前期建设费用,有助于用户以较低廉的架构成本运作。
1.4 强大的运算能力
云计算技术为网络应用提供了强大的计算能力,能够实现普通计算难以完成的复杂任务。
2 云计算信息平台构建
云计算的到来,对建立一个统一、开放、灵活的图书馆信息平台有着非常重要的意义。下面将探讨云计算技术环境下图书馆信息平台的基本架构。
2.1 基础设施层
基础设施层为提供云计算信息平台硬件及软件支持。
2.2 平台服务层
平台服务层构建在物理硬件层之上,面向开放人员,各类软件开发公司在云计算环境下提供开发环境以及公用API等。公用API以WebService形式提供给开发人员,从而免除了开发人员许多系统管理的操作。当然,开发人员也可以利用公用API开发自己的WebService,这些服务既可直接面向用户,也可通过OpenAPI提供给用户。
2.3 云联邦服务层
整合各种云操作是形成云的一个关键,将各种云联邦服务层整合实现跨云的服务集成,统一提供给用户,形成了高度集成的图书馆信息服务平台。
2.4 应用服务层
应用服务层直接面向终端提供最终的服务。利用SOA构建应用程序是松散耦合的,允许集成的构架风格,而根据SOA原则建立一个数据中心基础设施,就是云计算。所以,它是一个面向服务的基础设施,采用SOA的构架原则并且把这个原则应用到一个基础设施。
2.5 用户接口层
借助于Web2.0,教育云提供的服务主要是B/S结构,因此,用户只需使用浏览器即可访问服务器。传统的GUI将作为Web接口的一个辅助手段,用于远程登录教育云上的虚拟机,访问底层的资源信息。
3 基于云计算技术的图书馆信息资源平台建设策略
3.1 数据位置
一般用户可能不需要知道是否用到了云计算,但他们的存储需求则不同。为了确保自己存储数据的安全性,用户要知道自己的数据存放在什么位置,也就是说,在哪个云图书馆或哪片云里。当若干图书馆共建图书馆云时,图书馆将自建的数据库以及购买的信息资源拿出来共享,起码要知道其所存储的位置,以便随时掌握数据的安全性,应对不测,这是对广大用户信息安全的保障。
3.2 数据安全
云计算因其数据是集中储存,所以更容易安全检测,是安全性较高的技术。数据中心有专门的管理人员对数据进行安全控制、资源分配、统一管理以及可靠的安全实时检测,这就要求数据管理人员不但具备高水平的计算机应用能力,还需具有良好的职业道德素质,能保守广大用户的数据秘密。此外,用户登入云图书馆时,必须进行用户身份认证,认证需适合云计算技术的特点,不能过于繁琐,否则就背离了云计算技术的便捷宗旨。
3.3 建立合理的计费模式
建立一个基于云计算的图书馆文献信息资源平台,须要投入一定的资金,因此在云计算的计费模式上,一定要考虑到基础架构的综合成本。可以借鉴国外图书馆的一些成功经验,根据成本折算、数据存量、计算量、存储量以及存储时间来制定一个合理的收费标准。
3.4 制定统一的行业标准
没有统一的行业标准,就无法实现供应商之间的零成本转移。由于云计算技术的飞速发展,一些著名的internet企业如百度、阿里巴巴等纷纷抢占“云计算”的制高点,并制定自己的“标准”,但这些“私有”的云计算标准往往缺乏相互兼容性。尽管各个云计算企业也一直在关注标准问题,但目前还未制定出统一的行业标准。
4 结语
云计算是一种技术,也是一种理念。虽然理想中的云计算图书馆还未完全实现,但其研究热潮已经形成。我们可以坚信,随着时间的推移,随着图书馆届对云计算的关注以及云安全技术的日趋成熟,云计算会不断完善,推动云计算环境下图书馆文献信息资源平台的建设。当前,我们需要尽快启动关于云计算技术管理问题的研究,积聚理论资源,为图书馆提供必要的决策思想、管理规则以及解决方案。
参考文献
[1] 王丽敏,党卫红,王淑阁.云计算环境下个人数字图书馆发展探析[J].浙江高校图书情报工作,2011(1):1-5.
云计算的基本架构范文6
关键词:云计算 数据安全 验证机制 存储架构 安全策略
1背景
计算机网络以其庞大的规模和近乎无限的数据资源深刻的影响和改变了人类的生活。云计算已经被大多数IT企业的管理者和行业内的重要人士认定为下一代计算机网络应用技术的核心架构。全球范围内众多的企业和研究机构已经开始了针对云计算的深入研究,基于云计算技术的数据中心也在全世界各地被不断的建设起来。根据独立研究机构Forrester的预测,至2020年,全球云计算市场规模将达到2410亿美元。
伴随飞速发展的云计算市场,云计算中存在的安全问题也得到了广泛的关注。在彻底解决安全隐患和实现可靠性的绝对保证前,绝大多数用户不会放弃使用现有的内部系统。在近年发生在google、Dropbox、Alibaba Cloud的安全事故,给企业的用户造成了大量数据的丢失,让众多的用户对云计算的数据安全保障产生了质疑。
2什么是云计算
云计算是一个发展中的概念,在多样化的解释中,一种常见的定义是:云计算是一种将动态伸缩的虚拟化资源通过互联网以服务的方式提供给用户的计算模式,用户不需要知道如何管理那些支持云计算的基础设施。美国国家技术与标准研究中心(national institute of standards and technology,NIST)为云计算定义的五个关键特征:自助按需服务(on-demand self-service)、高带宽网络(broad network access)、虚拟资源池(resource pooling)、高速弹性架构(rapid elasticity)、可度量服务(measured service)。按照云计算的服务模型,云计算平台可以为用户提供从虚拟化的基础设施到虚拟化的应用等不同等级服务。
3云计算面临的数据安全威胁
云计算的快速发展使得很多用户被它的优点所吸引,在爆发式增长之后的云计算的种种问题逐渐暴露出来。云计算系统的规模巨大,具有前所未有的开放性和复杂性。建立在虚拟化技术的基础上,在云计算的物理架构上集中了大量用户的应用和数据,不仅每个用户计算任务是交织在一起的,数据本身也是如此。高度集中的用户、应用与数据已经连带产生了非常复杂的安全问题,而且问题本身已经远远超出了传统信息系统的安全技术范畴。
根据Gartner公司的研究结果,在目前云计算存在的七大安全隐患中:优先访问权风险、治理权限风险、数据处所风险、数据隔离风险、数据恢复风险、调查支持风险、长期生存性风险,多数风险一旦发生,其不可避免的会直接或间接的危及到用户的数据安全。
用户数据的安全问题可以归纳为以下几点:
3.1缺乏适合于云计算架构的身份认证机制
在虚拟化的应用和虚拟化的数据存储条件下,传统网络架构下的身份认证机制薄弱,会给黑客以可乘之机,导致用户的数据被冒名使用。在用户与云之间建立严格的双向认证,是用户访问云中数据和服务的重要前提。否则,合法用户的数据安全将无法得到有效的保护。
3.2缺乏有效的云服务监控机制
用户的应用和数据均外包给云服务商管理,用户实际上无法对应用和数据进行绝对的控制,云服务商对数据和应用获得了实际上的优先访问和控制权。云服务商的行为很难得到有效的监控,服务商的可信性也很难评估。用户在完全不知情的情况下,数据就可能已被盗取,或是遭到了黑客的攻击,或是在不当维护过程中遭到了破坏。
3.3缺乏有效的用户间应用与数据的隔离
虚拟化的资源管理机制让云计算平台上的应用高度集中,众多用户都是通过公共服务程序对数据发起访问,权限的汇聚点必然是被共享访问的载体。如果虚拟化技术的漏洞被恶意程序利用,则虚拟化特权被攻击者获取。非法的用户利用这样的安全漏洞,就可以轻易获取同一物理主机上相邻用户的数据。
虚拟平台安全机制的缺失,可能使用户或云服务商设置的数据安全机制被恶意代码破坏,无法发挥作用恶意代码可能会使用户或云服务设置的数据安全机制无法执行或被旁路,从而使安全机制如同虚设,无法发挥作用。
4解决云计算数据安全问题的主要途径
4.1建立更为可靠的用户验证机制
对于用户来说,基于口令的方案相对简单易于实施。但是,用户设置的口令往往是与用户信息相关的,并且是易于记忆的字符串。信息熵较低,很容易被字典攻击攻破。因此,对口令进行保护必须解决的关键问题。
基于三方口令密钥交换协议(3-Party Password-Authenticated Key Exchange,3PAKE)的认证体制。在三方口令密钥交换认证方案中,用户、私有云和公有云对应3PAKE协议的三方。私有云是已经建立对用户身份信息管理的系统,用户和公有云借助私有云的帮助实现双方的认证过程。
为了提高口令认证的安全性,可以采用基于椭圆曲线的3PAKE认证协议。在该协议中,用户和公有云在私有云端并不存储口令明文,而是存储口令验证元,以保护口令的安全性。另外,该协议在随机预言模型下能够抗口令猜测攻击、抗验证元窃取攻击且对会话密钥具有前向安全性。
4.2建立可验证的用户可信赖的数据存储架构
云计算环境中存在大量的以存储为主要目的静态数据,用户希望云服务商提供海量、安全、可靠的存储服务。但是在目前的服务模式下无法对云服务商可信性进行估,使得用户无法相信其数据的安全和有效。
为了给用户建立可信任的云数据存储服务,需要一种支持在用户端即可对云端数据进行验证的可信的云存储方案。以一种支持动态更新和公开验证的多副本数据完整性验证方案,提供数据的远程数据完整性证明和可恢复性数据保护。用户通过验证手段,能够及时知道云端数据的完整性状态,并且当数据损坏时能够进行修复,在发生安全事故时取回云端的全部数据。
支持数据动态更新和公开验证的多副本完整性验证方案借鉴分布式文件系统GFS(Google File System)的基本架构,可以部署一种实现隐私保护的数据完整性验证方案的云存储架构,存储架构包含三类实体:客户端(Client),可信第三方服务器(Trusted Third-party Server, TTS)和云端存储服务器(Cloud Storage Servers,CSS)。
客户端代表将大量数据存储在云中的用户,依赖服务商维护数据和提供各种服务,也是云端数据完整性方案中的验证者Verifier。Client可以是个人用户也可以是组织用户。TTS是Client和CSS间通信的一个可信的媒介,存储云用户的身份信息,能够对用户进行身份认证。CSS用来存储用户主要的数据,也是数据完整性方案中的示证者Prover。
上述机制是对用户数据的保护措施,不能有效的判断是否存在数据被服务商泄露的非法行为,或存在数据管理失误的重大问题。为此,还需要基于数据库水印技术的数据泄露问责方案,使用户在发现疑似数据泄露时,作为判断分析泄露行为过程的依据。
数据在云端多以数据数据库的方式存储,采用水印技术利用信号处理的方法在数据库中嵌入不易察觉且难以去除的标记,在不破坏数据库内容和可用性的前提下,达到保护数据库安全的目的。基于LSB(Least Significant Bits)算法的水印载体信道是最简单且常用的一种。LSB的水印载体信道的实质是通过数值型载体数据的微小失真来获取数据库的冗余空间。由于混沌序列具有初值敏感性、均衡性、迭代性和序列无周期等性质,能够较好地满足对嵌入位置随机选取的要求,采用基于混沌序列的LSB替换算法,将水印嵌入到用户的数据库中。
在发现疑似泄露或盗用的数据后,依靠提出算法提取数据中的水印信息,利用人眼辨识度的鲁棒性,也可以利用机器识别水印的方法,将提取出的水印与原水印进行比对,判定数据库的所有者。
4.3建立针对云中应用的多安全区域的划分与防护机制
云计算建立在虚拟化的资源管理方式上,因此不像传统的计算模式下,能够依据物理主机的边界很好进行安全域的划分。在资源池的模式下,应用间不存在物理上的边界,应用的资源和权限会存在交集,传统的安全防护策略在云计算的模式下是很难起到作用。
因此,需要针对云计算环境的应用和数据,建立多级别,多层次,微粒化安全域设置。对每个用户的虚拟应用、虚拟机使用针对动态数据安全的保护系统,随时跟踪用户的敏感数据,严格按照用户所属的安全域设置的安全策略控制数据的流动。
为了实现更加精确的用户隔离,现有的云计算系统就必须能够对程序数据进行对象级别的细粒度标记和追踪,即使是进程地址空间内不同租户的数据也能进行有效的追踪和隔离。对于每个应用就要落实到编程语言级别的信息流控制,每个应用程序的代码要操作用户的敏感数据时,要基于最小特权的原则被赋予特定的主体权限,进行标记追踪及策略判定,符合安全策略的才能执行对敏感数据的操作。另外在虚拟机操作系统层面的安全增强也必要的。最为精确和细粒度的用户隔离才能有效避免应用的漏洞被利用,不能进行非法的数据读写操作和进行进程间通信。
5问题总结
本文简要的论述了云计算在验证、隔离、存储、安全机制四个方面存在的安全问题,并从加强验证环节,建立可验证的用户可信赖的数据存储架构,建立针对云中应用的多安全区域的划分与防护机制三个方面探讨了解决云计算安全问题的方法。
云计算架构的发展过程中不可避免的存在种种的问题,数据安全问题的解决是服务商在未来争取更多用户的关键条件。相信在解决了困扰云计算的诸多问题之后,云计算必然会迎来更加巨大的发展空间。
参考文献:
[1]Wayne Jansen,Timothy Grance.Guidelines on Security and Privacy in Public Cloud Computing.NIST.January,2011.
[2]NIST. Challenging Security Requirements for US Government Cloud Computing Adoption (Draft).November,2011.
[3]Vivek Kundra. Federal Cloud Computing Strategy. U.S.Chief Information Officer.February,2011.