前言:中文期刊网精心挑选了云计算技术研究范文供你参考和学习,希望我们的参考范文能激发你的文章创作灵感,欢迎阅读。
云计算技术研究范文1
“云计算”一词源于Google等互联网公司的大数据处理过程,于2006年在国际搜索引擎大会上首次提出。以美国国家标准与技术研究院给出的定义较为权威:云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问,进入可配置的计算资源共享池,这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。“云审计”是基于云计算而产生的,可以认为“云审计”就是在审计工作中运用云计算的概念和技术。“云审计”有两个基本特点,一是以审计工作为服务目的,“云审计”的应用是为了使审计师减少简单的计算劳动,提高审计效率;二是以云计算为技术手段,利用云计算技术升级和优化现有的审计方法。随着近年来供电企业信息化程度的提高,服务器的后台数据也越来越多,而审计师配备的个人电脑是无法满足检查这些数据的需求的。数据库中一个简单的操作指令可能都要在个人电脑上花费十几分钟甚至数个小时。而“云审计”技术却可以很轻松地解决这些问题。
二、云审计对供电企业审计工作带来的机遇和挑战
1.云审计对供电企业审计工作带来的机遇
(1)审计数据处理能力将全面增强。在云审计环境下,审计师不需要面对堆积如山的会计凭证和业务档案,云计算的高速计算技术可以根据不同的审计目的,在企业数据库中有针对性地筛选出可疑信息,进行由点及面的扫描分析,从而得到更加客观的审计评价。
(2)审计将为高层决策提供更有力的支持。云审计可以通过对特定领域的原始数据分析,提取工作流程数据的变化特点,了解业务发展的基本趋势,提前预警可能出现的风险和隐患,为高层决策提供关键支持。例如,在营销业务数据中如果发现某一类用户的满意度有所下降,就可以结合相关数据开展原因分析,研究一段时间内的变化趋势,为下一步制定用户服务策略提供依据和参考。
(3)审计项目的工作质量将得到充分提升。通过云审计,审计组负责人能实时了解每个组员的工作进度,并有针对性地提供指导、监督和复核。并能按照项目实际情况的变化,对审计要求和人员分工进行优化和变更,以更快的速度来处理审计项目的难点问题和反馈必要的审计信息,从而实现对审计全过程的有效控制,确保审计质量达到预定目标。
2.云审计对供电企业审计工作带来的挑战
云审计为供电企业审计工作的全面信息化奠定了坚实的基础,同时,也为审计工作带来了巨大的挑战。在云审计的实际应用中,还存在一些有待克服的难点和问题。一是对“离线操作”问题难以介入,当舞弊人员恶意录入与实物不符的业务数据时,数据分析工作就难以达到预定的审计目标。二是云信息安全风险,一旦用户端密码泄露或被破解,集中储存在服务器中的大量审计数据就存在泄密问题。三是电子证据取证较难,电子证据具有不可见、可迁移、可修改等特征,在取证时需要更多地关注审计证据的可靠性和准确性。四是审计师的综合分析能力还需提高,云审计需要更多的集财会、审计、计算机等技术于一身的复合型人才,审计部门必须加强对审计师的全面技术培养。
三、云审计系统的框架构建
1.云审计系统的概念和特点
云审计系统是一个全新的事物,国际上暂时还没有给出一个比较准确和完整的定义。为方便研究,本文基于信息技术现状和审计实际应用,对云审计系统的概念进行初步阐述:云审计系统是基于所获得的数据,根据审计对象的基本特性,通过设定计算、判断和限制条件建立数学或逻辑表达式,用于对审计目的进行验证的过程。云审计系统主要有五个特点:
(1)审计网络自助服务。审计自助服务免去了审计师与被审计单位在数据获取上的沟通,使审计师能自行获取所需数据,并设定疑点检查条件。
(2)高带宽网络。多个审计师可以在不同的地点获取同样的数据,在网络速度上不会受到影响。
(3)审计数据资源池。审计师可以将得到的所有数据上传至“云端”,形成审计数据资源池,共享给有相关权限的其他审计师。
(4)审计弹性架构。使审计师可以随时随地通过权限认证后登陆系统获取资源。
(5)可度量服务。为审计系统提供自动化的监控,并记录审计师的工作过程,包括审计方法、程序和证据获取手段等。
2.云审计系统建设的可行性分析云审计系统的建设并非遥不可及的事情,国内一些审计机关和大型审计机构使用的审计信息系统已经基本符合云计算的主要特点。供电企业建设云审计系统的可行性主要有三个方面:在理论基础方面,国际上关于云计算系统的理论体系已经基本完备,国内云计算技术的研究和发展也十分迅速,为云审计系统提供了充分的先决条件。在技术方面,实施云计算的各种技术方案体系已经在生活的各个方面投入应用,供电企业的审计信息化也有相当坚实的基础,完全可以借鉴其他行业在云计算方面的先进技术和经验。在成本方面,云审计系统的部署费用并不高昂。服务器和网络设备可以基于现有条件加以升级和改造,不需要全部更换。用户端也不需要更换新的设备,凡是能打开浏览器的电脑、平板电脑甚至智能手机都可以登陆云审计系统。
3.云审计系统的基本架构
目前的云计算模式有三类,包括公有云、私有云和混合云。公有云是为公众提供服务的平台,任何人都可以通过授权登入该平台;私有云是企业在内部建设的专用系统;混合云则是同时提供公有和私有服务的系统,是介于公有云和私有云之间的折衷方案。基于审计数据保密性和安全性的考虑,以组建私有云较为稳妥。基于私有云的基本服务架构,云审计系统主要包括审计资源层(IaaS)、审计平台层(PaaS)、审计应用层(SaaS)等3个层级。
(1)IaaS层是系统架构的基础,采用物理资源虚拟化技术,使系统中各个应用的不同用户实现资源共享,主要包括信息资源和硬件资源两个部分。硬件资源包括网络设备、计算设备和存储设备,为云审计系统提供网络、计算和存储等服务;信息资源通过对数据的采集、存储、分类、组织等为上层提供信息服务,包括企业审计基础信息资源库、共享数据资源以及各专业数据库组成的业务信息资源。
(2)PaaS层是系统架构的核心,采用分布式的存储和计算实现对数据的分析处理。并为上层应用服务提供运行和维护,为下层基础资源提供资源管理服务。业务开发组件提供系统程序拓展所需的环境和工具集;综合服务组件提供基础的综合管理、工作应用、用户管理、权限管理、访问控制和身份认证等服务。资源管理组件为审计资源层提供目录管理、数据采集、资源整理等服务。
(3)SaaS层是针对审计业务框架的软件服务集合,实现供电企业审计业务的核心功能,为客户端提供业务支撑。根据供电企业的业务需要,形成各项审计应用服务,并实现应用软件的云部署。其内容主要包括审计项目管理、审计业务流程、审计质量控制、审计数据分析、审计案例浏览以及其它审计应用等服务。此外,在客户端方面,审计师只要使用带有浏览器程序的电子设备便可登入系统。云审计系统还拥有高可靠性的云安全环境,对系统和数据进行全方位的防病毒检测和处理,确保审计数据的安全性。
4.云审计系统的数据处理流程
基于大数据背景,云审计系统可以将各供电企业的审计数据整合为海量的审计资源池,构成审计数据的采集、导入、分析、展示平台,使审计业务流程转化为数据处理过程。
(1)云审计系统的数据采集
云审计系统的数据采集方法必须非常全面,充分考虑审计数据的复杂性、多样性和异构性。常见的数据采集方法有两类,一类是复制采集,从被审计单位导出数据库信息或整个数据库的备份,用移动硬盘或优盘拷贝的方式,上传到云审计系统进行处理;另一类是在线采集,与被审计单位的业务系统制定标准的数据接口,不间断地连续采集业务数据,实现对业务流的动态监控。在线采集方式具有时效性强、响应速度快的优点,今后将成为主流的数据采集方式。
(2)云审计系统的数据导入
在供电企业各类业务系统的海量数据中,数据之间的结构和类型千差万别。在进行分析之前,应先将这些数据有效地导入系统,把重要数据如重要指标、近期变化数量等置入高性能存储器中,把不常用的次要数据置入一般存储器,并去除不需要的冗余数据。
(3)云审计系统的数据分析
云审计系统中集成了大量审计分析程序,利用分布式计算集群对海量数据进行各种分析和分类统计,以满足审计师的分析需求。云审计系统的数据分析具有以下几方面的特点:一是审计分析程序的可构造性。各种审计分析程序以模块化的方式提供给审计师,可以进行任意调整。审计师不再需要进行原始编程,只要在云审计系统中将程序模块像搭积木一样进行组合和排列,就可以完成分析程序的编辑,从而达到各种分析目的。二是注重对数据的全面分析。在传统审计中,由于审计师无法将所有信息和资料都看完,于是经常采用审计抽样的技术方法。但是在大数据处理时代,抽取样本检查和全部数据检查这两种方式,在云审计系统面前的区别,只不过在时间上相差数秒钟或数分钟而已。当审计师能够在很短的时间内处理完全部的数据时,就会减少对审计抽样方式的依赖。三是注重数据之间的关联度分析。在以往的审计中,对被审计单位工作数据的检查,只是对特定的业务数据进行简单的统计和复核。在云审计系统中,还可以从该项数据关联的其它数据,对审计目标加以验证。例如在审查工程费用时,可以同时检查物流部门的工程物资数据、监理机构的监理信息、工地用电记录等等,对工程的合理性和真实性进行多方位分析。四是实现对非结构化数据的分析。非结构化数据指的是图片、视频、音频等无法结构化的信息。非结构化数据在以往的信息化技术中也是一个难点,因为它们不像那些表格式的数据一样容易抽取和筛选。而在云审计系统中,图片、视频、文档也能做到自动摘要、分类处理和聚类分析,这就充分拓展了审计师的分析视野。五是实现对数据的深度挖掘。供电企业的审计数据挖掘可以从各个专业领域入手,在现有数据上进行基于各种算法的运算,实现高级别数据分析的需求,例如对业务情况进行一段时间内的趋势分析、计算业务风险发生的概率等等。
(4)云审计系统的数据展示
数据展示将实现可视化,能够直观地将数据的特点、变化和疑点呈现出来,将难以阅读的原始数据转变为界面清晰、易于理解的图表。进而使审计师能够与这些能讲故事的数据进行交流,对数据处理结果进行多维度分析,从中找到审计问题出现的基本规律和深度原因。
四、结语
云计算技术研究范文2
关键词:云计算技术 研究现状 具体应用
中图分类号:TP3 文献标识码:A 文章编号:1007-9416(2016)05-0000-00
谷歌就曾在2006年时提出云计算的概念,相比于传统信息处理方式,云计算技术实现技术层面的创新,改变了传统信息处理的获取、传输以及交流的途径。目前人们生活工作中处处存在云计算技术,比如常见的网购、文件云存储等互联网服务功能。简单来说,云计算技术为用户提供一个安全方便、高效存储以及网络运行的环境。
1 云计算技术的发展现状
目前对于云计算国际上还没有统一的定义,就其本身而言,云指的是网络象征性的比喻,而终端则是指手机、平板以及笔记本等设备。云计算的主要服务形式是虚拟化的技术,该技术拥有大规模、低廉以及安全等其他网络没有的特点。
1.1云计算在国内发展
我国云计算技术目前还不是很完善,依然处于研究及探索的初级阶段。该技术的研究力度与技术设备不足,也没有成熟的核心结构体系,因此虽然云计算技术服务不断推出,也依然不能满足市场及用户的使用需求,而且对于云计算技术本身拥有的价值没有正确的认知。云计算技术发展到目前存在一个严重问题,就是我国云计算服务商之间缺少必要的交流及相互操作性。未来技术发展中应该找出提高云计算技术的措施。
1.2云计算在国外发展
相比于国内云计算技术,西方发达国家的技术已经相对成熟。其中美国在20世纪初期就做出了云计算技术长期发展规划,目前云计算技术在美国国内市场中占有极重要的市场地位;而欧盟则做过详细的报告针对云计算技术,明确指出云计算技术的重要性,建立起完善的云计算技术应用管理框架;而在日本,其国内的云计算技术的基础设施也得到初步架构,为技术发展提供良好的基础准备。
2 云计算技术的研究与应用
2.1云安全技术
2.1.1云计算下网络安全
云计算环境中如何做好网络安全防范工作,这就需要从系统身份认证开始,要知道保证网络安全的基础与门户就是系统身份认证,它也是防备黑客入侵及不明第三方用户的第一道防线。将网络安全的防范意识提高到极致,并将防范措施落实下去,高度保护网络信息及相关数据的完整机密性,坚决杜绝非授权访问及传播使用情况的出现,避免造成一些不必要的损失及影响;如何做好云计算环境下的身份认证问题呢?实际中可以将多重身份认证机制引进来。除了常见的视网膜或指纹等生物识别技术外,在保护用户身份信息安全中还可以引入动态的电子口令认证模式,保证身份认证信息不会受到非法窃取;任何事情都要政府的配合,云计算网络安全也不列外。云计算服务提供商以及用户可以配合政府,加大打击非法入侵系统的力度,让健全的报警机制作为保护网络环境安全的卫士。
2.1.2做好网络服务器的安全防范
用户在使用网络信息时,可以根据实际情况对服务器数据进行分析,采取一定的处理措施,在云计算网络安全中让服务器起到缓冲作用。这样做的主要目的是将内网隐藏起来,最大程度节省公用网络IP,监控及操作访问网站的信息,这也是目前提高云计算环境下网络安全的常用方法;对于云计算服务商来说,需要面对网络用户管理难、工作量大等问题,这种情况下可以采取分权分级管理模式,如此不但可以解决上述问题,还能避免劫持及随意更改客户程序及数据的情况。运营商采用流程化管理及分级控制的方法,可以有效监督检测每一级的管理,可以有效提高云计算环境下的网络安全问题。
2.2云存储技术
技术人员在云计算概念的基础上不断延伸扩展,就出现了现在的云存储技术。云存储技术目前应用的范围比较广,在人们生活、工作中扮演着重要角色,但其使用中存在很多问题。云存储技术中涉及到大量的数据,因此对其存储安全有着较高的要求,这样才能保证存数数据的完整安全。云存储技术在方便用户的同时,为推进云计算技术发展完善贡献着力量。
2.3云计算环境下分布存储技术
目前情况下在实际中应用较广的数据容错技术有两种:纠删码及复制容错技术。复制容错技术主要是模块复制对统一数据,将其存储在不同的节点中,在应用中当某一节点出现问题时,其他运转正常的节点可以保证数据正常运转。相比于很多容错技术,该技术操作极为简便,所以在实际中应用的范围比较广。但复制数据会对存储空间有极高的要求;纠删码容错技术是基于信道传输的编码技术,当数据失效或出现错误时,纠正错误可以通过下载整个数据块来实现。与复制容错技术相比,纠删码容错技术需要占用更多的网络宽带,运用中会带来相当的资源压力给数据中心。
前文讲过云计算环境下分部存储技术中的关键技术就是数据容错技术,目前发展的还不是很完善,需要相关研究人员进一步完善与优化。基于云计算环境下的各种条件,可以从两方面入手进行完善,一是优化节点结构,二是提升物理拓扑结构的容错性能,最终实现提高数据容错性能的目的;社会信息化的实现需要庞大的信息资源,技术发展完善中的一个重要内容就是不断提高信息资源的效益型。云计算分部存储技术由两方面构成:硬件以及软件。所以在进行成本控制的过程中,也需要从这两点入手,在提高系统性能的同时,要将损耗不断降下来,优化系统结构,最终实现提高系统运行效率及经济性能的目的。
3结语
虽说目前云计算技术广泛应用于人们生活工作中,也给人们带来极大的方便,但总的来说该技术还处于初级发展阶段,很多方面都不是很完善。相信在不久的将来,我国云计算技术会更加成熟完善,应用云计算技术的产品种类也会愈加丰富。不过在应用云计算技术时需要考虑其使用安全问题,在技术完善过程中需要重点研究如何保证使用安全。在这样背景下,才能促进云计算技术不断发展进步。
参考文献
[1]张芊,赵宇.云计算的现状及关键技术[J].企业导报,2011(17).
云计算技术研究范文3
关键词:云计算 网络安全 防御技术
中图分类号:TG519.1 文献标识码:A 文章编号:1007-9416(2014)05-0201-01
1 引言
随着网络技术的飞速发展,Internet已经渗透到生活的各个方面,继移动通信3G、4G之后,云计算也成为网络技术领域的热门话题和市场的热捧目标。云计算(cloud computing),分布式计算技术的一种,其最基本的概念,是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,再交由多部服务器所组成的庞大系统经搜寻、计算分析之后将处理结果回传给用户。云计算是以公开的标准和服务为基础,以互联网为中心,提供安全、快速、便捷的数据存储和网络计算服务,让互联网这片"云"成为每一个网民的数据中心和计算中心。
2 云计算面临的安全问题
谈到云计算,安全性问题无法回避,实际上这也是目前云计算应用普及过程中所遇到的最大难题。虽然目前云计算服务提供商都在竭力淡化或避免这一话题,但作为云计算的终端用户,这恰恰是他们关注的一大重点。目前,云计算的商业价值被得到证实;而与此同时,这些“云”也开始成为黑客或各种恶意组织攻击的目标。综合起来看,随着云计算的发展和成功,由此带来的云计算安全问题也越来越令人担忧,具体表现在以下几个方面。
2.1 数据存储安全问题
云计算的模式决定了用户的大量数据要存储在云端,这样就能给他们减少IT设备和资源的投资,同时也会带来各种便利。但是越多的数据存于“云”中,对云的依赖性越大,一旦云端数据发生损坏或者丢失,这给用户的造成的损失将是非常巨大的。
2.2 数据传输安全问题
一般情况下,企业IDC保存有大量的企业私密数据,这些数据往往代表了企业的核心竞争力,如企业的客户信息、财务信息、关键业务流程等等。在云计算模式下,企业将数据通过网络传递到云计算服务商进行处理时,面临着几个方面的问题:一是如何确保企业的数据在网络传输过程中严格加密不被窃取;二是如何保证云计算服务商在得到数据时不将企业绝密数据泄露出去;三是在云计算服务商处存储时,如何保证访问用户经过严格的权限认证并且是合法的数据访问,并保证企业在任何时候都可以安全访问到自身的数据
2.3 数据审计安全问题
在云计算环境下,云计算提供商如何在确保不对其他企业的数据计算带来风险和干扰的同时,又提供必要的数据支持,以便协助第三方机构对数据的产生进行安全性和准确性的审计,实现企业的合规性要求;另外,企业对云计算服务商的可持续性发展进行认证的过程中,如何确保云计算服务商既能提供有效的数据,又不损害其他已有客户的利益,使得企业能够选择一家可以长期存在的、有技术实力的云计算服务商进行业务交付,也是安全方面的潜在风险。
3 云计算的网络安全防御技术
3.1 数据加密
加密技术是网络安全中一个非常重要的安全技术,数据加密是利用技术手段把要传输的重要的数据变为密文(加密)进行传送,到达接收端后再用相同或不同的手段对密文进行还原(解密)。加密既针对存储在云服务提供商的服务器上的数据,还针对传送给最终用户的数据。加密技术在云计算中的应用,对数据传输甚至数据存储等安全问题的解决都能起到非常重要的作用。
3.2 安全存储
在实际应用中,网络中数据的存储是非常重要的环节,其中包括数据的存储位置、数据的相互隔离、数据的灾难恢复等。在云计算模式下,数据存储资源处于共享的环境下,即使有数据加密的技术的加入,云计算服务提供商是否能够保证数据之间的有效隔离也是一个非常重要的问题;另外,还需要做好备份措施,以防止出现各种网络和系统故障和宕机时,用户的数据被破坏,造成重大损失。
3.3 安全认证
安全认证可通过单点登录认证、强制用户认证、、协同认证、资源认证、不同安全域之间的认证或者不同认证方式相结合的方式,其中很多用户是通过结合强制用户认证和单点用户认证的方式来允许用户进入云应用的认证,用户只需登陆一次进入整个web应用,从而可以有效的避免用户在使用自己的服务时将密码泄漏给第三方。
3.4 以集中的安全服务中心应对无边界的安全防护
和传统的安全建设模型强调边界防护不同,存储计算等资源的高度整合,使得用户在申请云计算服务时,只能实现基于逻辑的划分隔离.不存在物理上的安全边界。在这种情况下,已经不可能基于用户或用户类型进行流量的汇聚并部署独立的安全系统。因此,安全服务部署应该从原来的基于各子系统的安全防护,转移到基于整个云计算网络的安全防护。建设集中的安全服务中心,以适应这种逻辑隔离的物理模型。
4 结语
本文主要在分析云计算的特征和面临的安全威胁的基础上,对云计算应用安全进行分析与研究,并从云计算服务用户的角度提出云计算应用网络安全防御策略与手段。随着对网络安全隔离与信息交换技术的深入研究,以及与防火墙、入侵检测系统和病毒检测等网络安全技术的有机结合,提高数据的处理速率并根据实际应用修改完善安全功能,必定能为云计算模式下的网络系统提供更可靠的安全屏障。
参考文献
[1]IBM.虚拟化与云计算小组虚拟化与云计算[M].北京:电子工业出版社,2009.
[2]叶伟等.互联网时代的软件革命-SaaS架构设计[M].北京:电子工业出版社,2009.
[3]谷歌在线文档共享信息凸显云计算安全问题[J].信息系统工程,2009.10.
[3]陈涛.云计算理论与技术研究[J].重庆交通大学学报,2009.8.
云计算技术研究范文4
云计算 备份技术 VMWare
1 引言
随着信息化的发展,各种业务系统已经成为大型企业日常生产不可或缺的一部分,这些系统所产生的数据也成为运营商的核心资产。在软硬件处理能力越来越强的现在,电信运营商的IT系统呈现出集约化[1]、去IOE(IBM、Oracle、EMC)化[2]、云计算化的趋势。
对于电信运营商,大部分业务系统是由各省级单位独立建设,互不兼容。在市场竞争激烈、成本要求苛刻、精细化管理成为企业必需的情况下,三大运营商不约而同地选择了集约化发展的道路。业务的变化推动IT系统的集约化,运营商纷纷尝试将分省建设、管理的系统集中到全国几个大型中心。集约化后的IT中心带来了数据的高度集中,对系统备份和恢复的速度要求更加苛刻。
与集约化同时进行的是IT系统“去IOE”的进程。去IOE即在服务器设备上,使用标准化程度高的X86服务器逐渐取代高可靠性、生态系统相对IBM Power小型机乃至所有的小型机在核心系统的使用。去O即从小型业务系统开始,使用Scale out架构的开源数据库逐步消除Oracle数据库在运营商的垄断地位;去E即在数据存储领域使用更为廉价的存储方式代替昂贵的高端EMC存储。去IOE在节省成本、降低对原厂依赖的同时,也带来了对业务系统、数据库及业务数据可靠性的忧虑。
云计算化是使用虚拟化基础架构代替过去孤立的、烟囱式发展的传统IT架构。云计算是在由服务器、存储、网络交换机等硬件的基础上增加了虚拟化层和云层。其中,虚拟化层屏蔽了硬件的差异性和复杂度,为云层提供标准化、可灵活扩展和收缩、弹性的虚拟资源池;云层可以调配硬件资源池,为应用系统提供虚拟硬件。云计算化在增加灵活性的同时,也更来了更多的可能的故障点。
集约化、去IOE化、云计算化的IT系统带来成本节约、灵活度更高的同时,也为应用系统和数据的可靠性带来了更大的挑战。为了保障IT系统安全,需要建立稳定、高效的备份系统,将应用系统和数据备份多份后,在异机甚至异地存储。备份系统可以保证在应用系统出现问题的情况下能够回退到正常状态,是企业IT安全的最后一道防线,需要引起高度重视。
2 传统IT基础下的备份技术
2.1 传统备份对象
在传统IT基础架构下,备份的对象主要针对操作系统、数据库和文件系统。
操作系统是应用系统的基础,其备份技术也是备份的难点。操作系统备份包括系统备份和系统恢复。系统备份由文件备份、系统数据一致性及系统环境等技术组成。操作系统备份时,系统文件、环境变量等参数会不断发生变化,有可能发生相关文件备份时间不同而导致系统故障的问题[3]。为了保证一致性,需要对备份过程中的I/O(Input/Output,输入/输出)进行备份,在系统恢复时将备份过程的I/O操作重新写入操作系统,从而使系统状态与备份结束时间点的状态一致,降低了系统崩溃的风险。系统恢复在异机恢复方面有可能面临着设备驱动不一致,从而导致恢复后的系统无法正常使用的问题。
数据库备份不仅需要备份数据库中的用户数据,还需要对重要的数据库组件如数据文件和控制文件进行备份[4]。数据库的备份可以分为静态备份和动态备份。静态备份是在系统没有事务需要处理时进行的备份作业,在备份期间不允许对数据库进行查询、插入等活动。静态备份可以很好地保持数据的一致性,但同时降低了数据库的可用性。动态备份可以在用户事务发生的同时进行,允许在备份期间对数据库进行存取、修改等操作,但这种方式无法保证副本数据的有效性,需要记录下备份期间对数据库的存取等活动日志。数据库恢复时,需要恢复副本和备份期间的日志才能恢复到正确的状态。
文件系统备份可以通过文件系统定位文件所在的页,然后备份所找到的文件。由于存储在磁盘中的文件的页并不一定是连续的,因此在恢复的过程中磁盘需要不断定位,从而导致磁盘负担较大[5]。在文件系统备份中,运营商的话单文件体积小但数量非常多,其备份是一大技术难题。
2.2 常见备份方式
在实现生产中,通常采用以下方式进行备份:
(1)使用数据库自带备份工具备份。对于Linux下的Oracle数据库,可以编写Rman脚本备份数据,再通过Crontab配置定时复制命令,将数据库备份文件复制到磁盘阵列[6]。对于MySQL,可以使用自带的mysqldump工具,实现基于InnoDB的热备份[7]。
(2)使用操作系统自带工具。Linux操作系统中常使用dump和restore命令来实现文件系统的全备、增量备份和差异备份等备份方式[8],Windows Server下也自带了Windows Server Backup的备份和恢复工具。
(3)基于存储的硬件备份。存储设备是使用硬件来实现数据的存储、备份与恢复,速度较快。通过存储,还可以使用更高级的存储技术,如快照、镜像、重复数据删除等功能。同一厂商的存储产品往往具有远程镜像的功能,可以将本地备份数据通过同步或异步的方式自动实现异地备份。然而不同存储厂商间的硬件备份技术使用不同的技术标准,互不兼容,从而导致不同品牌的存储不能实现硬件的远程镜像。运营商的核心数据经常需要保留三份以上的异地备份,就需要在三个地点都使用同一个厂商的存储设备,这也成为基于存储的硬件备份的一大阻碍。
(4)基于备份软件。备份软件集成了各种数据库、文件系统的备份等功能,又具备了镜像复制、快照、重复数据删除、数据校验、SAN(Storage Area Network,存储区域网络)备份等高级存储功能。备份软件从软件上屏蔽了硬件设备的差异,可以统一管理服务器硬盘、磁盘阵列、虚拟带库以及物理带库等存储设备。同时,备份软件也可以实现对不同操作系统(Windows、Linux、Unix)、不同数据库(Oracle、SQL Server、MySQL)的备份。通过备份软件,系统管理员不需要对不同的操作系统、不同的数据库、不同的存储设备和服务器各自编写自动备份脚本,可以在统一的界面上通过命令行或图形化界面集中管理备份设备、存储设备、备份策略。因此,备份软件也是核心IT系统中常用的备份方式。
(5)备份一体机。随着一体化设备的发展,备份软件厂商纷纷推出集成了备份服务器、存储、备份软件的备份一体机设备。这种备份一体机可以在用户快速部署,大大方便了异地数据备份。
2.3 备份软件
备份软件架构如图1所示,主要由备份服务器、备份、存储服务器、Web服务器组成。
备份服务器可以自动进行备份作业的调度,通过指挥备份和存储服务器共同完成备份、恢复任务[9]。备份服务器维护着Catalog数据库,在数据库里存储备份恢复作业的信息及物理设备相关的信息。备份一般是安装在需要备份的主机中,调用相关系统的接口。在备份作业发起时,数据由备份读取并传输到网络。对于不同的备份对象,往往需要安装对应的模块。例如,为了分别备份Oracle数据库、SQL Server数据库,就需要在对应的主机中分别安装支持Oracle数据库模块和SQL Server数据库模块的备份。对于不同的操作系统,也需要安装相应的备份。存储服务器可以将关键数据存储在存储设备,如磁盘阵列、虚拟带库、物理带库,负责存储中备份数据的读取和写入。Web服务器为管理员提供Web管理界面。目前主流的备份软件不仅有商用的IBM TSM、CommVault、Symantec NetBackup、HP DP等产品,而且还有开源的备份软件Amanda[10]、Bacula等产品。
3 云计算对传统备份技术带来的挑战
云计算技术在IT基础建设的引入,可减少硬件资源浪费,提高系统部署的速度,但也为备份带来了新的需求。
(1)虚拟机备份。在存储中为虚拟机分配的空间,以虚拟机文件格式方式如.vmdk存储,虚拟机操作系统文件、用户数据放置在这个vmdk文件中。如果按照传统备份方式,要备份虚拟机中的系统和用户数据,就需要在每台虚拟机中安装备份。这种方式在占用大量的存储资源的同时,发起备份时也会占用大量的计算资源,从而影响虚拟机性能。
(2)空白数据的空间占用。在分配虚拟机时,精简模式下的虚拟硬盘根据所需数据量的大小占用存储空间。虚拟硬盘空间随虚拟机数据量增加而变大后,在虚拟机中删除的数据并不会减少虚拟硬盘的空间大小,这样就造成大量空白数据占用了存储空间。如果对虚拟机的备份只是简单复制虚拟硬盘文件,就会出现备份中的有效数据少的问题。
(3)数据冗余程度高。在虚拟机中,往往安装大量相同的操作系统、应用程序,这部分数据高度相同,如果直接通过安装在每台虚拟机中的备份来备份数据,则会造成大量的冗余,浪费存储空间。
(4)备份颗粒度过大。通过虚拟化平台自带的虚拟化接口可以备份和恢复整台虚拟机,但往往需要备份的数据只是虚拟机中的部分用户数据,而不是完整的虚拟机。虚拟机级的颗粒度会拖慢备份恢复速度,消耗大量的存储空间。此外,这种方式也无法感知应用,难以保证数据的一致性。
基于上述情况,传统的备份方式已经不适应云计算时代的数据备份,亟需针对云计算的数据备份技术。
4 云计算环境的备份技术
4.1 基于云计算的备份技术
在云计算环境下,调用VMWare在数据存储方面的接口,可以有效地解决虚拟机的备份难题。
(1)无备份。VMWare开放了VADP(vStorage
APIs for Data Protection,用于数据保护的虚拟存储应用程序编程接口)的数据保护存储接口。备份软件调用VADP,即可与集成在vCenter中的vStorage for Data Protection模块通信,对每台虚拟机都实现不需要第三方备份的备份,从而减少备份对虚拟机计算资源的消耗。
(2)数据块修改跟踪。VMWare提供的VMKernel
级技术CBT(Change Block Tracking,数据块修改跟踪)可以判断在最后一次快照后是否有虚拟机数据块被修改,并标记被修改的数据。备份软件调用VADP接口,即可备份被修改的增量数据,而不需要对虚拟机文件做完全备份。
(3)文件级备份恢复。VMWare FLR(File Level Recovery,文件级恢复)提供了浏览和装载虚拟机备份数据的功能。通过备份软件,调用VADP的FLR功能,可以实现对虚拟机的文件级颗粒度管理,而不需要做虚拟机级别的备份。
(4)重复数据删除。传统的重复数据删除常使用固定数据块或者固定长度数据段等技术进行重删,但这种方式存在着即使数据集发生了非常小的改动,都会导致整个固定长度数据段的更改,从而不被识别为冗余数据。对于虚拟机的重复数据删除技术,常采用可变长度数据段。VMWare VDP(vSphere Data Protection,vSphere数据保护)技术能够分析数据集的二进制数据结构,确定数据段的边界,且适用于不同类型和体积的文件,从而实现智能化的重复数据删除。
(5)vCenter集成。备份软件以vCenter插件的形式集成到vCenter的管理界面中,方便vCenter管理员管理虚拟机的备份,而不需要到专门的备份软件中处理。
(6)应用感知。对于虚拟机中安装的SQL Server、
Exchange、SharePoint、Active Direct等应用系统,可以通过在这些应用所在的虚拟机中安装VDP客户端,即可实现来宾级细粒度的管理,从而实现对虚拟机中的应用感知。
4.2 重复数据删除
对VMWare vSphere虚拟化环境,使用重复数据删除技术,对其中的30台虚拟机总共1053GB容量的虚拟硬盘进行全备份。在自动识别并剔除空白空间后,需要备份的数据只剩下虚拟硬盘数据的76.5%。而在使用重复数据删除进行消重后,实际写入存储空间的数据只有源数据的29.4%,因此实际重删比为70.6%。重复数据删除技术可大大减少虚拟机备份所需要消耗的存储空间,具体如图2所示。
初次全备份需要数小时的时间。在虚拟机进行数据读写操作,增加少量用户数据,此时再做全备份,备份时间可缩短到数分钟。这是由于调用了VMWare的CBT技术,使备份数据仅为修改的部分数据,从而加快了备份速度,减少了网络流量和备份数据量。
5 结束语
本文研究了传统IT基础架构下的备份技术,包括操作系统、数据库和文件系统等3种主要备份对象,总结了利用自带工具、存储硬件、备份软件和备份一体机等常见备份方式,描述了备份软件的架构,并分析了传统备份方式在云计算时代遇到的问题。在此基础上,研究了云计算环境下的备份技术,并指出了无备份、数据块修改跟踪、文件级备份恢复、重复数据删除、vCenter集成、应用感知等关键技术。在实际虚拟化环境中,证明了重复数据删除和数据块修改跟踪等技术的有效性,为电信运营商在云计算环境下的数据备份提供了参考。
参考文献:
[1] 鲍明曦,朱源,邓丽华. MSS全网集中建设助推集约化运营[J]. 通信企业管理, 2013(12): 75.
[2] 田熙清,陈泳,胡颖茂. IT支撑系统技术架构的去电信化思考[J]. 移动通信, 2014(5): 68-74.
[3] 张效斌. 备份系统在云中心的部署与应用[J]. 电脑知识与技术, 2013(29): 6530-6532.
[4] 宫婷. 计算机数据库的备份与恢复技术研究[J]. 计算机光盘软件与应用, 2013(21): 155.
[5] 肖克辉. 文件系统备份中目录树处理算法设计与实现[D]. 广州: 中山大学, 2005.
[6] 张云帆. Oracle数据库备份与恢复策略[J]. 计算机工程, 2009(15): 85-87.
[7] 邬文轩,胡晓勤. 一种基于MySQL Innodb数据引擎的增备方法[J]. 计算机安全, 2013(5): 30-33.
[8] 杨宁. 基于B/S模式的Linux备份系统的设计与实现[D]. 广州: 中山大学, 2008.
云计算技术研究范文5
[摘要]云计算是一项迅速发展的信息技术,引起图书馆界的关注。云计算已不是概念的炒作,而是大型企业的实际运作。图书馆学应该关注云计算,云计算也将给图书馆管理带来挑战。云计算在图书馆的可能应用包括:软件即服务、图书馆集成系统、云存贮、平台即服务或基础设施即服务。
[关键词]云计算 软件即服务 图书馆学
[分类号]G250.7
1 引
言
2009年,信息技术(Inform~ion Technology,IT)的发展再一次强烈冲击着图书馆学。产生这次冲击的技术有许多,其中名称最浪漫的是:云计算。
云计算是一个产生于IT领域的概念。根据谷歌大中华区总裁李开复博士的定义,可以将互联网当作一片云,云计算就是“以公开的标准和服务为基础,以互联网为中心,提供安全、快速、便捷的数据存储和网络计算服务,让互联网这片‘云’成为每一个网民的数据中心和计算中心”。
当前绝大部分图书馆的信息服务架构于IT之上,IT不仅决定了图书馆信息服务的能力,而且也在很大程度上影响了图书馆的组织结构与运行成本。因此,当图书馆人获悉IT领域可能出现一种稳定性、易用性和经济性更佳的基础设施、平台或服务模式时,他们对此表现出极大的热情。图书馆界最先关于云计算的报道仍然来自博客。2009年年初,迈克尔・斯蒂芬在博客文章“图书馆如何使用云”对云计算在图书馆的应用做了初步的展望,不久又将云计算列入2009年的图书馆界的10大技术趋势。Keven在总结2008年图情十大技术进展时,也将云计算列入其中。接下来是图书馆应用层面跟进。2009年4月23日,OCLC高调宣布即将推出基于WorldCat书目数据的“Web级协作型图书馆管理服务”,这被公认为是一项云计算服务。由于OCLC在图书馆界的深远影响,此举预示着云计算在图书馆领域广泛应用的开始。紧接着,学术期刊也不甘落后,《中国图书馆学报》2009年第3期发表的一组年度综述中,刘炜将“亚马逊的云计算”作为从2008年国内外图书馆界众多的技术进展中选取的典型内容之一。综述中所涉及的与图书馆学相关的云计算研究除了迈克尔・斯蒂芬的研究外,还有Tech Source在美国图书馆协会的网站上编发的多篇涉及“云”的技术介绍。随后《数字图书馆论坛》发表了孙卫的文章《图书馆在云时代的思考》。文章的主要篇幅是介绍云计算技术本身,但在结束部分仍对云计算与图书馆的关系进行了思考,讨论了“全国性的联合编目云计算环境”、“地域性的总分馆图书馆自动化云计算环境”、“利用虚拟机技术,把各自图书馆的多种应用和服务整合成内部云计算环境”等问题。2009年7月,一贯关注技术进展的《大学图书馆学报》高调刊出一组有关图书馆和云计算的文章,包括刘炜的《图书馆需要一朵怎样的云》、胡小菁、范并思的《云计算给图书馆管理带来挑战》和王文清、陈凌的《CALIS数字图书馆云服务平台模型》。这组文章从不同的侧面,展示了云计算与图书馆学研究的密切关系,描述了云计算在图书馆应用的巨大潜力,云计算应用可能导致的问题与挑战,以及在具体项目中的应用。
尽管国际图书馆界对云计算反响热烈,但不同的声音也随处可见。正如当年数字图书馆技术出现后,图书馆界出现很多质疑声音一样,图书馆人研究云计算的尝试也不可避免地遇到质疑。一些典型的质疑包括:对云计算技术和研究本身的质疑,对图书馆学家或图书馆管理者关注云计算的质疑,对云计算在图书馆的应用前景的质疑,等等。为了推动图书馆利用新的云计算技术与提升服务能力、降低运行成本,有必要对并围绕这些质疑进行一些讨论。
2 几点辩护
2.1
云计算是不是一场新的炒作
客观地说,当前人们有充分的理由怀疑云计算是一场炒作:一个有些响亮的名称,被人描绘出动人的前景,众多大小企业纷纷跟进,涉及IT的行业探讨应用,等等。类似的炒作,在IT发展史上屡见不鲜:大企业提出新的概念,引得他人跟进,使自己获得名声、资金,或使自己领跑某一领域。云计算的概念出现后,我们的确看到有企业“搭车”,将自己早已使用的基于Web的服务冠名云计算。正因为如此,云计算出现后人们看到的是一派乱象。以云计算的概念论,云计算出现时间并不长,Matrix已总结了云计算的20个定义,而在这20个定义之外的定义更是俯拾皆是。以至有了惠普公司副总裁Andy Isherwood的打趣:“很多人在投身云的潮流,但我没有听到两个人说同样的事情”。这样的乱象,很难使人不去怀疑这一概念的“炒作”特征。
但是,我们既要看到IT发展史上有过许多炒作,更要看到IT发展史上有些“炒作”对技术进步和信息服务的重大影响。Web 2.0就是一个有炒作之嫌的概念,但这一概念对人们重新思考网络信息服务,理解互动、共享和网络精神功不可没。退一步说,适度炒作概念其实也能动员社会对于技术的关注,吸引企业界投入研发资金,最终推动技术的进步。1993年美国政府提出“国家信息基础设施”(NII)后,社会反响了了。但经戈尔副总统演绎为“信息高速公路”,也就是被大肆炒作后,NII理念得到迅速的普及,对因特网的发展和普及起到了极为重要的作用。
今天,云计算已经不是学者书斋中的概念,也不是个别企业的单兵突进。云计算已经吸引了众多大型IT企业的关注。例如,在云计算标准制定领域,2009年1月,云计算标准制定组织“开放云联盟”(OCC)成立,思科、雅虎成为其首批成员。2009年4月,包括AMD、思科、惠普、IBM、英特尔、微软等众多知名企业支持成立于1992年的标准化组织“分布式管理任务组”(DMTF)组建“开放云计算标准孵化器”。IT企业之外,公共媒体也对云计算表现出极大热情。云计算文献已经出现在BBC、《经济学家》等重要媒体上。如2008年10月《经济学家》发文评述云计算问题,其中一段被人们广为引用的文字是:“云的崛起不仅仅是使技客们(Geeks)得到又一个兴奋的平台。它无疑将改变信息技术产业,也将深刻地改变人们的工作方式和公司的经营方式。它将使数字技术渗透经济和社会的每一个角落,并在前进的道路上创造出一些棘手的政治问题”。
云计算概念的“浪漫”是很多人质疑它是炒作的理由,但作为一名学者,应该透过名称表面,去考察它的实质。云计算的实质就是它代表了建立IT基础设
施的基本方向。在缺乏IT基础设施的年代,一个组织需要IT能力,首先是购买服务器等硬件,购买信息系统软件,雇佣IT管理员,然后才能开展信息服务。而这些硬件和软件以及IT管理人员,实际并不属于组织的核心业务。有了云计算基础设施后,组织若需要获得IT能力,需要的只是联网、选择供应商和付费,然后就可开展信息服务。就是说,TT硬件和软件能够成为如供水、供电一样的基础设施,用户无需一次购置大量IT设备并配备维护人员,而是通过互联网,按需付费地从提供云计算的专业公司获取软件运行、数据存储等服务。Nicholas Cart最早将云计算导致的IT模式变化与供电基础设施相比较,他形象地说道:“今天,我们正处在另一个新纪元巨变中,一个世纪前发生在发电上的一切正发生在信息处理上。由个别公司建造与运行的私有计算机系统,正经由公共网格即互联网、被中心化的数据处理厂所提供的服务排挤掉。计算变成了公用事业……如同电力公用事业,新的计算公用事业正达到远超过大多数公司以自己系统所能达到的规模经济”。如果看不到这种变化的前景,我们可能失去重要的机会。
2.2
图书馆学是否应该关注云计算
有人不认可图书馆学家应该关注云计算,大致有这么一些理由:云计算是亚马逊、谷歌、SUN这些大公司的项目,离图书馆太遥远,图书馆学家没有必要关注;图书馆学应该关注图书馆的理论研究、图书馆的服务与管理,而不是云计算一类技术;图书馆学研究必须坚持自己的核心内容,跟着IT走将迷失自己,等等。对此,我想表达的观点是:
2.2.1
云计算离图书馆并不遥远
云计算是一种规模化的IT服务,因此更适合于大企业运作。但云计算有多种类型,至少包括软件即服务(saaS)、平台即服务(PaaS)、基础设施即服务(IaaS)。如果说PaaS和IaaS更适合大企业运作的话,那么SaaS则几乎适合任何规模的组织。不但图书馆服务企业可能提供SaaS,图书馆本身也适合提供SaaS,如总馆通过SaaS向分馆提供服务。如果认可云计算的宽松概念,即将XaaS(x代表所有IT设施)都看成云计算,那么云计算早已在图书馆运用。如,书目数据库或全文数据库商很多年前就以网络数据库取代了光盘版,早期的镜像版也越来越多地被网络版所取代,这可以看成将图书馆接入了数据库云。很多软件提供商不断尝试改变软件提供模式,通过提供IT服务取代简单地销售软件产品;比如图书馆自动化管理系统(1LS)托管平台,在厂商的服务器上安装管理软件、由厂商负责维护,图书馆通过网络浏览器实现业务的自动化管理。以前这种软件即服务的产品主要面向中小型图书馆,或者只限于图书馆的某些辅助应用,如WebFeat Express就提供托管型的跨库检索系统。由于云计算服务可望从基础设施层面解决许多长期困扰图书馆网络信息管理和服务中存在的问题,如硬件和软件的更新总是赶不上技术的进步,高薪聘用的IT管理人员始终无法融入图书馆服务团队,等等。可以预料,会有越来越多的图书馆试水云计算,通过云计算来提升图书馆网络信息管理与服务的水平,降低管理与服务的成本。
2.2.2
关注信息技术是图书馆学的传统 现代图书馆学是伴随着分类编目等图书馆技术的发展而发展越来的。计算机出现后,图书馆人对于以计算机为核心的IT给予了极大的关注,并且取得了有目共睹的成就。迟早启动对于图书馆相关IT的研究,可以推进图书馆事业的发展,并推动图书馆学站上学科高地。美国国会图书馆于1960年代后期及时启动机读目录研究,产生了MARC这样的对图书馆自动化和图书馆学产生重大影响的优秀成果。云计算作为一项技术,首先是IT专家和企业所关注的问题。但它的可能应用领域包含图书馆管理与服务,因此有前瞻性的研究者应该考虑研究它。事实上,云计算出现后很快见到图书馆学家对云计算的关注。2008年10月,Jason Griffey在《图书馆杂志》旗下的netConneet杂志发表文章,提出“云图书馆员”(Cloud Librarians)的新概念。他认为,“图书馆建筑物不会消失,我们仍将有许多资料需要照料。建筑物将越来越具有当前的双重性质,即仓库与聚会场所,而我们的服务与内容将存在于云中,远离任何物理场所”,也就是说,云计算的到来将使图书馆员依托云而非实体图书馆提供服务,成为“云图书馆员”。2009年5月,英国的图书馆自动化系统供应商Talis公司的Richard Wallis等人讨论云计算,提出了“云计算图书馆”(Cloud Computing Libraries)的新概念,这表明Talis试图找到一个能够聚合云计算在图书馆应用的新的术语。为什么这些图书馆学人如此敏锐地关注云计算?因为他们知道,IT已经深刻地改变了图书馆的社会生存基础,技术的每一次进步几乎都给图书馆事业带来新的挑战,都值得图书馆人关注,云计算技术也不例外。
2.2.3 云计算给图书馆管理带来挑战
因为云计算将改变图书馆的IT基础设施,因而它将超越IT本身,而成为一个与图书馆管理与服务相关的问题。图书馆也许不能成为基础设施层面甚至平台层面的云计算提供者,而只是云计算的应用者。但是,面对迅猛而来的云计算,不可能设想云计算提供商能解决图书馆应用层面的所有问题。图书馆界一方面需要研究云计算与图书馆的关系、云计算在图书馆的应用前景等基础性问题,丰富图书馆学的理论;另一方面,也是更为紧迫的理论问题,是对于云计算应用的行业管理问题。如果图书馆管理者(包括行业管理者和单个图书馆的管理者)有能力驾驭云计算,这种先进的IT基础设施将为图书馆带来巨大的利益。但这只是一种可能。从云计算的基本理念及图书馆应用云计算的可能框架分析,云计算给图书馆管理所带来的挑战是前所未有的。例如,加特纳公司所指出的云计算七大风险,加州大学伯克利分校Armbrust等人的技术报告《云之上:云计算的伯克利评论》所讨论的云计算的十大障碍。马里兰大学的Jaeger等人讨论的云计算的八个“规则”。所有这些问题,可能在图书馆云计算这个领域给图书馆管理带来挑战。也就是说,图书馆应用云计算并没有现成的道路可走,前方的道路可能比以往图书馆自动化、数字图书馆的进程存在更大风险。这就需要图书馆界迅速应对云计算给图书馆管理提出的挑战,对应用云计算所导致的管理问题进行系统、深入的研究。面对云计算应用可能导致的图书馆管理的挑战,图书馆学家需要尽快启动对于云计算管理问题的研究,积聚理论资源,为国家、行业或图书馆的管理者提供必要的政策思想、管理规则和解决方案。
2.3
云计算在图书馆应用的展望
云计算在图书馆的应用是一个新的课题,在大量研究与实践完成之前,我们无法预料所有可能的应用领域。但这不妨碍我们展望一下云计算在图书馆应用
前景:
・软件即服务(SaaS)。SaaS是最早出现也是目前最为普遍的云计算类型。SaaS的基本理念是将软件置于运营商的服务器上,由运营商对其进行维护与升级管理,购买软件的用户只是购买通过网络使用该软件的权限,并不在本地安装该软件。过去已有的云计算在图书馆的应用,包括大量属于Web 2.0的图书馆应用,例如在图书馆服务中采用Conduit在线服务生成的浏览器工具条、利用即时通讯工具QQ、MSN及Mee,bo、“晒网”等在线服务提供实时参考咨询等,基本都属于这种类型。只是由于市场不够成熟,这些“服务”仅为免费服务,不是典型的SaaS。
・计算机集成系统(ILs)。基于云的ILS其实也是一种SaaS,现有ILS有很多是系统提供商利用Web对用户提供服务,用户支付一定维护费用。但是ILS不同于一般软件,它对于书目数据具有较强的依赖性,因此更多地系统提供商仍将系统与数据保存于本地服务器,只是通过Web对系统进行远程维护或升级,如Innovative Interfaces公司的Millennium。但是,由于OCLC拥有几乎是全球最完整的英文书目数据,因而它有能力推出完全基于云计算的ILS。2009年4月23日,OCLC宣布即将推出基于WorldCat书目数据的“Web级协作型图书馆管理服务”。这一项目将给用户提供完全基于云计算的ILS,即从软件到数据到用户和书目数字的存贮均完全建立在云之上,用户只要接入网络就可使用ILS的所有功能,不再需要服务器和存贮器。OCLC这一项目的目标是以Web级协作型图书馆管理服务完全取代各类型ILS,它对图书馆自动化产生的影响将是惊人的。
・云存贮。对于图书馆而言,云计算最大的问题应该来自存贮。网络时代,图书馆的信息服务依赖于数字资源。由于图书馆服务的特点,图书馆所收藏的数字资源数量大、有永久保存的必要,这对图书馆的基础设施提出了很高的要求。面对这一挑战,当年图书馆自动化的先行者美国国会图书馆再一次表现出对于信息技术的远见卓识。2009年7月,国会图书馆宣布进行为期一年的试验,在他们的国家数字信息基础设施和保存计划中测试云技术对永久保存数字内容的应用,可以预料,这一试验将对云计算在图书馆的应用产生巨大的影响。
・平台即服务或基础设施即服务。即使在软件业高度发达、高度市场化的社会中,仍然有一些图书馆因为需求的个性化,必须使用自己开发的软件。但即使这样,图书馆也有可能利用云计算,即租用因特网上的软件运行平台或磁盘空间,将自己的软件置于云端上的平台或磁盘中。利用PaaS或IaaS,图书馆可以一劳永逸地摆脱对于机房、服务器和专职IT人员的依赖,使自己的业务和员工队伍更加集中于核心业务。
云计算技术研究范文6
【关键词】云计算;云数据;管理技术
作者简介:初鲁京(1987-),男,山东烟台人,中国人民大学在职研究生,研究方向:企业管理
近年来随着科技水平的不断提高,信息数据量不断增大,并且具有快速的增长速度,用户对于计算机的存储能力提出了更高的要求。而“三网融合”、“物联网”、“智能电网”等应用的快速发展对于计算和数据管理也带来了新的挑战。云计算作为一种正在兴起中的新型技术,可以改变普通用户操作计算机的模式,可以根据用户的需要来提高计算能力和存储能力,使用户像使用水电一样的方便快捷的使用计算机,降低用户的软件和硬件采购成本。云计算是基于分布式系统和网络计算上提出的新型概念,核心功能的提供海量的数据和存储,并且提供高效率的计算能力,由于开发更多的应用形式。而云计算并不仅仅是做计算,还需要融合更多的技术成果,提出云数据的管理概念。本文通过分析云计算和云数据的管理技术,促进云计算和云数据管理技术的发展和提高,方便今后工作的开展。
一、云计算的概念
(一)云计算的定义
云计算是一种近年来兴起的新型计算模型,是在互联网技术快速发展的基础上发展起来的。由于目前对于云计算还没有统一的标准定义,所以出现了很多云计算的定义版本。而通过对于云计算的分析研究,总体的定义方向都是一致的。具体来说,云计算实际上是一种对于虚拟化技术、网络技术和WebService等几种不同的新型信息技术的综合应用。云计算所运用的技术几乎包括了所有的互联网和信息技术。可以说云计算是网络计算的必然发展,虚拟化技术又是云计算得以发展的基础和前提,WebService信心技术为云计算提供了互联网环境的技术支持。随着互联网的发展,计算机用户也越来越专业化,它们对于数据信息的了解和使用越来越熟练,对于数据信息的要求也发生了变化,提出了各种不同的信息数据需求,云计算正是满足了这类用户的需要,也得到了进一步的使用和发展。
(二)云计算的工作原理
云计算在工作环境下不需要使用本地的计算机,通过互联网联接来进行数据的分布和处理,并且优化数据,然后经过互联网的连接来实现分享数据的目的。这种工作模式可以使企业方便的进行资源利用,并且有效的切换有效资源,根据实际工作的具体要求来访问计算机和存储系统,获得相关的信息和数据。云计算作为一项新型的实用性技术,一定程度上提高了计算能力的商业性,通过网络传播和售卖实现了降低售卖成本的目的,同时还充分发挥了实用性,使企业的相关工作得以全面落实。
(三)云计算的体系结构
云计算的体系结构非常庞大,并且具有很强的复杂性,一般以“云”网络为核心,联接到其他网络和服务器,发送出相关的数据信息。同时通过虚拟技术的支持扩展相关服务器的功能,在云计算的平台上实现各种信息资源的整合,达到为用户提供更多更有效数据的目的,提升了计算能力和储存能力。完善的云计算体系结构应包括云端用户、部署工具、服务目录、管理系统这主要的四个部分。
二、云数据管理技术的主要特点
(一)规模大,海量性
随着近年来互联网技术应用的发展和普及,一些互联网技术是通过传感器来进行数据信息的采集来完成相关的工作。而随着应用技术的发展和推广,数据量变得越来越大,并且还在快速的增长。云计算中的“云”具有规模大的特性,以云计算为基础而构建的信息服务或设备也具有大规模的特点,并且应用于处理海量性的信息数据。另外云计算还可以无限扩展,同时处理成百上千的信息节点。这种可以无限扩大和伸缩的特点满足了不同用户的不同需求,在云计算的数据管理技术中也要注重技术和方法的改进,提高信息数据的管理水平和处理水平,重视信息数据的整合、提取和推理,有助于工作决策的完成。
(二)安全可靠性
云计算的技术包括了虚拟化技术、互联网技术及分布式计算等比较成熟的技术手段,为云计算的可靠性提供了有效的保证。并且云计算在安全性方面也具有优势,云计算采用了不同服务器上的信息数据多副容错的方式,计算的信息节点采用了同构互换技术,这些都极大地提高了云数据管理的安全性。
(三)异构性
由于应用云计算技术的领域和行业的不同,云计算的数据采集设备和方式也各不相同,存在着一定的差异性。每个行业中云计算所获取的结构和数据形态也存在着不同的差别,需要根据具体的实际情况,来判断采取不同的传感器,例如二氧化碳浓度传感器、温度传感器和湿度传感器等。不同的传感器在应用的时候,传递信息和获取信息的形式也是不尽相同的,这些差别会带来数据分析、处理和访问等各个环节的差别,另外数据的多源性也会造成数据的类型各不相同,不同类型的数据信息也有不同的格式,从而会出现半结构化数据、非结构化数据和结构化数据同时存在的情况,使信息数据存在异构性的特点。
(四)不确定性
云计算的运行环境中数据信息具有一定的非确定性,主要表现为信息数据本身、数据语义匹配及数据信息的分析查询等方面具有不确定性。而为了达到保证信息数据准确客观的目的,用户在应用云计算时一定要明辨真伪,去其槽粕取其精华,反映真实的需求完成预期的工作目标。
(五)通用性、便捷性
云计算的使用平台在提供各项服务时,用户在使用中不会受到空间上的限制,也不会受到时间的约束。用户只要具有访问验证信息就可以自由的使用云计算平台,享受云计算的服务,不会受到系统和平台的限制,具有极大的通用性和便捷性。
三、云数据管理技术
用户通过云计算来分析处理大量的数据信息,云计算的数据管理技术必须要能够满足用户的需求,高效及时的管理分析海量的数据和信息。云计算分析处理的数据具有海量性、不确定性,这对云计算数据管理技术的开发和发展不断提出新的要求,需要积极的构造高效可用的信息数据管理系统。
(一)数据信息的组织管理
数据的组织管理可以采用分布式的系统来访问分析海量的分布式数据,例如GFS技术。这种技术可以在差别不大的各种普通硬件上运行,为用户提供了容错功能,并且为用户提供高效可靠的信息数据并行的存储和访问权限。
(二)数据信息的集合管理
数据信息具有海量性、动态性、不确定性等特点,需要采取分布式的数据信息处理技术来进行采集分析,例如BigTable技术可以用于对海量数据信息的处理,提供高效的服务。
(三)数据信息的分析管理
应用云计算的数据管理技术是为了分析和挖掘相关的数据来满足用户的需求。因此需要运用不同技术和布局来从海量的数据中提取挖掘有用的潜在数据,并且理解所挖掘的信息数据同时进行分析,为各种应用提供支持。
(四)数据信息的存储管理
以Dynamo技术为例,这是一个具有高可用度的存储系统,具有DHT和数据库的特征,为AWS提供了基础的技术支持,并不直接展示于外网。Dynamo技术设计的存储架构可以使信息数据在框架内均匀的存储,并且各个存储节点之间可以互通,根据数据的具体操作需求在框架内进行转发,具有较强的自主性,而由于有主控点来进行控制,单个节点之间一般不会出现故障。Dynamo技术在存储时还具有一些优点,可以通过提供N、R、W这三个参数结合实际情况去调整实例。N即表示副本的个数,R为可完成的数据信息的成功一致个数,W为完成写入的个数。Dynamo技术可以记录、处理不同版本的对象,将对象的不同版本来提供给技术应用,使应用可以对这些数据信息进行合理的整合和利用。在这一过程中并不要求将副本个数N全部的成功完成,只需要成功读取的个数R和成功写入的个数W两者相加,大于副本个数N,这样就可以保证数据的最终一致性。这种读取方式比写入一次进行多次读取的系统要麻烦一些,但是写入方式变得更简单,也充分满足了用户的需要。同时Dynamo技术也具有负载均衡的优势,由于所采用的DHT方式将需要的信息数据都均匀的存储到每个节点,导致每个节点的数据信息访问量和存储量都大致相同,比较均衡。
四、结语
当今社会处于高速发展的信息时代,各种数据信息在全球范围内传递交换,也就需要开发和利用高效可用的信息传播媒介来适应信息时代的发展,云计算和云数据管理技术正是为此而生。作为新型的信息技术,云计算具有广阔的发展空间也面临着不同的挑战。网络互联网技术的快速发展使云计算和云数据管理技术有了更好的机会和支持,也导致了新型应用系统的开发和应用,因此云计算和云数据管理技术要充分把握机会面对挑战,利用本身的优势和时代的发展来实现进一步的提高,解决应用过程中的技术难题,得到长远发展。
参考文献
[1]刘正伟,文中领,张海涛,等.云计算和云数据管理技术[J].计算机研究与发展,2012,49(z1):26-31.