云计算基础技术范例6篇

前言:中文期刊网精心挑选了云计算基础技术范文供你参考和学习,希望我们的参考范文能激发你的文章创作灵感,欢迎阅读。

云计算基础技术

云计算基础技术范文1

关键词: 云计算; 桥梁安全与健康监测; 数据中心; 数据管理技术

中图分类号:TP391 文献标志码:A 文章编号:1006-8228(2013)12-18-04

Basic architecture and data management technology of bridge safety and health

monitoring data center based on cloud computing

Tu Huimin1,2, Wu Jufeng1,2

(1. Wuhan Bridge Science Research Institute(BSRI) Ltd.MBEC, Wuhan, Hubei 430034, China;

2. Key laboratory of bridge structure and health of Hubei province)

Abstract: With the development of bridge safety&health monitoring data center (BSHM-DC) technology, the monitoring data is increased rapidly in exponential speed, which requires the data storage and management technology of data center to be more intelligent and efficient. In this paper, the data management technology and developing trend of BSMS-DC is put forward firstly. After illustrating the basic architecture of BSHM-DC on the basis of cloud computing, the selections of key devices and related software are discussed. Lastly, its application expectation of BSHM-DC is prospected.

Key words: cloud computing; bridge safety &health monitoring (BSHM); data center(DC); data management technology

0 引言

桥梁安全与健康监测系统是通过在桥梁的关键部位布置高可靠性和耐久性的各类传感器,对结构内力、变形、动力特性、环境状况进行实时监测,获取桥梁在营运期内受各种荷载作用下的结构响应,通过理论计算和规范值与实测值的对比、分析,实现结构异常响应报警、结构营运安全性评估、结构损伤识别等。由于该系统7*24小时不间断检测,所采集的数据量飞速增长。在面对多座桥梁监测系统集成管理的情况下通常采用直联式数据存储方式,其数据的存储能力、数据管理难度、数据安全,以及存储资源的利用等,都难以满足系统设计需求。

云计算可以满足新一代数据中心对网络、存储和计算的业务需求,并能提供丰富的应用服务,是新一代数据中心的核心要素[1-2]。本文通过引入云计算的基础架构,建立了基于云计算的桥梁安全与健康监测数据中心,将分散在全国各地的监测系统数据进行集中可靠的存储与管理,并通过云计算数据中心向用户提供高效、安全的服务。

1 桥梁安全与健康监测数据中心建设的现状

随着在役桥梁安全与健康监测建设的发展,桥梁安全与健康监测系统中海量数据的存储与有效利用日显重要,并成为在役系统普遍关注的一个重点。一个中等桥梁安全与健康监测系统数据日增长量在3GB/天左右,一年有1.1TB增量的数据,数据的维护管理主要依赖系统管理员定期执行,数据管理的实施方式难以统一。随着数据量的增加,数据管理工作量、管理难度及管理成本成倍增加,数据也得不到有效利用。

桥梁安全与健康监测数据中心引入云计算,可将业务数据和应用在公有云和私有云之间同步,当数据中心构建的私有云出现故障,应用可以无缝迁移到公有云中。通过云计算将分散在全国各地的业务系统数据通过INTERNET进行集中存储与管理,可向桥梁技术研究者提供数据共享服务分析桥梁健康监测海量数据;桥梁管理单位即使不具备桥梁专业技术知识也可以在任何地方、任何时间监测到桥梁的实际运营状况,获得桥梁健康监测报告及桥梁营运安全性评估等服务并实时反馈专家意见,大大提高了桥梁管养效率。

基于云计算的桥梁安全与健康监测数据中心建设分两部分,一部分是集成中心,另一部分是分散在全国各地的分中心。集成中心的数据增长量在10GB/天,分中心的数据增长量在3GB/天左右,增长量会随着业务量的增加而增加。集成中心利用云计算技术对服务器、存储、网络等IT资源进行虚拟化,将所有的IT资源放在一个资源池中并进行动态资源管理,对IT资源进行监管和云管理。当资源池中分配给某个桥梁安全与健康监测系统的资源出现故障或者该系统获得的资源不够用的时候,云管理平台会自动分配给它新的资源,从而保证系统7*24小时不间断运行。

分中心的数据通过公共Internet网络与集成中心组成云网络,数据进行同步,在集成中心对数据进行异地容灾备份。集成中心有两份数据,一份数据面向桥梁安全与健康监测系统(数据库A),一份数据是完全备份数据(数据库B)。我们主要考虑如何优化实时数据读取和历史数据查询。数据库B中保留所有数据,数据库A只保留最近1周的数据;业务系统实时读取的是数据库A中的数据,而查询一周之前的数据就读取数据库B中的数据。

图1 分中心数据库结构与操作

2 关键技术

云计算(Clouding Computing)由Google、Amazon等公司于2006年首先提出,它是一种利用互联网实现随时随地、按需、便捷地访问共享资源池(如计算设施、存储设备、应用程序等)的计算模式[3]。我国政府高度重视对云计算的发展,把其列为重点发展的战略性新兴产业[4-5],云计算技术的应用已成为国内外的热点研究问题[6-8]。

基于云计算的桥梁安全与健康监测数据中心的建设所需专业涉及面较广,如桥梁专业、网络通信专业、计算机专业等。本节着重讨论其在计算机领域内实现云计算数据中心的关键技术。

2.1 虚拟化技术

虚拟化技术能让所有计算元件在虚拟的基础上运行,是实现云计算数据中心不可缺少的功能。通过把有限的固定的资源根据不同需求进行重新规划以达到最大利用率的思路,在IT领域就叫虚拟化技术[9-10](Virtual Technology)。这种解决方案能在很大程度上优化资源、节约成本。虚拟化技术包括计算虚拟化技术、网络虚拟化技术、存储虚拟化技术。系统虚拟化前后的特点如表1所述。

表1 虚拟化前后特点比较

[虚拟化前\&虚拟化后\&每台主机一个操作系统\&每台主机上运行多个虚拟机,每个虚拟机一个操作系统

\&每台主机上运行多个程序,可能造成冲突

\&多个程序可分别在运行在多个虚拟机上,应用程序相对独立的运行空间,避免冲突

\&每台主机配一个存储,存储资源得不到有效利用,且一旦存储出现单点故障,数据可能丢失

\&多个虚拟机共享存储,当一台主机出现故障时,会自动分配其他主机上的硬件资源给故障主机的应用程序\&硬件成本高,且配置和管理困难\&虚拟机独立于硬件运行,可动态资源分配,新程序的部署工作只需要几分钟,有效节约硬件和维护成本

\&]

目前虚拟化技术的产品主要有EMC的 VMware虚拟化产品,Microsoft的Virtual Server, Sun的Virtual Box,以及Ctrix公司的Xen Server和Xen,占市场份额最大的是EMC的 VMware虚拟化产品。

2.2 数据存储技术

基于云计算的桥梁安全与健康监测数据中心需要满足大数据管理的需求,为大量桥梁管理者提供服务并且为桥梁研究者提供大数据分析功能。数据安全可靠存储是实现大数据管理分析的基础。

数据存储系统从物理结构来看,底层主要是磁盘,通过光纤、串口线等与磁盘后的板卡和控制器相连。目前最常用的存储方式有DAS(直接连接存储)、SAN(存储区域网络)和NAS(网络附加存储)。直连存储(DAS)是直接通过SCSI线缆或者光纤直接连接到服务器上。存储区域网络(SAN)是通过网络方式连接存储设备和应用服务器,目前常用的SAN结构根据连接介质不同而分为FC SAN和IP SAN。网络附加存储(NAS)是将网络存储设备直接放在网络上提供文件共享服务。这三种技术优缺点如表2所示。

表2 DAS、SAN、NAS数据存储系统技术优缺点

[特征\&DAS\&SAN\&NAS\&安装难易度\&较难\&较难\&很容易\&集中管理\&难\&专用软件\&基于网络\&扩展性\&低\&高\&中\&数据共享\&难\&通过软件实现\&内部实现\&处理能力\&强\&强\&视网络情况而定\&备份\&传统方式\&服务器不参与\&多种方案\&容灾\&基于服务器\&端对端及多点容灾\&端对端方案\&安全\&中\&高\&低\&]

目前主要存储厂商的FC SAN存储可以实现8Gbit/S的传输速率,但费用较高,所以中大型数据中心建设中还是处于领先地位。但是随着IP SAN技术的发展,较高的性价比使FC SAN存储逐渐扩大了在市场的份额。

2.3 动态资源管理

云计算的资源包括存储资源、计算资源、网络资源、基础设施资源以及其他资源[2]。当应用云计算时,面对大量设备和相关技术,如何有效整合各种资源并实施动态资源管理是实现云计算的关键。云计算动态资源管理系统的基本功能,是接受资源请求,合理地调度相应的资源并且把特定的资源分配给资源请求者,使请求资源的业务得以运行。它能跨资源池智能动态调整计算资源,使IT与业务优先级对应,动态提高系统的管理效率。

云计算的动态资源管理必须处理好存储架构问题,解决资源部署、监控和调度策略等问题。在VMware虚拟化产品中,DRS(vsphere Distributed Resources Scheduler)可以根据每一个虚机的实际运行情况,适时地对内存、CPU、网络的消耗进行动态调整,将其平均分配到DRS集群的每一台主机上面。动态分配依靠VMotion实现,所以,VMotion是DRS的先决条件。

3 云计算数据中心实现

基于云计算的桥梁安全与健康监测数据中心实现了数据中心服务器、网络、存储虚拟化及负载均衡,其基础架构拓扑图如图2所示。

整个方案通过两路6核服务器配合后端IP SAN存储技术,并采用云计算虚拟化技术来实现桥梁安全与健康实时监测。在云计算操作系统软件的支持下,将3台两路6核服务器组建HA集群,并配合DRS及VMotion等高级功能,实现业务的连续性,减少计划内宕机时间,有效地提高资源利用率。

3.1 计算系统设备及软件实现

计算系统设备主要是指服务器,服务器的选择上主要考虑的是服务器的性能,满足五年内桥梁安全与健康监测业务的需要,主要计算能力由3台两路6核服务器担任。

而计算系统虚拟化的实现主要是利用软件将服务器虚拟化。目前主流的、最具代表性的虚拟化软件是VMware的Vsphere软件。

本方案采用3台企业级两路服务器(HP Enterprise Server)作为核心数据库平台。该服务器能满足数据库应用的高可用性、可恢复性,并具有错误检测及消除单点故障的功能。采用数据库双机方案也增强了应用的可扩展性,满足业务不断增长的需要。由于该型服务器采用全新的因特尔快速互联通道互联架构配合因特尔志强E5系列处理器及SAS 6Gbps高性能磁盘控制器,使系统联机处理性能提升2.5倍以上,数据库性能提升3倍以上,更加适用于基础架构、数据库核心应用。

3.2 存储设备及数据管理软件

在保障客户应用的前提下,存储将成为一个必须受到关注的核心环节,因此双控制器、多处理器和高可靠光纤8Gb存储成为首选,这能有效保障业务的物理稳定特性。出于数据安全备份的考虑,配置大存储容量6TB存储空间服务器作为虚拟机的备份服务器,可以保证在光纤存储故障时或维护时的业务连续性,并对客户的应用数据也做到了统一备份。为了保障业务运行的高性能、可持续性和可扩展性,我们选择了IP-SAN的存储模式,通过串口线连接磁盘与控制器。云计算计算节点服务器通过交换机连接存储设备,实现数据链路的高品质性能保障。

在数据的统一备份处理上,基于虚拟机文件驻留在共享SAN存储上,可以使用存储区的映像来备份虚拟机文件,这样做不会在运行虚拟机的云计算计算节点主机上引起任何额外的负载。统一备份功能可以满足缩短虚拟机的备份时间,移除客户应用服务器上的备份工作负载,以及从中央服务器中执行备份的工作。其工作流程是从运作中的主机上剥离磁盘,将磁盘链接到专用的统一备份服务器上,然后备份磁盘中适当的文件,此时原始主机仍能看到该磁盘并能正常工作。通过有效利用虚拟机存储区的映象文件,高效地保障客户数据安全。

3.3 网络设备

云计算数据中心网络需实现双链路可靠冗余连接、负载均衡,充分考虑网络的可管理性。本方案采用两台DLINK交换机实现设备冗余,同时通过实现网络虚拟化来保证网络策略安全,使之不受虚拟机位置迁移的影响。

3.4 云平台管理

云管理平台是负责整个数据中心的资源池管理、是实现IAAS的关键环节。本方案采用VMware公司的Vcenter软件,与其他的管理软件相比,该软件的使用为IT管理者大大降低了云计算虚拟环境管理的难度。

该云平台是目前最强大的虚拟环境管理平台,它能提高在虚拟基础架构每个级别上的集中控制和可见性,无论是几十台还是几千台虚拟机,都能集中、简单地管理。它可以通过使用向导或者模板,在几分钟内创建新的虚拟机或主机,最大限度地减少错误和停机;它还可以借用DRS(vsphere Distributed Resources Scheduler) 持续监控各个资源池的使用情况。此外,借助vCenter API和.NET可实现vCenter Server和其他工具的集成,并且支持在vSphere Client中嵌入自定义插件,为管理IT环境提供选择自由。

4 结束语

目前,基于云计算的桥梁安全与健康监测数据中心建设还处在初级阶段,随着桥梁安全监测技术和云计算技术的发展,云计算数据中心会逐渐形成系统化、网络化的全国性的桥梁安全与健康监测平台。该平台能面向所有桥梁行业的客户,提供存储空间及桥梁安全与健康监测服务;同时还能根据存储的大量桥梁相关数据,进行数据挖掘及数据分析,在桥梁学术研究方面具有重要意义。

基于云计算的数据中心建设是一个复杂的系统工程,本文着重从桥梁安全监测数据中心的关键技术方面阐述了系统基础架构,以及关键设备和软件的选型,希望能为其他行业数据中心的建设提供一些参考。

参考文献:

[1] 林小村.数据中心建设与运行管理[M].科学出版社,2010.

[2] 刘鹏.云计算[M].电子工业出版社,2011.

[3] MELL P, GRANCE T. The NIST Definition of Cloud Computing[R].

National Institute of Standards and Technology, SP800-145, Gaithersburg:U.S Dept. of Commerce,2011.

[4] 国家科学技术部.中国云科技发展"十二五"专项规划[EB/01].

/tztg/201209/W020120918516104069531.doc,2012

[5] 工业和信息化部电信研究院.云计算白皮书(2012)[M].工业和信息化

部电信研究院,2012.

[6] 田冠华,孟丹,詹剑锋.云计算环境下基于失效规则的资源动态提供

策略[J].计算机学报,2010.33(10):1859-1872

[7] 朱仕村,张宇峰,张立涛,朱晓文,胡云辉.面向长大桥梁结构健康监测

物联网的云计算[J].现代交通技术,2011.8(1):24-27

[8] 孟凡立,徐明,张慰.基于云计算的高校数据中心设计与实现[J].现代

教育技术,2012.22(3):99-103

[9] 杨望仙,朱定局,谢毅,范朝冬.虚拟化技术在云计算中的研究进展[J].

先进技术研究通报,2010.4(8):5-10

云计算基础技术范文2

关键词:云计算技术;计算机网络;安全存储

一、云计算技术中网络安全存储的关键技术

(一)身份认证技术

身份认证技术作为云计算技术的关键衍生技术,它的使用和普及对用户在身份认证和信息的保护上有十分重要的作用。用户采用身份认证技术认证身份的方式有两种,一是用户采用已知的用户名和密码进行身份认证,这一方法比较常见、快捷,在一些常见的设备上像手机、电脑和平板上即可操作,其另一种方法是采用智能IC进行身份认证。前者身份认证方法相比,IC卡认证方式更有利于客户信息的保护,其工作原理是在利用IC卡内所有数据进行读取写入都需要密码再次认证,且不同区域内的密码也是不同的,因而可以非常全面的保护相关数据的安全性能。另外,现阶段PKI身份认证方法也是比较常用身份认证技术,它的工作原理在利用特有的秘钥对公钥进行解密,和一把钥匙匹配一把锁的道理一样。

(二)云计算备份技术和恢复技术

近几年,计算机技术在取的快速发展的同时,计算机中的数据信息也时刻面临着被恶意盗取、被病毒破坏的风险,为了避免这一现象的发生造成严重的后果,云计算备份技术和恢复技术运用而生并被广泛运用。这一技术的主要作用是找回丢失的数据以及对重要数据加以备份,确保数据信息的安全,如此一来,不仅可以满足客户对于数据的需求,也尽可能的避免由于数据丢失而造成的经济损失。

(三)云计算的数据加密技术

云计算数据加密技术的主要作用是提高相关数据的安全性能。众所周知,开放性是互联网技术的主要特性,在具有独特优势的同时也使用户信息面临被病毒入侵,被盗取的风险,基于此,为了保护用户信息的安全,数据加密技术被开发利用。目前最常用的数据加密技术有两种:一种是对称加密技术,另一种是非对称加密技术,两技术互相技术各占而又互相补充。例如向对称加密技术在加密和解密技术具有很强的优势,但是数据传传送效率不高,而非对称加密技术恰恰相反,其具有很强的数据加密技术和传输效果。

(四)云计算密钥管理技术

云计算秘钥管理技术也是网络安全储存中关键技术。在计算机系统中,仅仅依赖身份认证技术和数据加密技术来确保用户信息的安全是远远不够的,还要进一步加强对密钥的管理,在一定程度上不仅可以提升管理水平,同时还提升相关数据信息的共享水平。现阶段,最常用的方法是验证码验证法。在采用该方法工作时,用户需要输入正确的验证码来获取文献。一方面,确保了信息的安全,因为只有确保用户相关信息正确的情况下才能获取到认证码;同时还提升了信息的共享度,因为这一操作在手机上即可完成,操作也是非常便捷的。另外网络储存关键技术还包括删除码技术,这一技术的主要作用是提高网络技术的安全性和可靠性,另外这一技术对于编码提升的速度有一定的帮助。

二、在计算机网络安全存储中云计算技术的应用分析

(一)应用可取回性证明算法的有效策略

在网络安全储存环节,要对相关数据进行有效验证,就要利用取回收性证明算法,也是现阶段最常用的方法。其工作原理是冗余纠错码对数据进行验证。具体来讲,当用户对相关数据进行查询时,首先需要对云端发起“挑战”,云端在接受相关信息之后,如果“挑战”正确,则会给予相应,客户实现对信息的验证。如果相关信息被破坏,那么用户是无法通过验证的,但是这种情况下文件还没有被完全破坏,可以对相关文件进行恢复:编码的冗余信息技术。另外,要想提升文件恢复的重复率可以采用副本冗余编码模式。

(二)应用MC‐R的有效策略

要想进一步的加强数据的管理水平和安全控制能力,则需要采用MC‐R有效策略,在实际应用中,MC‐R策略分为两个模块:用户采用MC公钥密码算法和加密算法对相关技术进一步的加密,可使用这一技术对信息进行伪装标记,或将其设置成为伪装模块,进而实现对用户数据信息的高度保护,但是在使用时其成本相对较高,因而还没有被普及使用;云端RSA算法,这一技术的工作原理是对核心数据的进一步加密,同时也可以将数据进行伪装设置,和MC‐R有效策略相比,其具有较高的性价比。另外,在计算机网络安全存储中,云计算技术还可以发挥虚拟机的动态迁移作用。

云计算基础技术范文3

【关键词】云计算 虚拟化 存储技术 研究

随着信息技术的不断发展,云计算已经把计算机网络当中的软件技术和硬件以及相关的服务进行了整合,从而形成了一个非常大的资源库,同时在这个资源库中,通过新的计算方法,实现对于用户的相关服务。云计算是一种新的计算机互联网计算模式,所以,在进行云计算的时候,云服务是计算机软件能够有效运行的基本平台,也具备非常重要的意义。而且在云计算当中,我们还能够运用虚拟化的技术手段来不断实现资源的虚拟化计算。云计算存储技术,作为现代信息技术发展中的重要研究方向,它的开发研究不仅具有很大的应用研究价值,而且还具有很大的商业经济价值。

1 云计算概念及技术组成分析

1.1 云计算的概念简述

当前,现代信息技术在不断发展,云计算逐渐应用到现代信息技术领域中,以狭义角度分析,云计算作为一种动态的、可以扩展的计算的方式,其主要通过互联网来提供一种虚拟资源而进行的;以广义角度分析,基于互联网的中心作用,云计算属于一种应用服务的,而服务用户,没必要关注云计算内部细节,也没必要掌握云内部的专业知识,其属于一种计算用户应用服务,往往由云内部直接控制基础设置。从广义角度分析,云计算的应用与服务的类型有很多种,即基础设施服务、软件服务、平台服务等,这些服务基于互联网,结合用户的需求来定制的。

1.2 云计算的组成与核心技术介绍

对于信息技术领域,其中有一种是云计算系统,其以层次化为主,形成的一种架构形式,其层次有六个,即基础设施层、存储层、平台层、应用层、服务层、客户端层等。在云计算系统中,计算机基础设施部分,即基础设施层,其属于一种虚拟化的平台环境,实现用户的需求与服务。在具体服务应用的过程中,基于服务器端的强大计算能力,对其进行单位化,给用户个人PC机提供计算服务,因其不能实现海量数据的计算与服务;其二,在云计算系统中,存储层的任务是提供与支持、实现数据的存储服务,与计算机数据库的服务类似,计算的基础,即使用的存储量,其作为一种云计算的服务结果,也是数据的存储服务;其三,通过云计算的平台层,服务与计算平台与解决的方案;对于云计算的应用层面,凭借云计算的软件结构进行运行服务;而云计算的服务层体现了云计算的本质,在互联网信息技术、资源的基础上,来提供好的服务;其四,在云计算结构层中,有一个重要的组成部分,即云计算客户端,主要任务是承担与实施简单消息以及相应界面显示的任务。

一般而言,云计算的核心存储技术有很多,即虚拟化的存储技术、高性能的存储技术、分布式的计算存储技术等。

2 云计算中的虚拟化分析

在一些企业的信息化平台中,尤其是在系统的建设过程当中,数据中心建设一直是我们启用信息化平台的核心,特别是伴随着当前的信息化技术在企业中的运用得增加。在对于相关的数据资源进行高效的运用后,将这些数据进行灵活地配置后,这已经是企业进行信息化建设的关键。基于这样的背景下,虚拟化的概念和技术便出现了。在云计算中,运用虚拟化技术,这不但能够有效地简化信息资源管理的复杂程度,而且也能有效地实现信息资源的不断优化及合理配置,这对于增强信息资源的运用效率,有着非常大的功能。与此同时,在云计算服务体系中,倘若我们把虚拟化的技术当做是云计算的一种服务方式,提供给用户,这对于增强用户的计算能力,有着很大的帮助。

一般来说,在云计算中,虚拟化就是通过一种抽象化的方式,将物理资源进行转变为虚拟的资源,然而对于物理资源的抽象化方式,这同虚拟资源进行转化的实现手段以及相关的地理位置等方面是有着极大的联系的。资源进行虚拟化之后,完全能够通过有限的硬件进行重新的规划和分配,这对于扩大硬件容量有着很大的意义。在云计算中,虚拟化的应用技术,主要是通过使用虚拟机的监视器和相关的硬件通信设施进行设置的,基于虚拟系统的架构后,在物理资源和操作系统之间有效地实现操作转化,从而能够实现虚拟资源的控制和相关的管理。

3 基于云计算的虚拟化存储技术分析

基于云计算的虚拟化存储技术的实现,是在网络新技术以及产品不断发展的背景下,数据存储需求与存储系统存储空间之间的矛盾日益显现的情况下,为了提高数据资源的使用与存储效率,逐渐进行研究实现的。云存储是一种通过集群技术、网络技术和分布式技术等技术手段,把互联网中不同的数据资源存储设备,利用软件技术集合在一起进行工作的运行服务,其主要的目的是要让用户进行相关的数据存储,访问管理整个系统,以实现对于数据资源的存储,对于空间的维护方面,同时还要考虑建设成本的问题等。云存储过程中,应用的技术主要包括最开始应用的直连式存储技术,以及随着网络存储技术的发展应用,先后出现的网络连接存储、区域网存储和基于IP的存储等各种不同存储方式技术,在实际存储应用中,具有各自不同的特征优势。

4 结论

综上所述,在进行云计算的时候,对虚拟化的存储技术进行相关的研究是很有必要的,这不但能够顺应信息技术的不断发展,而且也能够增强云计算服务的存储力度,不断促进云存储的研究开l,起到了很关键的作用。

参考文献

[1]高翔.试论网络存储技术及发展趋势[J].中国新通信,2016(09).

[2]宋显君.浅析计算机网络存储技术与应用[J].信息通信,2016(07).

[3]马晓峰.浅谈计算机网络存储技术[J].科技传播,2016(16).

作者简介

徐达飞(1983-),男,北京市人。大学本科学历。现为中材集团财务有限公司高级业务经理、中级工程师。研究方向为信息科技、信息安全。

云计算基础技术范文4

关键词 云计算;数据存储;研究

中图分类号:TP311 文献标识码:A 文章编号:1671-7597(2013)17-0043-01

所谓云计算,实际上就是一种以服务为主体的现代架构体系,基本服务形式有两种,一种是云计算,另一种是云存储。云计算是计算机技术快速的一种新形式,这种基于云计算服务体系的现代应用程序,在现代金融服务领域、网络系统中扮演着非常重要的角色,几乎在所有的环境下都需要云存储来满足数据处理要求。因此,在当前的形势下,加强对云计算环境下的数据存储技术问题研究,具有非常重大的现实意义。

1 云计算与云存储

1.1 云计算

云计算主要是基于Internet技术提供服务的一种技术形式,它可以提供动态化的可伸缩、虚拟资源计算模式。其中,云是一种比喻性的说法,实质是计算机网络和互联网。传统意义上的“云”代表的是电信网,近年来才用于互联网、基础设施抽象表达。云计算通过计算,使大量的数据信息分布于计算机之上,并非本地计算机、远程服务器之中,而企业数据中心的实际运行与计算机互联网非常相似,这在很大程度上可以使企业将资源信息切换至客观应用上,并且根据实际需求,对计算机及其存储系统进行访问。简单地说,正如从传统的单台发电机模式向现代的电厂集中供电模式转变一样,这意味着计算能力已经作为商品在流通,并且像水电一样,利用方便而费用低廉,主要区别在于它是借助互联网技术进行传输。

1.2 云存储

所谓云存储,实际上基于云计算概念延伸出来的新概念,它与云计算非常相似,以集群应用、分布式文件系统以及网格技术等功能为基础,将计算网络中的各种存储设备借助应用软件进行有效集中,从而使其协同作业,具体功能是对外提供相关的数据存储以及业务访问。从本质上来讲,云存储是对当前存储模式的一种创新,同时也是特殊的架构服务之一。形象地说,就像是云一样的广域网、互联网,对应用者而言,具有透明性;云存储的关键在于相关应用程序软件、存储设备之间的有机结合,并且通过这些应用软件来实现存储设备之间的服务转变。

2 云计算环境下的数据存储体系构建

实践中,云计算环境下的数据存储体系,主要包括数据中心、云服务接口、云用户以及服务协议等内容,其中数据中心主要由存储管理、分布式文件系统以及存储设备等构成,同时它也是云计算环境下实现数据存储的基础。云存储设备通常没有特殊的规定的类型,既可以是个人PC,也可是企业发展过程中所应用的专门存储设备,甚至是二者的结合体。分布式文件系统,即文件系统管理中的物理存储资源是通过网络节点之间相互连接的,该系统的设计主要是依据客户机、服务器模式。

2.1 服务器架构

云存储体系构建之前,应当先构建云存储服务器架构,它是云计算IAAS中重要组成部分,可通过多样化的架构技术实现,常见的是附网存储(NAS)以及存储区域网(SAN)。

NAS属于分布式架构系统的文件存储系统,是一种松散结合型集群,实践中可有效满足以云存储为主体的环境要求,而且在该系统集群中,任何一个节点都是相对独立的实体。在此系统中,最小单位即为文件。当文件被保存在该集群之中时,其数据信息会被有效地保存在集群中的特定节点上,虽然文件副本很多,也可能会被重新定位到另外的节点上,从而形成冗余,但该节点提供的文件单实例却是唯一的。下图为NAS存储架构示意图如图1所示。

实践中可以看到,SAN为集群架构块存储系统的一种,即为紧密结合型集群系统。当文件请求产生时,每一个节点都会访问该文件中的不同数据块,并对用户的请求进行及时的处理。用户请求越多,SAN响应请求可用节点数量就越多,此时其性能也就越强。实践证明,该存储架构比较适合于云服务器,而且其可扩展性非常的好,数据传输效率较高,若配合P2P以及重复数据删除技术使用,可有效满足一级存储要求。

2.2 服务器之间的数据信息传送

针对当前的存储结构体系,NFS、CIF即为NAS存储系统的数据传送协议,将NFS、CIF作为数据传送口,可实现异构平台间的信息资源有效共享。NFS在Windows客户端加载了NFS客户端软件,这样就可以确保Windows客户端能够有效融入到UNIX基础的计算机网络系统之中;CIF在UNIX服务器上也加载了CIFS服务器端软件,这样就可以使UNIX服务器与本地Windows服务器一样。NFS与CIF,使NAS服务器间形成一个统一的整体,实现了云存储服务的统一化,并且在集群环境下,表现非常的突出。ISCSI也是一种SAN数据传送协议,它可以实现单客户端有效应用程,像本地客户端使用服务器资源一样,操作结果对另外客户端不透明。

3 结束语

云计算作为一种典型的现代计算模式,拥有较大规模的数据集,可向广大用户提供最优质的服务。云计算环境下的数据存储,采用的是冗余存储方式来确保存储数据的安全可靠性,未来云存储将向着安全性、共享性以及便捷性方向发展。

云计算基础技术范文5

随着云计算技术的不断完善,为了促进大数据处理系统的功能多样化,云计算技术在大数据处理系统上得到了广泛的应用。本文重点研究了在多元因素的影响下的数据模型对大数据处理的影响,并据此提出了一种基于融合思想,采用了混合架构以及分散处理的云计算环境下的大数据处理系统的整体部署策略。

【关键词】云计算 大数据处理 融合处理

1 引言

随着网络技术的发展,以及智能设备的普及,当前的数据增长速度已经呈现爆炸式增长,大数据时代已经来临。目前专家对大数据处理系统方面的研究主要是基于云环境下的分布式部署以及网络架构的融合和动态实时数据处理这三个方面。同时也取得了一定的研究成果,对于当前的云计算环境下的大数据处理系统的发展提供了很多理论和实践基础。

2 基于融合思想的大数据处理方案分析

云计算技术模式下,人机交互和数据处理以及网络逻辑处理技术等都相对交融,处于深度融合状态。因此基于融合思想的大数据处理方案就是以融合思想为核心,将云计算技术模式下的各种分散的网络资源进行协同组织,然后再进行融合,从而充分发挥分散状态下的资源优势,形成一种整体性的比较优势,因此这种融合式的大数据处理方案的应用前景十分广阔。

在云计算技术模式下,大数据处理研究更多的着力点放在了大数据处理系统的构建、分散资源的协同以及相关的辅助技术等。从宏观角度来看,可以氛围内混合处理和混合管理两个方面。其中混合管理的核心就是研究各种无线以及有线的处理机制和数据共享、资源共享机制的管理,同时还包括了分散数据管理机制和协同机制管理等。而混合处理的研究核心则是着力于系统运行模型和相关辅助技术上。

3 大数据处理系统的应用和处理系统分析

3.1 大数据处理系统的应用

大数据处理系统的应用主要包括三个方面:

(1)基于融合式架构的应用。这实际上就是一种客户机/服务器架构模式,其中服务器主要负责应用系统的管理和控制以及相关应用的逻辑处理和数据调度等。而客户端则是专门进行人机交互,当用户想要执行数据处理分析人物时,通过客户机向服务器发送请求,然后有服务器完成并返回给客户端。这个融合式架构相对简单,且容易维护,但是服务器功能有着极高的依赖,这也往往成为数据处理系统应用的瓶颈。

(2)分散式架构。这种架构的特点就是协同控制的节点都是平等地位,并且和处理系统有关的控制和管理模块都是分散在各个客户端上。客户端拥有一定的自治属性,因此具有通用性和灵活性和可扩展性等诸多优势。但是由于数据采用分布存储和分布操作,这样在维护方面就变得较为困难,而且节点之间的实时同步和用户动态注册的应用也难以实现。

(3)混合式结构。这种结构拥有前两两种结构有点,通过服务器实现数据信息的统一维护,而客户端一方面实现信息传输功能,同时也能够和用户在某些应用方面进行充分的交互,因此能够有效减轻服务器端的压力,这样也能够消除服务器端的瓶颈。提升系统的鲁棒性和灵活性。

3.2 云计算技术下的大数据处理系统具体分析

3.2.1 系统架构

云计算技术环境下的大数据处理平台的节点主要体现下面几个特点:其一是节点分散性;其二是数据处理动态性;其三是数据来源混构性。

这个处理平台架构采用了融合式的调度执行层和任务融合调度管理,并根据处理规则和不同的参数来调整处理引擎的数据和算法组合以及计算资源。对大数据资源的数据交互和任务分工工作进行了有效融合。同时在管理层,也对业务数据进行分布式存储,提升了容错处理能力。

3.2.2 系统处理流程

系统处理流程主要是对分散状态数据进行处理,其关键就是对分散的数据进行提取,因此首先给其他应用提供数据接口。然后数据管理部分要融合数据资源,并在一定容忍度的基础下,对不同的数据处理机制进行比较,进而优势融合。最后数据处理中心则是对数据进行集中处理,然后统一分配数据资源,从而在数据中心实现数据处理的融合。

3.2.3 处理系统的部署

某信息产业园的大数据处理系统的部署是根据信息企业集群的需求,然后对现有分散数据资源进行挖掘,比如企业内部的ERP和SCM系统中的数据,通过对这些数据进行深度挖掘从而为该企业提供战略发展资源。图1就显示了这个部署图。

从部署图可以看出,在这家企业中,ERP和SCM和CRM是其数据源,然后经过服务器处理之后,分布到n个数据库,然后进行合并进入到大数据管理模块,最终能够实现数据查询和数据决策服务。

4 结语

总而言之,目前采用融合式思想,在云计算技术条件下,对大数据处理系统进行部署的研究相对较少,特别是当前的信息产业,由于其自身的解决方案并不能够实现大数据条件的比较优势,所以本文提出的融合式的大数据处理技术,有效的提升了数据利用深度,拓展了大数据处理系统的应用范围。

参考文献

[1]于戈,谷峪,鲍玉斌,王志刚.云计算环境下的大规模图数据处理技术[J].计算机学报,2011(10).

[2]程苗基于云计算的Web数据挖掘[J].计算机科学,2011(S1).

云计算基础技术范文6

云计算的研发和应用为初中信息技术教育提供了广阔的发展空间,有效解决了初中信息技术教学中的各类问题。文章简单概述了云计算,分析了云计算在初中信息技术教育当中的具体应用,旨在为提高初中信息技术教育水平提供若干建议。

关键词:

云计算;信息技术教育;应用

云计算是近些年来人们提出的新概念,云计算出现至今仅10年。此技术虽新颖,但却着实改变着人们的生活和工作方式,促进了社会的发展。云计算具超强计算能力和存储能力,广泛应用于各领域并发挥着非常重要的作用。现初中信息技术教育也正受云计算影响,逐步发生着微妙的改变。

一、云计算概述

云计算是一种分布式计算技术,其最基本的概念是,利用网络将庞大的计算处理程序自动拆分成若干个较小的子程序,并将这些子程序交由多个服务器所组成的庞大系统进行处理,经搜索、计算、分析之后再将处理结果反馈给用户的一种新型计算技术。云计算基于集分布式处理、并行处理和网络计算而发展起来的。总体而言,云计算的特征主要体现在以下方面:第一,数据存储量大且安全、可靠;第二,用户端设备要求相对较低,比尔•盖茨曾说,利用云计算之后,用户端内存只需640K就足够了;第三,信息共享,数据在保存至云端之后,设备只需联网便可随时访问和使用云端数据,同时还可共享此数据;第四,计算能力超强,据分析,云计算或为普通用户提供10万亿次/秒的计算能力,以完成用户所需;第五,成本较低,计算机具强容错性,用户可根据自身需求以极其廉价的节点来完成云端设计,同时云端的自动化集中式管理还可有效提高资源的利用率,为用户节省成本。

二、云计算在初中信息技术教育中的应用

(一)实现教学的即时性和共享性

云计算可实现收藏夹的随身携带,使用户在任何时候、任一电脑上都可以调出自己的网络收藏夹,同时还可合并用户网络收藏夹和本地收藏夹,方便用户随时查看自己所收藏的信息和资料。云计算还可实现输入法和演示文稿的随身携带,在进行信息技术的教学过程当中,教师可随时调用自己的输入法和演示文稿,利于用户的个性化学习。此外,在云计算基础上研发的WPSOffic软件还为用户提供了信息的在线编辑功能,教师及学生可随时编辑和保存更改后的文档,有效实现了初中信息技术教学的即时性和共享性。

(二)丰富初中信息技术教学资源

在进行初中信息技术课堂教学时,受各方面因素影响,教师可为学生提供的用于制作作品的素材有限,导致学生选择存在很大局限性,制作出来的作品也都大同小异,无法体现学生个性和独特思想。云计算可有效丰富初中信息技术的教学资源,教师可利用云计算,结合课程内容和学生特性寻找很多网络资源,为学生提供更多制作素材和选择机会,从而加强学生作品的个性化。同时,教师还可利用网络完成授课,实现信息技术的网络化教学,以动态的方式授予学生信息技术知识,一方面激发了学生学习兴趣,另一方面也提高了授课效率。此外,利用云计算还可实现信息和资源的跨平台分享,利于教育资源分布不均问题的解决,为教育的发展拓展了新道路。

(三)利于数字化图书馆的建立

为保证图书馆数据资源的安全,图书馆的服务器通常会设置最大接入终端数量。云计算的“云端”相当于一个巨大的服务器群,其带宽大、计算能力强且具容错性,用户利用云端可迅速找到所需资源,且用户请求可迅速得到反馈。云端还可为用户提供个性化服务,让用户依自身需求建立自己的图书馆,实现图书馆的移动化,使学生学习不受时间、空间限制。此外,因云计算的容量大、计算能力等优势在一定程度上延长了学校网络和信息的硬件设备的使用寿命,有效降低了学校的设备更新成本。

(四)病毒库可随身携带

初中信息技术教师不仅承担着授予学生信息技术知识的责任,而且还承担着一定的电脑系统维护工作。为保证学校系统安全,学校每台电脑都需安装防护系统和杀毒软件,而当病毒库需要更新时,需先解除防护系统才能对病毒库进行升级,进而实现系统保护。此工作复杂且繁琐,占用了教师大量工作时间。利用云计算则可实现病毒的随身携带,只需将新的病毒库程序上传至云端,需要升级时直接进入云端提取即可,而无须将电脑上病毒库升级就可完成杀毒过程。另,云计算还可实现演示稿、输入法、收藏夹等的随身携带,同时还可通过建立网络收藏夹的方式将常用网址随身携带,便于学生自主学习,实现了学生的个性化学习。

三、结语

云计算为初中信息技术教学提供了关键性软件,有效降低了初中信息技术教育的软硬件成本和计算机维护成本,同时也为学生创造了一个良好的学习环境。在实际教学过程当中,教师要充分认识到云计算对于初中信息技术教育的重要性和作用,充分利用云计算技术,以提高初中信息技术教育的效率和效果。

作者:戴亚萍 单位:湖州市第五中学

参考文献:

[1]黄祖苗.云计算在初中信息技术教育中的应用评价[J].教育教学论坛,2015,(8):231-232.