前言:中文期刊网精心挑选了云计算的研究方向范文供你参考和学习,希望我们的参考范文能激发你的文章创作灵感,欢迎阅读。
云计算的研究方向范文1
见到阳振坤是在一个阳光明媚的上午,瘦高个,简单的条纹T恤,脚蹬运动鞋,装着电脑的黑色背包已显陈旧。他是坐地铁来的,从北京北五环的家到东三环的公司,来回两个多小时,每天如此。
典型的技术人员的范儿。
“我的手机就是在淘宝上买的。”说起淘宝,45岁的阳振坤晃起了手里的手机。
5月中旬,阳振坤成为淘宝1400多名技术人员中的一员。他在淘宝网的主要工作,是设计和开发面向淘宝网的海量信息存储与实时检索系统,优化和提升淘宝网的软件基础设施。
“淘宝最吸引我的地方在于,它拥有一个全国最大、在全球排名也非常靠前的海量数据库,它的海量数据的挖掘、共享和开放,对技术人员而言是一个巨大的挑战。”阳振坤说。
2010年3月31日,淘宝网正式宣布,面向商家、企业及消费者开放来自淘宝全网的海量原始数据。截至8月20日,淘宝上的近两万卖家开始通过淘宝的“数据魔方”进行参考决策,140天的时间总计数据调用260万次。对如此海量的数据的解读,无疑需要一个极大的云计算平台去支撑――于是,对相关人才的需求更是迫在眉睫。
阳振坤正是那种人。
一个不断破格的人
淘宝是阳振坤经历的第5家公司。在此前,他历任方正技术研究院副院长、北大计算机研究所副所长、联想研究院首席研究员、微软亚洲研究院主任研究员、百度高级科学家。
他的经历是令人羡慕的。1984年考入北京大学数学系,硕士师从本系的张恭庆院士,后又转向计算机领域,博士师从计算机系的王选院士。1993年博士毕业后不久,即破格提拔为计算机系副教授。
需要强调的是,阳振坤修完大学课程只用了3年,硕士只用了一年多,24岁就成为王选老师的博士生。在读博期间,阳振坤就担任栅格图象研究室的主任,领导一批青年科研骨干,于1993年完成了国内第一个支持电子出版系统标准PostScript Level 2的栅格图象处理器,并很快商业化,在海内外大量销售,取得了巨大的社会和经济效益。1995年方正电子出版系统获国家科技进步一等奖,阳振坤位列第四。
已故中科院院士、北大方正科技研究院院长王选老师这样评价他:阳振坤研制了我国第一个页面语言解释器,在新一代RIP(路由信息协议)的总体设计、软件结构、关键算法等方面作出了关键性贡献。
尽管在电子出版领域获得了许多荣誉,但有着强烈忧患意识的阳振坤却并不满足于此。“我也迷茫过。”阳振坤说,大学时他原本以为,选定一个合适的研究方向,就一辈子钻研下去。但上博士后,逐步接触到一些国外学者,发现他们其实并非大多如此,更倾向于选择有益于社会发展的研究方向。
从此,阳振坤更加注重研究方向的价值。“1999年,王选老师就建议我,能不能去做信息安全方向的研究。当时,信息安全的重要性也已经凸显出来了,我就同意了。然后就钻到信息安全领域做了3年研究,现在信息安全是北京大学计算机科学技术研究所最重要的方向之一。”
而到了2002年,阳振坤再次决定转变方向,加想研究院担任首席研究员,负责无线通信领域的研究,他花了3年的时间,使得联想的无线关联投影仪从原型到小批量最后量产上市。
“2005年,无线投影仪产品成熟了,我又开始寻找新的研究方向。这时我第一次接触到Google的GFS和MapReduce等云计算的基本思想,一下就被吸引住了。”阳振坤说,“在当时,处理几百个GB的数据就很吓人了,但通过云计算,你可以轻易处理几百TB的数据,也不需要让每个人都去学并行计算或分布式计算。”
2006年,阳振坤去了微软亚洲研究院,担任主任研究员。“当时,微软研究院对云计算方向有一定的支持,我对云计算有了比较深刻的理解;2007年秋天,我加入百度,在百度的两年多时间里,我有机会把云计算提升到生产使用阶段,也体会了云计算在海量数据处理领域的巨大价值。”
理想要结合现实
2010年5月,阳振坤正式到淘宝上班。
在对外的新闻稿中,淘宝这样描述:“阳博士是我们期待已久的人才,在系统设计和实现、海量信息处理、算法设计等诸多方面都有着非常丰富的经验。深信阳博士和团队通力合作,一定能为淘宝网打造一个高性能、高可靠、低成本、面向大流量大规模电子商务的专用计算平台,为支撑十亿消费者、十万亿交易额提供所需要的基础技术。”
加入淘宝之后,相比以前长居北京的工作,阳振坤要北京、杭州两地跑,“这星期在北京,下星期就在杭州。”每当去杭州的那个星期,阳振坤总是赶周一早上8点的飞机去杭州,再坐周五晚上的飞机回北京,利用周末陪陪家人。
但他乐此不疲,他知道身上的责任――淘宝的数据已经远远超过了单个关系数据库所能支撑的最大规模且仍然在快速增长之中。“对淘宝来说,研发海量数据库已经不仅仅是出于成本的考虑,因为,如果不采取这些技术,可能很快无法支撑下去。”阳振坤说。
但是,“海量数据库在业界并没有成熟的解决方案”,他坦言,在淘宝做海量数据库,与许多其他企业一样,最大的压力来自于,如何尽快让团队的同事、兄弟部门的同事理解和信任海量数据库的技术方案,并在最短时间内完成研发,以支撑业务的快速发展。
“企业毕竟不像高校或科研院所,可以花好几年,甚至十年八年的时间研究一个了不起的系统,而是要在最短的时间内,做出一个最适合目前业务的系统。”虽然有十几年的高校研究员经历,但阳振坤却很注重结合眼前利益和长远利益。“马总不也说过,做企业要把理想主义和现实主义高度结合,没有理想主义不能走向未来,没有现实主义就活不过今天”。
尽管压力很大,阳振坤仍对未来充满信心,这个信心来自于淘宝开放的文化、淘宝的强凝聚力,以及有长远眼光的管理层和优秀的工程师。论年龄,在淘宝,阳振坤算“老人”,和他共事的技术人员,多半是“80后”,和45岁的阳振坤隔了两个10年。“淘宝甚至已经开始有“90后”的技术人员了,和他们在一起工作感觉非常棒,大家都很有拼劲,知识面也能相互补充。”
云计算的研究方向范文2
【关键词】大学计算机基础 基础教学 改革
【基金项目】2013年云南大学旅游文化学院“独立学院非计算机专业大学计算机基础‘1+X’分层教学改革研究”(项目编号为:2013XY03)。
【中图分类号】G64 【文献标识码】A 【文章编号】2095-3089(2016)04-0210-01
随着科学技术不断的提升,促使计算机技术也在不断的发展,因此,在大学教学的过程中,计算机基础教学就成为其教学的重点内容。在我国大学计算机基础教学发展的过程中存在一定的问题,这些问题的存在影响了我国大学教育中计算机基础教学的质量。
一、我国大学计算机基础教学存在的问题
(一)缺乏教学方法的创新
目前,高等高职院校计算机基础教学方法比较单一,部分院校还停留在黑板教学、填鸭式的教学方式上,这种单调的教学方法只会造成学生们理论性和机械性记忆。这样的教学会导致学生被动的接受知识,降低了学生学习的自主创新能力,很容易遗忘,也很难运用到实际操作中,从而影响学生学习成绩。由于计算机软件版本的不断更新,新的操作方法和软件不断涌现,所以在计算机基础教学的过程中会遇到各种各样的难题。缺乏改进创新的教学模式不但不利于培养学生的创新探索能力,可能还会让学生们失去学习计算机的兴趣,无法应对不断更新的计算机技术。
(二)教学内容落后
在高等高职院校计算机基础教学当中,软件的更新替换速度越来越快,而部分高职院校计算机基础教学内容明显落后于计算机的发展速度,教师和学生所使用的教材和大纲多年未更新,不能满足学生的学习需求和技术创新水平的提升。目前大多数高等高职院校计算机基础教学大多以Windows/office的教学为主,部分学校在此基础上开设了Visualbasic,C++等程序和语言,不过这些程序都比较陈旧,也多年未更新,脱离了社会对计算机水平的要求范围,严重影响了学生对计算机课程的掌握程度和应对能力。
二、大学计算机基础教学改革的措施
本文主要针对云南大学旅游文化学院中《计算机基础(二)》的教学改革进行相应的研究。研究主要侧重于教学内容、教学方法、学时安排及考核方式等内容。
(一)教学内容改革
《计算机基础(二)》课程主要针对于我院4个系开设,分别为经管系、会计系、旅管系、文新系。该门课程原统一以Visual?鄄foxpro程序设计为主,但根据各系各专业发展需求、社会需求及计算机考级需求,计算机公共课教研室将《计算机基础二》的教学针对不同系开设不同课程。针对会计系开设以access为主的课程,主要体现学生应用数据库的能力,为今后学生参加工作使用各类信息系统奠定基础,同时也能参加全国计算机二级――Access的考试。针对经管系、旅管系、文新系开设以MS Office高级应用为主的课程,主要体现学生能够独立正确使用办公软件的高级技巧完成复杂办公业务问题的处理,同时也能参加全国计算机二级――MS Office高级应用的考试。
(二)教学方法改革
为了培养学生实践操作能力,对于2门课程的教学方法进行如下改革:
1.MS Office高级应用课程
该门课程教学内容为word、excel、powerpoint的高级应用,主要使学生能够掌握3个软件的高级应用技巧,从分析问题开始,能够利用3个软件完成办公业务的处理,侧重于学生的应用及设计思想。因此本门课程主要于案例驱动教学为主要教学方法,选取日常工作生活中的相关案例,教师带领学生先对案例背景、特点、使用范围及需要使用的办公软件技巧进行分析,然后由学生根据分析结果自由设计,完整最终效果。学生在设计处理过程中遇到的问题可由教师进行辅助解决。
2.Access数据库技术
该门课程教学内容为access数据库的应用,主要使学生掌握access数据库对象的操作,并能熟练应用,为今后工作学生接触到的各类信息系统做准备,因此本门课程的教学方式为边讲边练,教师把新知识点讲授完成后,给学生大量的练习实例。学生在练习过程中遇到的问题由教师进行辅导解决。
3.学时安排
《计算机基础(二)》是一门3学分的公共基础课,原学时安排为2学时理论(2学分)+2学时上机(1学分)。为了提高学生动手能力,培养应用型人才,现将学时安排为1学时理论(1学分)+3学时上机(2学分)。因该门课为大班教学,理论课安排1名老师进行教授,上机课安排2名教师进行学生辅导。这样将原来以教师教学为主,学生为辅的教学方式更改为以学生实践为主,教师讲授为辅的教学方式。
4.考核方式改革
针对MSoffice高级应用课程而言,该门课程的考核分为2部分:日常教学项目考核(50%)+期末上机考核(50%)。日常教学项目:计算机公共基础教研室针对本门课程3个软件设计了4个综合案例,分别为Word部分2个,excel部分1个,PowerPoint部分1个。这4个综合案例需要学生将每堂课上实例熟练练习掌握后才能完成,因此学生必须每堂课认真完成布置案例并熟练掌握。日常教学项目的考核由任课教师根据本班授课进度及情况随堂安排考核。
期末上机考核:以全国计算机二级MSoffice高级应用题目为要求,采用机试闭卷,定于18周进行考试。
针对Access数据库课程而言,该门课程考核也分为2部分:日常教学项目考核(50%)+期末上机考核(50%)。日常教学项目根据教学进度,按章节知识点进行3次小测,将平时成绩提高,取消期中考试。
综上所述,在我国大学计算机基础教学的实施过程里,相关的教研组要不断的对其教学方法以及教学的内容进行相应的研究,进而对其教学的质量进行相应的提升,这也是大学计算机基础教学改革的发展方向。相关院校只有对这些工作进行相应的完善,才能进一步提升学生们对计算机学科的兴趣,进而促进其在教学过程中又好又快的进行操作,从而对我国社会型的人才进行高质量的培养。
参考文献:
[1]孙淑霞.地方高校大学计算机基础课程改革的探索与实践[J].中国大学教学,2014,04:59-62.
[2]金智. 关于大学计算机基础教学改革和实践的探讨[J]. 长沙医学院学报,2008,02:65-67.
[3]黄霞. 大学计算机基础教学改革探讨[J]. 湖南科技学院学报,2011,04:59-61.
作者简介:
丁爱芬(1985-),女,汉族,云南曲靖人,本科,讲师,研究方向:计算机应用。
周华君(1984-),男,汉族,湖北襄阳人,本科,讲师,研究方向:算法设计,信息安全。
云计算的研究方向范文3
>> 基于B2C电子商务的供应商评价与优化 云计算平台下物联网助力B2C电子商务的策略分析 物联网技术对B2C电子商务模式的影响分析 物联网技术在B2C电子商务配送运输中的应用 B2C电子商务仓库拣货路径优化策略应用研究 基于云计算的B2C电子商务企业价值链优化 基于用户体验的B2C电子商务物流配送策略探析 基于B2C电子商务的供应链融资模式探析 浅析B2C电子商务企业的运营与营销策略 B2C电子商务存在的问题与对策 B2C电子商务存在的问题与对策分析 B2C电子商务审计探析 B2C电子商务营销策略探讨 B2C电子商务发展策略研究 虚拟试衣间在B2C电子商务中的推广应用 互联网对B2C电子商务下物流模式的影响 基于J2EE的B2C电子商务系统的设计与实现 对中国B2C电子商务市场的细分 应用第三方B2C电子商务平台的审计探析 B2C电子商务发展策略与服务模式研究 常见问题解答 当前所在位置:[EB/OL];2014年5月25日。
基金项目:本文是武汉市教育局2010年市属高校科研立项课题“基于物联网的B2C电子商务应用研究”(课题编号:2010116)的阶段性研究成果。
作者简介:
1.张健(1981―),男,管理学硕士,武汉商学院商贸物流学院专职教师,主要研究方向:电子商务应用、电子商务教学。
云计算的研究方向范文4
关键词:云计算技术;电信经营分析系统;海量数据;分布式存储、 SMB-DP算法;AGB-ETL算法
中图分类号:TP311.13
随着信息技术的高速发展和普及,各个领域都积累了海量的数据并且还在迅速增长,数据量动辄以Tbyte计。海量数据持续消耗着计算机软硬件资源,资源的无限制扩张,使得单个计算机无法承担起相应的重任。目前电信行业在数据分析的支撑方面注意面临三个突出的问题,一是电信业发展到今天,历史数据的存储需求和电信业务量的不断增大,电信运营商的数据已经变成海量,中等规模的省级移动公司,每天的数据增长已经达到2-3TB,如此海量的数据需要计算机具有极强的处理能力和足够大的存储空间;二是各级运营商都是各自为阵,配备硬件设备和存储数据资源,造成了计算资源和存储资源的严重浪费;三是现有的数据库查询功能已经满足不了电信行业竞争日益激烈的决策支撑和服务。电信经营分析系统(BASS)作为电信业务支撑系统的一个主要支系统,数据的分析处理和挖掘对电信业务的发展起着重要作用,利用云计算平台,整合优化资源,形成具有超级计算能力的资源池,提高资源利用效率,处理数据并为用户提供服务。
1 经营分析系统概述
1.1 经营分析系统简介
电信经营分析系统是电信运营商的核心系统之一,通过对底层数据的抽取、处理、装载,实现数据的界面化展示,主要展示公司KPI指标,满足企业决策需求和业务支撑发展的需要。
电信BASS采用两级系统架构,由位于集团公司一侧的一级BASS和位于省公司一侧的省级BASS共同组成,两级系统之间通过一定数据通信网进行数据通信。如图1所示。
1.2 电信BASS面临的不足和挑战
目前电信BASS系统还是以指定数据库服务器为载体进行数据的运算和装载,但由于业务发展的需要和对数据分析要求的不断提高,目前BASS系统主要面临以下几个突出的问题:
(1)依靠单服务器存储数据的模式已经不能适应海量数据的急剧扩张,无法承载如此高的数据量。
(2)海量的数据源无法做到资源共享,经典的数据分析案例很难被借鉴和参考。
(3)服务器一旦出现故障,经分系统将会立即瘫痪。
(4)底层数据的存储和导入目前还需人工处理,因人工导入数据需要一定的周期性,所以无法满足经分系统实时访问最新数据的需求。
1.3 电信BASS海量数据产生的原因
为了适应通信业日益发展的需要,电信BASS系统面临着海量数据如何高效存储和处理的挑战,电信BASS海量数据产生的原因如下:
(1)现有数据随着时间的推移和业务的发展,数据信息每天都在不断增加,如客户资料信息,语音通话信息,短彩信发送信息,数据流量信息等。运营商需要将这一系列数据进行数据挖掘,提取有价值的营销资源信息,为业务发展提供更好的决策支撑。
(2)运营商期望充分运用已有历史数据挖掘新的商业契机与营销机会,也就意味着历史数据将会为运营商提供大量的潜在价值信息,历史数据中往往蕴含着有利用价值的潜在市场发展规律、包括市场发展的潜在危机和市场发展的重大机遇,因此需要将大量历史数据进行长期保存。
2 云计算的特点
(1)超大规模集群:集群可以将本地及异地的计算机资源有效的整合起来,形成具有一定规模计算能力的资源池,提高设备计算能力。
(2)分布式存储:大量的数据信息存储在云端物理位置相互隔离的主机当中,提高了数据的存储性能、安全性能和容灾备份性能。
(3)高扩展性:云端计算集群的规模可以动态伸缩,按需提供服务,实时满足计算的需求。
(4)低成本:云处理实际上是大幅提高云端设备的处理性能,客户端的处理性能则要求不是很高,对企业来说,无疑大幅减少了成本支出。
3 基于云计算技术的经营分析系统
基于云计算的经营分析系统不但改变了以往依靠单一服务器存储、计算的服务模式,而且提高了资源的利用效率和节约了企业成本,涉及的关键技术主要包括数据存储、数据管理、编程模式等,解决的主要问题是海量数据如何存储、海量数据如何索引和定位,海量数据如何抽取、海量数据如何更有效的运算。
3.1 海量数据存储技术
通过分布式的异地存储是解决海量存储的有效方法。云计算技术发展到今天,目前数据存储技术主要有Google的GFS(Google File System)和Hadoop开发团队开发的GFS的开源实现HDFS(Hadoop Distributed File System)。
(1)Google 的GFS。GFS是由Google设计并实现的一个分布式文件系统,其中包括数据的存储、管理、定位等多层面,其主要框架架构是把大量安装有Linux操作系统的普通PC形成一个具有庞大的存储处理能力计算机集群,分别有控制节点和存储节点构成。
(2)Hadoop的HDFS。HDFS采用管理节点/存储节点架构,如图2所示。一个HDFS集群由一个管理节点和一定数目的存储节点组成。
GFS与HDFS技术有效地将异地计算机资源整合在一起,形成具有超大存储容量的计算集群,同时,为了优化系统的性能,提高资源的数据利用率,需要对数据进行并行处理,目前省属各地州运营商的存储系统都是各自为阵,独立存储,信息的存储效能不但低下,而且在信息共享方面和信息处理速度方面存在瓶颈,云计算的分布式存储技术将能够有效解决面临的这一突出问题。
3.2 海量数据管理技术
要高效管理和处理大规模数据集,首先必须解决如何在庞大的数据中心定位所需数据的问题。如何能够快速在异地分布的存储节点上找到所需的数据,提高数据管理效率是面临的又一突出问题,目前电信BASS经分系统主要采用互动管理来实现对经分数据的调动和管理,主要还是通过ETL调度管理和服务管理两个方面来实现,ETL负责数据的抽取、转换、装载,服务管理负责数据访问的安全和效率。现在这种技术已经不能适应当前业务发展的需要。云计算数据管理技术主要有Google的Big Table和Apache的Hbase等,Hbase是一个分布式的,面向列的开源数据库,它不同于一般的关系数据库,是一个适合于非结构化数据存储的数据库。
3.3 编程模式(分布式运算模式)
Map/Reduce的编程模式是目前云计算的核心和关键。任务如何分解,分解后的任务运用什么技术如何分配给终端去处理是其主要任务,Map/Reduce实际上就是任务分解和任务汇总的集合,在电信行业当中,其实主要是数据的分解和汇总Map/Reduce的工作模式如图3所示。
Map/Reduce的实现机制使得任务如何分解和合并更加流程化,为后续的分布式计算提供了有利的条件。
3.4 海量数据处理模式
(1)现有经分系统中海量数据的一般处理方法。越来越多海量数据的出现,使得现有BASS系统在处理数据的容量存储、处理速度及兼容性方面存在诸多不足,目前数据处理的一般方法有如下几种:
1)通过高效的数据库进行集中处理,如SQL、ORACLE数据,但一旦服务器出现故障,经分系统将会直接崩溃,无法运行,容灾性能较差。
2)高效的SQL语句,由于对数据提取精确性的要求,要从海量的数据表中提取有效数据需要编写更简洁和高效的SQL语句。
3)分类存储。对海量数据按类别进行细分,再对其进行分区存储
4)建立合适的索引。对海量数据进行处理时,需要对数据进行分类、排序、这样在数据提取和处理时能够快速在服务器中定位。
(2)基于云计算技术的海量数据ETL处理算法的改进设计。由于目前ETL算法在对数据的处理和任务调度方面存在诸多不足,本文从以下两个方面进行了改进和处理,一是通过借鉴Map/Reduce原理,将其充分运用到ETL的数据抽取环节,从而做到数据处理更高效,(简称SMB-DP)算法;二是对ETL任务调度进行优化,主要是将任务的优先级和任务处理时间考虑在内(简称AGB-ETL)。
整个算法的核心思想是:将原来的多次抽取数据改为一次性抽取数据,通过借鉴Map/Reduce原理对源数据进行拆分,形成多个目标文件,此次过程称之为SMB-DP算法;然后再将这些目标文件的任务优先级及运行时间考虑在内对这些任务进行分配调度和数据处理,此过程称之为AGB-ETL算法。具体如图所示。
SMB-DP算法的基本思想是:将现有ETL处理流程中的多次抽取化成单次抽取,拆分后再进行并行的转换装载等处理。
该算法的实现关键包括单次抽取、对源数据进行拆分和并行转换装载三部分。具体描述如下:
(1)单次抽取。通过关键字段把所要提取的数据源表进行有效的合并。假设A表需要读取“1、2、3、4、a、b、c、d ”8个字段,假设B表需要读取“4、5、6、7、c、d、e、f”8个字段,那么可以一次性将源表所需的11个字段从源表中抽取,然后从中抽取A、B各需的字段,分别保存成两个文件进行存储。
(2)对源数据进行拆分。抽取数据的目的最终是为了拆分数据,通过借鉴Map/Reduce原理,把数据文件按照一定的字段划分后存储的云终端当中。
(3)并行转换装载。对于拆分后形成的多个目标文件,可以采用各种有效的并行处理技术进行并行的转换及装载处理,如将多个目标文件分配到不同的计算终端去运行,有效提高BASS的处理效能。
AGB-ETL算法的基本思想是:以任务优先级和任务运行时间为首要遵循的分配原则,将最需要处理的任务分配到处理时间最少的终端中去,这样既提高了资源的利用率,又满足了任务处理的实时需求,从而达到了资源的优化配置和调度。
目前常用的ETL任务调度算法主要有顺序调度、随机调度和基于贪婪算法的任务调度等三种。
(1)顺序调度:按照顺序将需要处理的任务逐个分配到终端中去处理。这没有考虑任务的执行时间,执行效率比较低。
(2)随机调度:从需要处理的任务当中随机选取任务并随机分配到任务组中,这种调度算法随机性很差,也是没有考虑任务的运行时间和任务优先级,因此处理效率也很低下。
(3)基于贪婪算法的任务调度:相对于前两种算法,这种算法的处理性能和效率有了较大的提高,先通过系统内日志记录算出任务最近几次的运行时间,一般取10次左右,算出任务的平均运行时间进行排序,一般将任务运行时间最长的分配到当前估算执行时间最小的任务分组中,由于没有考虑任务的优先级,因此任务的处理效能依旧不是很完善。
AGB-ETL算法涉及的过程主要是三个方面,描述如下所述:
(1)执行优先级的确定。优先级是根据相关业务规范以及移动BASS实时性处理的需求设定的。首先我们需要设定任务优先级的规范标准,以阿拉伯数字1为最高优先级,以此类推。
(2)估算时间的确定。一般我们会从系统日志中获取每个任务的执行时间。通过查询系统操作日志,获取任务最近N次的执行时间,我们就可以算出该任务的平均执行时间。
(3)处理流程的描述。
1)首先将任务进行调度的判断,如有则加入队列,没有则等待。
2)将任务队列进行排序,排序的原则是优先级从高到低,优先级相同的,再按照任务执行时间从高到低排列。
3)将最需要处理的任务放入执行时间最少的单元当中。
4)更新该任务分组的总估算执行时间。
5)判定任务队列L是否分配完毕。
4 结论
针对电信行业所面临的海量数据处理的突出问题,本文通过对云计算关键技术研究应用,提出了基于云计算技术的经营分析系统对海量数据的处理和优化方法;通过对海量数据存储、海量数据索引和定位、海量数据抽取与处理、海量数据分布式运算等几个方面的研究,特别是对海量数据的抽取和处理,提出了基于拆分机制的海量数据处理算法和改进的基于贪婪算法的ETL任务调度算法,从而对海量异构源数据进行快速抽取、有效拆分和并行处理,可以更加合理地进行任务调度,实现资源的优化处理和按需分配。
参考文献:
[1]杨胜琦.基于复杂网络的大规模电信数据分析研究[D].北京邮电大学硕士学位论文,2010,5.
[2]孙少陵.云计算变革下电信运营商的机遇及中国移动云计算探索[J].移动通信,2010,11.
[3]孔令山.运营商虚拟化实践与思考.
[4]张海涛.基于云计算平台的电信经营分析系统研究.
[5]王金伦,樊秀菊.基于云计算的新一代电信业务支撑系统测评平台的设计与实现[J].计算机应用与软件,2011,3.
[6]秦润锋,樊勇兵,唐宏,金华敏.开源云计算管理平台技术在电信运营商私有云建设中的应用研究.
[7]段云锋.中国移动经营分析系统建设及应用电信经营分析.
[8]毛晓晨.电信经营分析系统中的应用和对策江西通信科技.
云计算的研究方向范文5
关键词:云计算;国土信息;监管平台;GIS
中图分类号:TP315
1 当前国土信息监管平台中存在的主要问题
近年来,我国的国土信息监管平台建设工作取得了重大成就,但同时也存在一些问题,主要表现在以下几个方面:
1.1 单机服务器模式性能不足
面对日益增长的土地数据和更多的用户,传统的单机服务模式因不具备分布式处理能力,而无法满足目前多用户同时访问海量数据时的性能要求。
1.2 影像数据存储成本高
每年的影像数据分别存储到不同的数据库,其中大部分地区的影像基本没有变化,造成数据库中存储了大量的重复数据,造成资源浪费。
1.3 单机存储模式可靠性低
所有数据存储在一台计算机的磁盘阵列上,一旦该计算机上的磁盘阵列中超过2块磁盘发生故障时没有及时更换磁盘,数据将无法修复。
1.4 国土信息监管功能较少
目前的国土信息监管平台受制于单机性能所限,只能实现简单的数据查询,汇总,报表分析等功能,无法实现多元数据叠加显示,网页及移动客户端浏览[1]等功能,因而难以满足未来用户全方位的应用需要。
2 采用云计算提升国土信息监管平台性能的思路
云计算包括虚拟化、存储资源池、分布式计算等技术,目前在世界范围内得到广泛的应用[2],受到广大用户的好评。本文利用云计算的技术特点来解决我国国土信息监管平台当前存在的问题。
2.1 分布式计算提升平台性能
当多用户同时请求获取数据时,利用云计算的分布式计算能力,将用户请求分散到几十台服务器上去处理,这样就避免了单机模式下所有请求拥挤在一个时刻而无法得到及时处理的不利局面,既减轻了网络传输压力,也减轻了单台服务器的计算压力,从而提升了整个平台的性能。
2.2 虚拟化技术降低平台成本
平台采用多台服务器构成集群,对服务器集群进行底层虚拟化,虚拟化技术能够将现有硬件设备模拟成更多的计算机设备,这样做充分利用了所有的硬件资源,减少了设备的浪费,降低了平台成本。
2.3 资源池化存储提升平台可靠性
所有数据分别存储在不同的资源池中,当某台服务器的磁盘A损坏时,其他服务器资源池的磁盘中仍然会有磁盘A上的数据备份,除非所有服务器同时发生磁盘故障,否则数据不会丢失,平台可靠性得到提高。
2.4 强大的云端WEB化,移动化应用
所有数据按照影像数据、矢量数据等分成不同的图层到云端上。其中影像数据分成每年一个图层,土地规划类数据分成建设用地管制区、土地用途区、基本农田保护区等图层,土地利用类数据分为地类图斑、线状地物等图层,行政区划分为省、市、县、乡、村五级。图层间可单独或叠加显示,将云端WEB化后就能让用户在网页及移动设备端上看到灵活丰富的国土信息[3]。
3 国土信息监管云平台建设过程
3.1 云平台总体架构设计
国土信息监管云平台分为数据存储端,GIS服务端和GIS客户端。存储端与服务端之间采用万兆光纤模块连接,使得服务端存取数据的速率达到了万兆。服务端和客户端之间用千兆光纤交换机连接,保证每个客户端都能达到千兆带宽。系统间充足的带宽大大提升了海量数据并发传输时的传输速率。
国土信息监管云平台总体架构如图1所示。
3.2 国土信息监管云平台建设步骤
(1)数据整理阶段:首先对数据进行清洗、转换,使用镶嵌数据集管理栅格化的影像数据,对所有数据制作GIS Catalog(GIS索引)。
(2)数据存储阶段:数据存储到数据库集群中,对所有存储服务器都进行虚拟化并配置负载均衡后建立几个存储资源池,数据最终可由资源池管理。
(3)数据阶段:建立一个GIS服务器云,所有服务器都进行虚拟化并进行网页适配,服务器统一安装GIS SERVER软件,影像数据都经过切片处理后到GIS SERVER云上。
(4)数据应用阶段:云平台所有数据包括影像数据,矢量数据及属性数据后,用户可通过GIS客户端包括PC,移动设备及网页等访问云服务器上的所有资源及应用服务[4]。
3.3 国土信息监管云平台技术特点
国土信息监管云平台相比传统的单机平台,具有以下四个特点:
(1)所有数据“一张图”
传统平台上用户一次只能浏览一个城市的地图,而在云平台上,全省各地市数据通过拼接整合成为一张图,用户可以一次性浏览全省范围内的土地数据,提高了浏览的效率。
(2)历年数据易分析
传统平台上各年数据分别存储在各自的数据库中,对几年内数据分析时需要遍历各年所有数据才能统计出差异。云平台将各年的数据增量式存储到一个数据库中,每年的土地数据变化非常明显,方便用户进行数据分析。
(3)影像数据切片化处理
全省一年的影像数据容量有3T左右,用户在访问平台时的瞬时数据量是非常大的。为此本文对所有影像数据进行了切片处理,即将11个常用比例尺的影像数据提前切片存储在数据库集群上,大大减少了数据传输量和系统处理时间,用户就能最快的获取所需影像数据。
(4)数据安全性高
所有影像数据都经过光栅化处理,数据不易泄露。普通用户只有打印、查询及授权后编辑的权限,没有随意导出数据的权限,系统日志会记录所有人员的使用情况。这些措施都提高了数据的安全性。
4 国土信息监管云平台功能
国土信息监管云平台目前实现了土地规划辅助设计、地籍管理辅助分析、执法监察辅助分析等功能,其他如数据汇总表格输出,专题图制作等功能还在开发中。
4.1 土地规划辅助设计
用户通过客户端能在线进行土地规划利用时所需信息的查询分析。查询界面如图2所示。
4.2 地籍管理辅助分析
以往地籍工作人员需要长途跋涉去某地区实地查看以获取地籍信息,现在通过云平台[5],他们在办公室就能查看某年某月某地区的地籍信息,减少了实地查看所耗费的时间,提高了工作效率。
地籍管理界面如图3,图4所示。
4.3 执法监察辅助分析
在国土信息监管云平台上,用户通过卷帘式对比技术,可以直观的看到不同年份某地区的地理变化,再对比其中差异可以分析该地的实际土地使用情况[6]。土地执法监察人员无需前往某地就能获取监察所需的土地信息,提高了他们的工作效率。执法检查界面如图5,图6所示。
5 结束语
我国的国土资源信息化建设正经历着质的飞跃,与此同时,国土信息监管工作必然也面临着一个从量变到质变的新跨越。而随着大数据时代的到来,云计算技术对国土信息监管平台建设的推动将愈加强烈。因此,新世纪的国土信息监管工作要善于抓住这一历史性的变革,提升其工作效果,以保证国土资源监管工作与社会公平、效率和生态环境保护之间的最佳平衡。本文设计实施的国土信息监管云平台通过引入云计算技术并结合GIS平台[7],实现了更多监管功能,同时提升了国土信息监管平台的整体性能,具有很好的推广应用价值。
参考文献:
[1]林喜庆,朱岩,唐韵.国土资源信息化中应用WebGIS技术[J].科技传播,2012(15).
[2]陈斌,艾浩军,李京生.物联网在国土资源管理中的研究与应用[J].电信科学,2013(07).
[3]彭建斌,何贞铭,王勇.基于ArcGIS的省级国土资源电子政务系统设计[J].地理空间信息,2011(02).
[4]廖一兰,王亚华,孙在宏.基于GIS系统的土地利用数据建库模型研究[J].农机化研究,2006(02).
[5]Permanent committee on cadastrein the European Union. Cadastral information system[EB/OL].Http://moi.gov.cy/dls,2009-05-12/2009-05-18.
[6]陈志刚,蔡辉.RS和GIS技术在土地例行督察实践中的应用[J].中国国土资源经济,2011(12).
[7]Bhat,Muzafar Ahmad,Shah, Razeef Mohd,Ahmad, Bashir.Cloud Computing:A solution to Geographical Information Systems(GIS).International Journal on Computer Science & Engineering . 2011,Vol.3 Issue 2,p594-600.7p.1 Diagram.
云计算的研究方向范文6
【关键词】云计算 VDC 通信展
“创新引领发展,融合成就未来”是2010年通信展的主题,各设备厂家和运营商都尽显其在网络、业务和服务上的最新创新成果。通观整个展会,本届展会不再仅仅是新技术、新产品的推广,新业务逐渐占据展会的重要位置,层出不穷的业务和服务成为未来运营商和设备商向ICT综合服务转型的重点。作为创新性业务应用,云计算、物联网、三网融合这三个近年来炙手可热的话题,设备厂家和运营商在本届通信展上进行了全方面、多角度地展示,给出各自的解决方案,为人们描绘即将到来的美好数字化生活。其中,云计算作为物联网和三网融合发展的基石,在整个ICT未来发展上具有重要的地位,云计算构架在互联网之上,而物联网和三网融合主要依赖互联网来实现有效延伸,因此,云计算模式可以支撑具有业务一致性的物联网、三网融合实现集约化运营。特别是运营商,通过云计算的发展,才能从通道服务中获得更多的投资回报,在高附加值的信息服务领域创造更大的企业价值。
1 众企业开启云计算之门
中国联通展示了VDC(虚拟数据中心)业务和“云超市”的概念,也就是说,可以让用户像去超市买东西一样,只需要挑选自己需要的CPU数量、内存、带宽和租期等,就可以直观的看到价格,提交即可获得服务,简洁快速地得到自己想要的云计算产品,并且可根据智能云开发环境,开发行业和企业应用。同时,智能云终端+VDC成为应用的新潮流,终端无需安装庞大的软件,即可轻松使用各种新业务。在展览会上,VDC演示环节清晰、功能新颖、特点突出、性能可靠,讲解清晰,演示展台吸引了众多高层领导及技术人员长时驻足观看、问询和热烈讨论。
华为在本届通信展中云计算的主题是“云-管-端:信息服务的新架构”,以“云”的方式进行现场演示,展台上的“瘦终端”借助公共网络这个“管道”连接到深圳总部的“云”服务器实现信息和资源的调用。提出“云-管-端”也代表着华为开始努力与运营商一起探索运维变革之路。
中国移动展示了“大云计划”,自2007年3月确定“大云”研究方向后,中国移动在2010年5月正式了“大云计划”1.0版本,利用开源Hadoop系统搭建起云计算的研究环境,目前,该云计算平台已经扩容至1024个节点。“大云计划”是中国移动研究院针对云计算基础设施所进行的关键技术研究和原型系统开发,其目的一方面是为了满足企业内部IT支撑高性能、低成本、可扩展、高可靠性的计算和存储需求;另一方面遵从国际化标准、开放所有API能力,以此构建一个面向公共网络的开放式平台,更好地提供针对互联网的业务和服务。
2 云计算发展方向
纵观各厂家和运营商提出的云计算解决方案,都是为了适应电信未来商业模式转型而提出的,从主流电信运营策略来看,主要有以下几种方式:
(1)向“通信+商业渠道”的转型,优化通道掌控、应用汇聚、终端体验,尤其是客户需求分析,实现产品、服务与需求价值匹配,形成规模经营、快速交付、精确营销的新型渠道能力。
(2)向“通信+媒体广告”的转型,利用丰富的客户需求信息资源,创建数据挖掘分析能力,利用通道与终端交付能力,形成“泛终端”、“富媒体”分众立体式广告模式。
(3)向“通信+信息服务”的转型,利用公众通信网的基础性和安全可信的运营能力,基于宽带通信与云计算技术的发展,形成信息设施、信息生产、信息应用的服务,即“云计算”服务。
(4)向“前+后”收费模式的转型,基于渠道、媒体特征开发后向收费模式,通过降低用户通信与信息费的方式,加快用户发展(快速聚合)、增加使用时间(提高浏览量),增强渠道和媒体效用,提高费、广告费等创收能力。
(5)建立以“客户价值为核心”的运营构架,在原运营构架基础上,增加“业务数据中心系统BDCS”为重要的核心运营系统,以构成电信运营商新的运营构架。
电信企业云计算业务服务应发挥网络和客户优势,转向对业务、平台、客户、界面等商业资源的运营。为了适应向“通信+商业渠道+媒体广告+信息服务”的商业模式转型,在原来通信网络传送、平台接入能力的聚合能力和业务交付、服务支持的运营能力的基础上,需要增加一个重要的核心运营系统,即业务数据中心。从以网络为中心的运营转型为以客户为中心的运营,而通信网络只是实现客户接入业务的通道和用户聚合的手段,各种新商业模式的运营都将基于数据中心对用户信息挖掘,通过特征数据库和商业智能的分析后,通过公众计算通信网络以个性化分众服务的方式传送给客户,使客户得到良好的终端体验。
因此,在网络服务日益趋向于信息服务、信息管理服务的背景下,业务的提供需要大量的计算能力的支持,随着网络带宽的变大,计算能力遍布到整个网络之中,通信技术与业务正在趋向计算技术与应用技术,计算技术与应用正在趋向网络与服务的提供,未来的云计算的发展架构应该具有分布式、智能、开放、统一化的系统特性,能够实现网络智能管理、业务智能开发以及服务智能提供。
3VDC:云计算的核心
随着IT架构正在经历从“以网络为核心”向“以数据为核心”的转变,业务数据中心成为重要的核心运营系统,在互联网广泛应用的大背景下,各行业业务数据类型正在发生着巨大的变化,IDC(互联网数据中心)也正向VDC(虚拟数据中心)转变。同时,大量数据的绿色存储被提升到前所未有的位置,存储系统作为IT架构核心组成的地位得到空前强化,成为海量数据存储的基础载体。如何高效管理数据中心的数据、轻松实现对数据的访问、同时又能保证数据的安全是所有数据中心管理者关心的问题。
VDC是指采用了虚拟化技术的数据中心。当前,虚拟化在数据中心发展中占据越来越重要的地位,虚拟化概念已经延伸到I/O、桌面、统一通信等领域,不仅仅包括传统的服务器和存储的虚拟化,还囊括I/O虚拟化、桌面虚拟化、统一通信虚拟化。
数据中心的虚拟化有很多的技术优点:可以通过整合或者共享物理资产来提高资源利用率。调查公司的结果显示,全球多数的数据中心的资源利用率在 15%~20%之间,通过整合、虚拟化技术可以实现50%~60%的利用率;通过虚拟化技术可以实现节能高效的绿色数据中心,如可以减少物理设备、电缆,空间、电力、制冷等的需求;可以实现对资源的快速部署及重部署以满足业务发展需求。
数据中心的资源,包括服务器资源、I/O资源、存储资源组成一个资源池,通过上层的管理、调度系统在智能的虚拟化的网络结构上实现将资源池中的资源根据应用的需求分配到不同的应用处理系统。虚拟化数据中心可以根据应用的需求让数据中心的物理IT资源流动起来,更好地为应用提供资源调配与部署。
相对于传统IDC业务,VDC的应用将带来以下变化:
(1)建设模式上的变化:传统IDC以物理节点为单位建设,VDC可以分步在不同的物理节点;
(2)业务模式上的变化:传统IDC以出租资源为主流业务,VDC以服务和能力出租为主;
(3)网络架构:VDC密度高,并发流量大,对现有网络承载能力提出了更高的要求,是ICT基础资源一体化服务的典型应用场景。
因此,以VDC为核心的云计算解决方案,能够实现基础设施“集约化”,业务管理“专业化”,业务提供“社会化”,服务提供“个性化”,实现“T”形服务能力输出,即水平方向代表由资源集中、能力开放带来的广泛的服务覆盖能力,垂直方向代表专业的业务管理和针对性的精准服务提供能力。
4 结束语
作为未来信息服务发展方向的云计算架构,不仅是ICT的基础架构,更是电信企业发展战略的体现。在原有运营构架基础上,增加VDC作为重要的核心运营系统,通过分布式和虚拟化资源提供方式,构成电信运营商新的运营构架,从基于网元的运维向基于业务的端到端运维转变,整合研究开发、产品制造、网络建设、应用开发和服务提供等各方面,构建更加开放的生态体系和商业模式。
参考文献
[1] 童晓渝,张云勇,戴元顺. 公众计算通信网架构及关键技术[J]. 通信学报,2010,31(8).
[2] 童晓渝,吴钢,张云勇,等. 后电信时代[M]. 北京:人民邮电出版社,2010.
[3] 房秉毅,张云勇,程莹,徐雷. 云计算国内外发展现状分析[J]. 电信科学,2010(S1).
【作者简介】