前言:中文期刊网精心挑选了互联网技术管理范文供你参考和学习,希望我们的参考范文能激发你的文章创作灵感,欢迎阅读。
互联网技术管理范文1
我国已经对运用于数据管理的通信及互联网技术有了很长一段时间的实践,人们已经普遍接受了通信及互联网技术对于数据管理的重要性。大小企业都已经逐步增添计算机硬件设施,更重要的是普遍使用了互联网技术,这与目前互联网的普及程度有比较紧密的联系。尽管人们对新技术支持下的数据管理已经步入正轨,但是不少数据管理人员多通信及互联网技术的理解依然停留在基础阶段,并没有从深层次去剖析该技术应用于数据管理的具体情况,这样就使得数据管理工作停留在机械地存储数据阶段,缺乏必要的创新过程。数据管理中应当清楚地认识形势,明白信息时代的日新月异,为未来简化、优化数据管理工作打好基础。企业管理人员是企业发展的核心决策者,管理人员对通信及互联网技术的理解将直接影响整个企业对该技术的理解,从而对某些概念的应用仅仅停留在照学照搬的层面,缺乏必要的匹配工作,管理工作的效率无法得到大幅度提升。
2)加强人才考核,注重人才培养
目前数据管理中缺乏专业性人才,其中互联网技术人才最为紧缺。目前从事数据管理工作的员工大多对数据管理有着丰富的工作经验,但对互联网技术的掌握十分有限,一旦互联网出现问题,员工无法及时修复问题,就会使数据管理工作受到严重的影响,可能会使数据泄露,给运营商带来巨大的经济损失。当前从事数据管理的工作人员对互联网的理解比较浅显,一方面没有将互联网的作用完全发挥出来,另一方面没有能力挖掘互联网的潜在优势,限制了新技术运用于数据管理的前景的发展,数据管理工作效率始终较低。人才是企业发展的中坚力量,数据管理同样也需要有良好专业素养的专业人才作为支撑,人对新技术和数据管理都有足够的能动性。因为通信及互联网技术设计专业知识较多,对人才的要求将会更高。企业为了优化数据管理工作,就必须定期对数据管理人员进行新技术学习培训工作,并对出勤情况进行考核,使学生更加主动积极地学习深化专业知识,使自身解决实际问题的能力得到提升。工作人员固然可能具有多年的数据管理经验,但是时生了翻天覆地的变化,数据管理方法也变得更加新颖,员工应当主动承担起改变数据管理模式的重任,这就需要加强对人才的培训工作,使员工掌握更多核心的数据管理方法。
3)加强互联网技术在数据管理中的应用
为了全方面的在数据管理过程中运用好互联网技术,首先应当使运营商自身意识到互联网技术对于数据管理的重要性,改变以往对数据管理人员的陈旧观念,运营商一方面应当认识到互联网技术之于数据管理发展的巨大潜力,另一方面也要认识到互联网技术可能带来的问题,对通信及互联网技术实施过程中可能出现的风险进行评估,防患于未然,避免运营商蒙受经济损失。企业应当加强对管理人员的培训工作,培训内容以先进的互联网技术为主,确保数据管理人员掌握最基本的应对紧急情况的能力,对最为常见的故障能够妥善处理。具体的培训工作可以安排具有丰富互联网技术知识的人员组织讲座,也可以把工作人员的培训工作外包给具有丰富实战经验的第三方机构来负责。企业内部还应当招聘专业为互联网技术的人才,组建专门的专家团队,为数据管理献谋献计,确保数据管理能够始终充满活力和动力。企业应当组织专业人才对数据管理的风险进行评估,拟定出完整的融风险评估、风险防治为一体的风险体系,避免重要数据外泄,保护用户合法权益。企业应当清晰地认识到信息泄露对于企业形象的负面影响,间接导致企业遭受沉重的经济打击。互联网技术能够为用户提供不同的业务,并且在不同业务间的兼容问题上处理得相当成熟,用户将同时拥有用户号码和物理号码,对二者的管理能确保用户使用的流畅性。互联网技术还可以对整个网络通信进行整合,便于集中处理,在设备运行工作中,互联网技术还可以提供强大的监控管理,使网络数据的查询更加方便快捷。丰富的互联网技术经验能够确保数据的安全性,因为有强大的加密措施,为数据安全设立防火墙,避免病毒和黑客的侵入。
4)小结
互联网技术管理范文2
1水文档案互联网
水文档案互联网是以互联网技术为基础,以水文站网为依托,将采集、传输、存储、共享、等系统紧密耦合,实现各水文要素实时采集,实现各级水文测站互联互通,形成集中与分布相结合的水文服务网络。[2]1.1开放。水文档案互联网在生产及技术层面的开放性很高,为水文行业、大水文及水利行业、生态建设等提供平台,并且具有普遍实用性的接口端,实现对各水文测站、各水文要素等信息的适应性对接,使得各类水文档案信息畅通无阻。
1.2互联。
水文档案互联网不仅能保障各水文要素监测设备间的互联互通,保障各水文要素采集相互关联,同步采集,而且水文档案互联网能够保证各水文测站与监测中心的互联协调,保证相关水文测站、各系统协同工作。
1.3共享。
水文档案互联网终端存储有大量水文档案信息,拥有大量信息交互设备,水文档案互联网成为各水文测站以及信息节点之间进行数据信息交换的平台,各个节点都有相应的获得信息的权限。客户终端也可以通过水文档案互联网随时随地查询相应数据,真正实现随时随地数据共享。
2“点—网—储”的基本框架
“点”即分布在各条河流及不同区域的各类水文测站,包括雨量站、水位站、水文站等,是收集各项水文要素的场所。“网”不仅是指由各类水文测站组成的水文站网,而且是指连接各水文测站、水情中心、水文档案存储管理中心等互联互通的互联网。“储”即水文档案存储,包括服务器、数据库、客户端等形成的存储系统和机制。
2.1“点”的多要素关联。
各水文要素间是相互关联、相互影响的,降水影响着水量,水量影响着水位,水位、水量关系着防汛安全。在水文测站这个点上布设自动化监测设备,根据各水文要素之间的相关性进行互动,集中采集各水文要素,对各水文要素进行组合,从而为分析单站点的水雨情提供依据。
2.2“面”的互联互通。
各类水文测站组成站网,下游与上游相关,暴雨的面分布影响着上下游水量发展。站点之间的互联互通,各站点与水情中心联通,使得上下政令统一,水文档案能够及时归档整理,保证各类数据的安全。
3“点—网—储”的框架关键技术
3.1站网规划。
站网规划是根据当前及预期内的国民经济等条件和各类水文测站的站别、站类、站网密度以及其控制作用进行测站规划和布设。站网规划根据需要,进行选址、配置仪器、修建设施,为“点—网—储”提供坚实基础。
3.2系统运行及通信。
系统运行需要有专项技术在微观层面上控制各分布式水文测站及分中心,实现用户端各模块的内部自优化、自适应,提高各模块的可控性。在宏观层面上,形成高新技术与传统技术的优化组合。网络通信必须有专项信息交互技术保证信息流在各个模块间的双向自由串联,收集各类水文测站的数据信息并进行初始化分拣和处理,随时随地满足各类用户和部门的初始要求,而把测验来的数据存储至云端信息处理部分。
互联网技术管理范文3
当前的移动互联网技术发展速度非常快,特别是各项相关配套的信息技术也改变了当前人民群众的生活方式。中国人普遍都使用智能型的移动通讯工具,这些也从另外一个角度上说明了移动互联网技术已经深刻地改变了当前整个时代的发展?势。当前很多人都能够采用移动互联网的方式进行网络购物、锻炼身体以及金融理财等。中国的移动互联网使用者,在最近数年之间已经增加了几亿人,他们不仅仅是年轻的一代,也包括了年纪相对比较大的一代,他们对于移动互联网技术的接触和使用,也意味着很多传统行业也需要结合这一类的技术。作为蕴藏着各类相关知识和读本的图书馆,实际上也应该结合这些日新月异的新技术,才能够更加积极地推动移动互联网技术和图书馆服务之间的结合,从而真正意义上让全民进入到一起阅读的时代。
1 当前图书馆服务现状
当前图书馆实际上也是文化建设和宣传的主要阵地,很多读者都是依靠图书馆才能够获取到相关的精神食粮,很多城市和地区也都纷纷建立了相关的图书馆服务中心。文献类的资料在图书馆的服务过程当中有着非常重要的应用价值。而且很多图书馆也在引领时代潮流方面有着非常大的影响,图书馆实际上也是终身学习的一种标志,引导更多的读者进行阅读,通过阅读改变自己的意识形态,这些也都是图书馆非常重要的社会功能。当前图书馆虽然在文化传递和资料的调阅方面承担着非常重要的功能,但是在提供服务方面实际上是明显不足的。当前很多图书馆在提供座位上都出现了供需矛盾,座位相对比较少,但是希望阅读的读者却非常多,这样就出现占位等不良的现象。作为图书馆所能够提供查阅的资料平台也并不多,在一些图书馆内部的资料查询系统终端上调取一些资料也不方便。这些也都充分表明了,当前的图书馆在服务的过程当中,仍然是需要结合一些相关的互联网资料,尤其是在移动互联网技术不断发展的今天,结合更加具备优势的移动互联网技术,推动图书馆服务更进一步优质化,对于当前图书馆的发展而言,也是有着非常重要的价值和积极的意义。
2 移动互联网技术在图书馆管理中的应用
2.1 电子商务式的移动化管理
从电子商务模式角度推动图书馆的移动互联网式管理。图书馆需要线上与线下的管理相结合,而电子商务实际上也是一种线上和线下互相之间结合的方式。如果图书馆的管理模式可以真正调动线上和线下两种不同的资源,那么在管理的过程上就会更加便捷。如果采用在线的支付方式,也可以在网络上预定一些图书馆的服务。这些都是可以通过移动互联网技术来实现的。而从移动互联网的电子商务互动上看,把线下图书馆当中的新书消息推动到网络上,通过移动互联网上可以将这些信息进行共享,读者就可以依靠移动互联网来筛选一些服务,有助于图书馆在线进行服务和交流,提高管理上的效率。图书馆可以依靠一些移动互联网的一些APP实现这样一种网络综合管理的方式。因为实体的图书馆服务如果让所有读者到图书馆进行查询或者借阅,也有可能出现一些读者特定来到图书馆之后,图书馆当中没有相关的图书,这样这些读者也就真正白跑了一趟,没有得到需要的资源。所以,从这样的一个角度上分析,图书馆依靠在线的移动互联网软件,可以帮助读者更快地了解到图书馆中的馆藏图书情况,并且在移动互联网上就可以进行一种互动和资讯的服务。借助移动互联网,读者可以非常方便地阅读到相关的资讯,并且从深度上整合图书馆的各种相关的资源,以此更加有效地解决了读者在与图书馆进行练习过程当中出现的问题。
2.2 移动互联网与APP管理
移动互联网与图书馆管理互相之间的联系,也主要是体现在移动互联网APP的开发和利用上。移动APP实际上图书馆借助移动互联网进行管理的关键。在美国等一些相对比较发达的国家,图书馆基本已经开发了相关的APP进行综合服务,很多读者通过APP也能够及时了解到一些相关的图书馆馆藏状况,而且也可以参考资讯以及配套的读者服务都可以通过这样的一个客户服务端口实现,并且延伸到读者的一些网络游戏以及信息化的素质培养方面。虚拟化的管理和服务,实际上为图书馆在管理的过程当中节省了非常多的资源,特别是时间资源以及空间资源等。读者通过这样的一种方式,可以打破时间和空间上的限制,并且随时可以查阅到图书馆的具体馆藏状况,和图书馆的一些在线的网络服务人员进行交流,从而依靠移动互联网提高了读者和图书馆互相之间的联系,促进了图书馆和读者互相之间的互动等。所以从移动互联网的APP开发方面,国内的图书馆也需要学习西方一些发达国家的成功经验,让读者在相对比较轻松以及愉快的氛围当中就能够完成对图书馆资讯的了解,也让图书馆在高效率的互联网平台上对读者进行管理和指引,在信息化管理和便捷化的资讯上有着非常突出的优势。当前一部分国内的图书馆也有开发相关的APP,但是在成熟化运营方面还缺乏一些经验。所以,当前图书馆要真正运用好相关的APP软件,就需要将一些新闻资讯和新书的通知等结合在一起,让读者能够更快速地检索到这些内容,这些完全都可以通过APP上面进行实现。
2.3 破解图书馆的管理难题
利用移动互联网进行日常的图书馆管理,应该重视对图书馆的一些管理难题进行解决。很多读者都愿意去书店里面站着或者坐着看书,这也说明喜爱读书的人群还是非常庞大的,但是他们却选择去书店,而不是去图书馆,这也反映了当前图书馆在管理方面存在一些不足。由于图书馆当中的书籍数量非常庞大,很多管理者都相对比较惧怕出现问题,比如盗取书籍或者是书籍出现比较严重的损坏等,所以在图书馆的管理过程里面,往往没有让读者感到放松,反而让读者增加了非常多的压力,所以读者不愿意去图书馆读书,这些也导致了图书馆资源的浪费。所以,通过移动互联网的方式,也是可以解决图书馆在管理方面的难题。比如图书馆在管理的过程当中出现人气不够旺,或者管理运营过程里出现困难,这些实际上都可以通过移动互联网的一些宣传方式,比如互动游戏等。当前一些图书馆也非常重视建设一些移动化的公众号等,让读者可以在公众号上面进行互动,并且以公众号推动一些原创的阅读感想等,读者都可以方便地阅读到,这些都有助于拉近读者和图书馆的距离。此外,图书馆还可以利用移动互联网进行读者互动活动,让读者可以将自己的一些感想或者最近读书心得等分享给其他人,或者由图书馆举办一些移动互联网上的读书会等,这些都能够帮助读者不断提升自己和图书馆之间的交流兴趣,从而调动图书馆的阅读活力等。
互联网技术管理范文4
关键词:互联网技术;数据库;系统开发
中图分类号:TP311.52
随着我国城市化进程的深入和货币分房制度的推行,房地产楼盘的购买方式从以集团购买为主转向了消费者自主购买,所有房地产开发商将直面市场化运作。开发商的信誉、资质和楼盘的策划、宣传、营销将影响和主导消费者的选择。因此,房地产公司形象及楼盘的宣传工作显得更为重要。建设网上虚拟房地产中介市场正是一种房地产开发商天天进行房展的新形式,用户可以随时、随地、直观地查询房地产公司、楼盘及相关行业的任何资料(地理位置、小区环境、户型、房价、物业管理、装饰材料、施工技术等等),货比三家,选择满意的产品,使房产服务真正到位。
1 基于ADO在ASP数据库访问技术中的应用
在Microsof 的解决方案中,数据访问对象(DAO)、远程数据对象(RDO)、活动数据对象(ADO)是用于检索和操纵数据库的数据访问方法,这些模型执行相似的功能,但是每一种都是针对一种特定的情形优化的。显示了三种方法的比较表1。
ASP环境下对数据库的访问主要是通过ADO数据模型。使用它,你可以对来自许多种数据提供者的数据进行读取和写入操作。例如,你可以使有ADO来访部Microsof Access,Microsof SQL和Oracle数据库中的信息,以及其它与ODBC兼容的数据库。
ADO(ActiveX Data Objects)是一项容易使用并且可扩展的将数据库访问添加到 Web 页的技术。可以使用 ADO 去编写紧凑简明的脚本以便连接到Open Database Connectivity(ODBC)兼容的数据库和OLE DB兼容的数据源ADO与数据库的连接方式。
2 系统开发环境与工具的选择
经过一系列的分析,我们就要决定用什么样的工具,什么样的环境进行开发软件开发。
本系统由于是采用的微软公司所推出的分布式Web应用构架,所以开发平台使用了Windows server2003,数据库选用ACCESS,Web服务器程序使用自带的IIS5.1。系统可以平滑过渡到WINDOWS SEREVER2000,数据库也可以升迁SQLSERVER2000。基于IIS的开发环境。
IIS(Internet information server)是搭配微软Windows NT/2000操作系统的Web服务器,他如同Unix和linux上知名的免费Web服务器Apache一样,可以让用户在Windows NT/2000的计算机网络中架设Web网站。
设计本系统时之所以采用IIS是由于IIS并不只是一个单纯的Web服务器,他是一个整合的Web应用程序开发环境,能够在Web上开发具有扩充性和组件基础的客户/服务器应用程序;再加上Windows NT4 Server 完全整合Web服务,不仅允许用户建立专业的网站,而且还提供网络和集成式的系统管理功能。采用它有诸多的好处:
(1)可靠的应用程序服务
IIS支持"ASP"(active server pages),JAVA技术,整合Message Queue能够在网络上可靠的发送和结束消息。
(2)合的网络服务
IIS高度整合至Windows NT 4 Server,将Web服务器整合在操作系统之中,Windows 2003配合IIS提供有整合的平台,可以管理网络和各种Web应用程序的服务。
3 系统流程图的设计
开始设计工程时第一步也是最重要的一步就是通过严谨的调查分析后画出流程图,有了流程图我们就可在以后的程式编写中紧紧围绕它来完成各个功能。
处理流程图如1所示
4 设计目标及各项功能
会员制的房产程序,会员分四个级别。系统管理员、会员、非会员、vip会员。
4.1 非会员模块:这是系统的基本
只要登录该系统即可拥有:查看出售信息、查看房屋出租信息、查看推荐信息、查看新闻、查询房屋信息
4.2 会员有自己的管理后台
会员登录拥有功能:个人资料、修改个人资料、我的房产(会员自行管理自己的信息)、收件箱、发件箱、写邮件(站内),发送信件后可以知道对方是否已经阅读了您发给他的信件、可以查询发件人的个人资料
4.3 vip会员有自己的管理后台
VIP用户拥有功能:个人资料、修改个人资料、我的房产(会员自行管理自己的信息)收件箱、发件箱、写邮件(站内)、发送信件后可以知道对方是否已经阅读了您发给他的信件、可以查询发件人的个人资料、可以查询人的联系方式,方便联系。
4.4 管理员后台
管理员后台拥有功能:房源管理在这里可以对所有房源信息进行修改删除操作,也设置了搜索功能,更方便了管理查找房源,新闻管理在这里可以新闻,对新闻进行删除操作,图片管理在这里可以对图片进行上传删除操作,友情连接在这里可以对所有友情站点进行审核、修改、删除操作,用户管理在这里可以对所有用户进行修改、删除、设置VIP会员等操作,系统设置在这里可以修改网站名称、管理员名称、网站地址、版权信息、公告等,更改密码在这里可以修改后台管理员的名字和密码,首页显示站内统计信息,搜索功能设置为多功能搜索,新闻管理系统采用UBB代码,友情连接采用自助式,网友自行添加,管理可以在后台进行审核,审核通过后才会被显示,居家欣赏主要采用图片为主,在首页显示4张最新图片,在后台可以进行上传、删除,留言本采用最简单最使用的方式制作!管理员登陆后可以直接进行管理,而不需要到后台。
5 结束语
本文采用基于互联网数据库进行互联网房产实现网络信息化查询、观赏等功能,实现不限时间不限地点可以了解房屋的各种信息,可以在交易之前提前了解房屋的基本信息,让用户能够提前了解到房屋的基本信息。
参考文献:
[1][美]Noel Jerke.Visual Basic 6参考大全[M].北京希望电子出版社,7-545-251202 1999.10.
[2][美] Dick Oliver HTML3.2自学通[M].机械工业出版社,1998,1.
[3]清汉计算机工作室.Access2000中文版实例[M].机械工业出版社,1999,12.
[4]范刚龙,杜雷,王康平.基于Internet的人事管理系统[J].平原大学学报,2002,2.
互联网技术管理范文5
关键词:云计算;物联网;ZigBee
DOI:10.16640/ki.37-1222/t.2016.13.130
1 引言
随着互联网技术的发展,物联网技术正在改变着我们的生活。在高校的设备管理中,针对高校设备种类繁多,设备情况复杂,设备使用频率高的特点,利用通常的手工管理和维护的方式,很难保证良好的教学秩序和教学质量,而将物联网技术引入到高校的设备管理中,可以对设备的情况进行实时的监控,既可以随时了解设备的状态也可根据设备状态判断设备故障情况。这样可以有效的调用设备,使设备得到充分的利用,从而保证学校各项工作顺利进行。
将物联网技术引入到高校的设备管理和维护中,并结合互联网技术将把设备管理和维护的工作推向一个信息化管理的新时代。
2 相关技术
2.1 物联网技术
物联网技术是通过信息传感设备,把物品与互联网连接在一起从而进行信息通信。即通过射频识别,红外感应器,定位系统等来实现智能化识别、定位、跟踪、监控和管理。物联网的系统结构分为三层:感知层、网络层和应用层[1]。
2.2 Zigbee技术
ZigBee技术是依赖于网络传输的短距离无线传感器技术,其核心技术包括跳频技术和扩频技术两种。ZigBee技术不适用于大范围内的通信,但对于功耗低,体积小的通信环境却是最佳的选择[2]。
3 设备管理和维护系统设计
设备管理和维护系统设计以物联网的系统结构为基础,分为感知层、网络层和应用层。在感知层建立zigbee传感器,用来采集设备的数据,并将数据统一到检测端计算机 ,管理端计算机通过网络接收检测到的数据,相应的数据会存储到对应设备的数据库。最后,对数据库中的数据进行分析处理,做出故障种类和故障位置的预测。设备管理和维护系统总体框架如图1所示。
3.1 感知层设计
感知层的设计采用zigbee传感器网络,感知层位于整个设备管理与维护系统的最底层,用来获取检测设备的状态以及对设备状态的控制。Zigbee传感器通常分为电源类传感器、门禁类传感器、环境类传感器以及控制类设备等。其中,由电源类传感器传送设备的电压、电流、功率等状态,环境类传递温度、湿度烟气等,由控制类设备发出指令进行断电或报警。
3.2 网络层设计
系统对网络层的设计依托于互联网,通过互联网可以对设备进行远程管理,管理端计算机与设备可以进行远距离数据传输,实现一对多的管理模式,直接由系统的响应速度所决定。在系统的网关设计上采用串口的模式,接收网络数据、控制信息以及网络状态等信息。
3.3 应用层设计
整个应用系统分为三部分:设备状态的实时监测、设备故障预诊、设备调用控制。
状态检测模块设计:在状态检测模块的设计上,同过zigbee传感器实时检测设备的状态,传感器获取电压、电流、温度、湿度、灯光 、烟气等数据[3],再将数据传送到检测端计算机,再对检测到的数据进行分析处理, 从而判断设备的工作状态是否正常。故障预测模块设计:本系统设计的故障诊断模块是对系统的整个工作周期的状态进行检测,并将检测结果作为设备故障诊断的依据,通过分析处理得到的数据从而确定检测设备故障的类型和设备故障的位置。通过对设备整个工作周期及不同设备的检测可以避免旧的检测模式只针对某一个设备的某段时间的检测数据的片面性。设备调控模块设计:根据数据库中综合数据进行调控。根据设备使用状况以及设备故障的情况,从整个系统中调用空闲的设备,使设备得以充分的利用。
4 结论
本文提出将物联网技术引入到设备管理和维护中,并将zigbee传感器技术应用于感知层。将物联网技术引入到高校的设备管理和维护中,可有效的 解决高校设备管理混乱,设备利用率低,以及设备故障诊断的延误。可以通过对设备状态的检测,对设备进行预诊,从而更好的对设备进行调控管理。
参考文献:
[1]刘杰,杨久波.物联网技术在煤矿设备管理与维护中的应用[J].山东煤炭科技.
[2]ZigBee - 维基百科,自由的百科全书.互联网数据.
互联网技术管理范文6
关键词:数据互联中心 数据建模 数据仓库 管控分析门户
中图分类号:TP399 文献标识码:A 文章编号:1674-098X(2017)01(c)-0087-05
1 运营商网管系统数据现状及问题
随着移动LTE业务的迅速发展,网管数据迅速增长,对网管系统的数据支撑要求也越来越高,急需网管数据能更全面分析用户感知、更深层次挖掘网络隐患、更实时发现故障和质量下降、更准确预测用户投诉行为、更快速解决故障和质量问题。但目前各网管系统仍以功能性场景服务为主,只能解决单一场景的问题,在数据的关联服务能力方面较弱,无法有效支撑面向用户的数据服务支撑能力。目前主要存在以下问题。
(1)在使用方层面,希望能将各类网管数据(告警、性能、资源、工单、工程、拓扑、拨测、投诉)进行集中管理、对地市共享,实现各类网管数据的集中互联、关联、清洗、共享,并希望实现网管数据和信令数据的关联,支持从网管数据到信令详情的追溯。
(2)从应用层面考虑,应用对于数据实时性要求越来越高,目前已有的系统无法满足应用的实时性要求;应用从多个系统获取数据成本较大,不利于上层应用敏捷开发、快速部署的诉求,与互联网新架构的发展趋势不相符。
(3)从数据层面考虑,多个系统形成数据孤岛,缺少统一的接入、清洗、建模的管理,需要统一的数据接入、统一的计算、统一的接口共享来打破数据孤岛;各自独立系统运维、管理面临很大难题,通过数据互联统一运维,提高资源利用率和处理效率;匹配互联网的发展趋势,数据统一互联形成大数据平台成为互联网主流选择。
2 利用大数据技术构建运营商网管数据互联中心的方法
针对目前网管系统数据分散、数据服务能力较弱,无法有效支撑运营商面向用户的网络质量管理要求,该文提出利用大数据技术构建网管数据互联中心,对分散的网管数据进行互联、清洗、关联,并构建灵活统一的数据服务层,有效提高数据服务能力,支撑面向用户的网络质量管理要求,如投诉预警、实时监控、省市共享、挖掘分析等应用。
该文方法主要包括两大阶段:调研分析验证阶段和融合互联实现阶段。
(1)调研分析验证阶段。
该阶段主要是研究需求与数据、探索数据之间的业务联系,可按如下步骤进行。
①调研梳理。
调研梳理各类业务和数据模型分布、用途等信息。
调研梳理各系统数据对外提供共享接口形式、共享机制、更新频率、数据粒度等。
数据资源调研分析示例见表1。
②模型分析。
对各应用需求分类汇总,进行共性分析。
分析各应用需求与数据支撑的差距,了解短板所在。
分析省数据,研究数据关联节点,进行多数据关联模型设计。
建模分析方法示例如下。
需要解决的问题:定位用户投诉原因。
数据建模方法:数据源:信令数据、投诉数据、性能数据、资源数据。关联维度:用户、时间、业务、网元。关联指标:投诉事件、信令事件、网元性能、网元资源。模型价值:实现快速地投诉问题原因溯源定位。
数据融合互联分析模型:多数据源,跨数据维度匹配、指标关联,实现深入分析。
用户投诉无法呼叫。
根据投诉号码时间点关联用户信令事件(是否网络原因)。
根据信令中位置信息关联资源数据。
根据资源数据关联呼叫失败发生的小区接通性能指标。
小区资源不足、小区覆盖质量差、小区设备存在故障等原因定位。
③实施验证。
预采集所需各类数据,包括传统性能数据、工单数据、告警数据、投诉数据等。
关联建模,构建新的数据模型。
搭建数据DEMO,验证模型设计。
(2)融合互联实现阶段。
利用大数据技术构建运营商网管数据互联中心的构建方法,构建网管数据互联中心,主要包括5个步骤:统一数据接入、统一数据建模、集中数据存储、统一数据共享、统一平台管控。
统一数据接入:负责统一的数据接入。可根据业务需求和数据类型提供多种接入方式;数据接入后根据规则对数据进行初次清洗。
统一数据建模:负责对接入数据进行统一建模。对数据做统一的标准化处理,同时也可以根据业务规则对多数据源进行关联。
集中数据存储:负责对建模后数据的统一存储。运用Hadoop分布式技术,对于数据查询时延要求高的可以存储在Hbase上;对于数据需要提供灵活查询方式的可以存储在Hive上。
统一数据共享:负责数据的统一对外共享。统一的数据共享可以有效防止数据泄露,降低上层应用获取数据的成本。可根据业务需求提供多种数据共享方式,整体上分实时获取和非实时获取方式。
统一平台管控:负责对网管数据互联中心进行管理和控制。包括对用户的安全认证、数据获取方的权限管理、互联中心的数据进行质量监控等。
3 具体实现方法
3.1 互联中心建设
3.1.1 总体架构图
网管数据互联中心的架构,主要包括5个核心模块:南向数据接入层、数据关联中心、数据仓库、北向共享接口层、互联中心管控分析门户(见图1)。
3.1.2 功能模块介绍
(1)南向数据接入层。
负责各种网络数据的实时性接入和非实时性接入,实时性要求高的数据通过Kafka方式接入,对实时性无要求的数据则通过Flume方式接入。需接入的数据如下。
①工单:开通、故障、投诉。
②网络变更:工程割接、其他变更操作等。
③网络资源:2/3/4G基站信息、2/3/4G小区信息、BSC、RNC、SGSN、MME等网络资源信息。
④网管性能:从采集平台获取分支进行计算汇总,实时监控需求从采集平台直接送综合监控。
⑤告警:历史告警(补充了很多处理信息);实时告警(没有工单状态),综合监控目前没有实时的告警的对外共享接口,通过MQ消息送到Kafka总线,经过storm清洗后入Hbase。
⑥拨测:基于探针拨测和仿真测试。
⑦用户投诉:批量投诉、广义投诉等。
⑧其他网络数据,如日志等,后续检视具体应用的数据需求再确定。
⑨无线专业的数据范围待后续结合地市需求和无优中心沟通后细化,比如投诉黑点、MR等。
(2)数据关联中心。
数据关联中心是对南向接入数据进行数据建模、对数据模型化处理,主要分为“资源ODM化”和“多数据源关联”。
①资源信息ODM化:通过加载资源数据后,采用Spark Streaming技术对南向接入的其他数据源,以实时流的方式进行高效资源维度信息规范化处理,回填资源信息,为后续的多数据源关联提供统一标准的资源维度。
②多数据源关联:是依据数据融合模型场景,对实时计算需求场景中使用Spark SQL,在离线计算需求场景中使用Hive,对ODM化输出的各数据源的以资源维度为索引进行数据关联和汇聚的处理。
数据源关联原则(三同一全原则):同最小维度关联,对最小维度级别相同的数据源进行关联。同网络类型关联,关联的数据源中只存在某种网络类型(2、3、4G)的,则根据网络类型维度分别关联输出模型。同数据量级关联,进行关联的数据源必须在同一数据量级,否则分开模型输出。全字段关联,关联的各数据源中维度外的字段全部输出到模型里。
数据管理中心处理包括实时计算框架和离线计算框架2类。
①实时计算框架:接入流式消息数据,数据从接入系统到计算出结果耗时在1 min内,进程常驻;计算框架为Spark Steaming,对接消息队列Kafka获取消息。
②离线计算框架:接入文件数据,数据从接入系统到计算出结果耗时在5 min以上,按需启动/结束进程;计算框架为Spark和Hive,从HDFS获取输入数据。
(3)数据仓库。
数据仓库负责共享数据的统一存储,包括ODM化后的原始接入数据和关联后的融合模型数据。ODM化后的原始接入数据因其数据量大,存储在Hbase集群以提供高速的海量数据查询响应。关联后的融合模型数据是对多数据源关联汇聚后的统计数据,存储在Hive以提供灵活组合的高效查询。
(4)北向共享接口层。
北向共享接口层是一种分布式接口服务层,负责数据对外开放共享。外部系统可以通过5种方式获取数据。
实时获取Hbase数据。以REST API方式,对外GET(URL)接口,将查询条件封装在URL?para1=xxx&
para2=xxx,以JSON的格式返回查询数据。此方式主要用于查询结果集较小、实时性要求高的场景。
异步获取Hbase数据。以Kafka+FTP方式,查询结果较大时使用此方式,将结果写入文件中,然后上传到FTP服务器上,通过Kafka返回如何获取文件的信息。此方式主要用于查询结果集较大、实时性要求低的场景。
异步获取即系查询数据。以Kafka+FTP方式,查询结果较大时使用此方式,将结果写入文件中,然后上传到FTP服务器上,通过Kafka返回如何获取文件的信息。此方式主要用于查询结果集较大、实时性要求低的场景。与第二种的差别是,第二种方式查询的是Hbase数据、而此方式查询的是Hive数据。
FTP定期获取数据。数据互联中心把使用方需要的数据(Hbase、Hive数据)上传至FTP,使用方定期扫描FTP服务器,发现有新文件t获取下来。考虑到多用户频繁扫描FTP服务器会增加服务器压力,目前未使用该方式。
获取Kafka实时数据。通过Kafka接口,实时传输数据,使用方订阅相应Topic即可获取所需数据。此方式主要用于对数据实时性要求极高的场景。
(5)互联中心管控分析门户。
互联中心管控分析门户用于对互联中心进行可视化管理和控制,分5个子模块:元数据管理、数据质量、接口管理、安全管理、用户权限管理。
元数据管理。对南向接入数据进行可视化管理;对资源数据的管理和对数据源的资源关联规则配置,包括资源列表和资源关联规则两部分;提供在ODM化和数据源关联以后、最终共享给外部系统的模型数据视图;提供接入数据的数据流向图。
数据质量。对互联中心的接入数据的完整性进行统计、给出缺失的文件;统计各模型的资源关联率、关联率低的模型及时告警。
接口管理。管理南向数据接入的种类、接入方式、采集频率等信息;管理北向共享数据的种类、共享方式、时间粒度等信息。
安全管理。对用户行为进行监控、对敏感数据进行脱敏等。
用户权限管理。对每个访问互联中心的账号进行权限管理,按要求进行授权。
3.1.3 数据总体的流向处理
互联中心数据流总体上分2类:实时数据流和非实时数据流。
(1)实时数据流。实时数据流向如图2所示。
(2)非实时数据流。非实时数据流向如图3所示。
3.2 互联中心应用场景介绍
3.2.1 已落地应用
网管数据互联中心目前已接入5类数据,有效支撑智能研判、自研竞赛、地市共享等应用。接入数据及支持的应用情况见表2。
后续将接入话务网性能数据、数通网性能数据、综分系统数据、有线网优等性能指标数据,客响数据,广义投诉,集客、家宽等资源数据,HSS日志数据等数据,丰富网管数据,以便支持更多的网管应用。
3.2.2 典型应用介绍
故障投诉预警系统:通过互联中心北向接口,获取所需要的告警、工单、网络变更、用户投诉等数据。
数据共享方式如图4所示。
对于工单、网络变更、投诉等数据量较小、实时性要求高的数据,故障投诉预警系统可以实时查询Hbase获取数据,即图4中A方式。
对于告警数据,由于数据量大、且实时性要求也较高,故障投诉预警系统可以通过异步查询Hbase,即图4中B方式,在Hbase查询完数据后把数据文件上传至数据共享机,同时会发一条通知消息至Kafka,故障投诉预警系统可以从该消息中获取到文件信息,然后根据获取的文件信息通过FTP方式从数据共享机获取数据文件。
对于投诉历史数据、告警历史数据等,数据量较大、实时性要求较低,故障投诉预警系统可以通过异步查询Hive,即图4中C方式,在Hive查询完数据后把数据文件上传至数据共享机,同时会发一条通知消息至Kafka,故障投诉预警系统可以从该消息中获取到文件信息,然后根据获取的文件信息通过FTP方式从数据共享机获取数据文件。
4 结语
利用成熟的大数据技术,借鉴互联网公司经验,构建统一的网管数据互联中心,统一数据处理,融合多源数据,进行关联分析、挖掘分析,可以建更高效的业务分析模型,满足业务发展要求;通过有效数据融合互联,进行线性回归,溯源分析,实现更精准的端到端分析,可以更好地优化客户体验,提高客户满意度。
该文的意义在于提供一个高效可行的方法,破除网管系统烟囱建设、数据孤岛、支撑力度不足问题,通过集中的网管数据互联中心,提供更强大的数据处理能力,更高效的分析模型,更好地促进业务发展,提高企业综合竞争力。
参考文献
[1] 单绍龙,张西群,刘光富.互联异构数据库系统构建综合数据中心平台的研究[J].计算机光盘软件与应用,2012(11):155.