摘要：
在未来高度信息化的社会，信息传输将具备海量、大连接、异构业务需求、数据空-时域分布不均匀等特征，给无线网络的设计与建设带来严峻挑战。大数据是处理这些挑战、优化未来无线通信网络的关键技术。利用大数据技术，无线网络可以整合各种分散的零星信息，并深入研究各数据要素之间的关系，指导新型无线通信网络与服务平台的搭建，提升网络服务潜力。因此，本文初步探讨大数据在无线频谱管控、网络规划与优化、无线资源高效管理方面的作用，综述国内外研究现状，以期为未来无线通信网络的设计和大数据在无线通信网络的应用提供参考。
关键词：
大数据分析；频谱管控；网络规划与优化；无线资源管理
0引言
信息时代的到来，给无线通信网络带来了极大的挑战[1-4]。第一，数据流量出现爆炸式增长，如图1所示[1]。根据IMT-2020（5G）推进组的估计，全球移动数据流量从2010年到2030年将增长近2万倍，我国的增长水平甚至会超4万倍。第二，连网设备急剧增长。预计到2030年，全球移动终端（不含物联网设备）将达到180亿，全球物联网设备连接数将接近1千亿，如图2所示[1]。第三，业务类型演进与数据多样化，包括话音、数据、OTT消息、超高清视频、增强现实、在线游戏、智能家居、环境监测、车联网和工业控制等各种QoS需求的业务。第四，数据空-时域分布更不均匀（热点区域业务量占70％[2]），应用场景更加多样，如5G包括四种典型通信场景——连续广域覆盖、热点高容量、低功耗大连接和低时延高可靠场景。第五，高能耗与安全性等其他一些问题。为应对这些挑战，必须改进现有网络规划、设计、部署、建设、管理及维护等方式，引进一批先进技术，瞄准网络瓶颈与关键问题，不断提升网络的各方面能力。大数据是一种潜在的关键技术，其利用计算机与网络技术，对传统分散的、海量信息和数据进行处理，通过快速获取、处理、分析，形成有开发价值的资料和信息[4]。作为一种新的生产要素，大数据将改变人们认知网络的方法，包括[2,5]：可以分析更多数据，有时甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样；绝对的精确度往往不再是数据分析的主要目标，海量的数据处理往往更加注重处理效率与对事物变化趋势的判断；相关关系成为继因果关系之后的重要思维方式，其可以给人们提供非常新颖且有价值的观点。通过大数据技术，无线通信网络可以整合各种分散于网络的零星信息，并利用数据挖掘的理论与方法，深入研究无线网络各要素之间的关系，扩展思维认知从单纯的因果关系向相关关系转变，指导新型无线通信网络与服务平台的构建，提升网络服务潜力。具体地，大数据将在无线频谱管理与控制、网络规划与优化、无线资源管理等方面发挥重要作用。当前，研究人员已经对大数据在通信行业的应用展开研究，研究重点主要集中于大数据在民用移动通信网络优化中的作用，对话费套餐策略制定的启示，对运营商带来的机遇与挑战等。本文在此研究基础上，首先对当前无线网络存在的问题及大数据技术进行概要总结，探讨大数据在无线网络的频谱管控、网络规划与优化和无线资源管理三方面的作用，并对国内外的研究现状进行综述，以期为未来网络的设计和大数据在无线通信网络方面的应用提供参考。
1基于大数据分析的频谱资源管控
1.1必要性分析
随着信息技术的不断发展，频谱资源变得越来越紧张。目前，频谱管理制度为固定分配方式，频率使用方式缺乏灵活性，存在如下突出矛盾。一方面，有限的频谱资源难以满足日益增长的频谱使用需求；另一方面，相当数量的频谱资源利用率非常低。以美国为例，根据联邦通信委员会（FCC）提供的数据，已分配的频谱利用率只有15％～85％[6]。针对此矛盾，虽然研究人员已经提出了认知无线电的频谱管理新思路，但是受限于以往的信息处理手段（存储、计算等），信息挖掘能力有限，各级无线电管理机构仍然难以及时从大量频谱监测信息中获取有价值的管理信息[7-9]。大数据技术是实现认知无线电频谱管理的关键，作为目前被广泛接受的海量信息处理手段，可以有效采集各种频谱监测数据，充分挖掘海量监测数据中隐藏的有用信息，预测频谱需求、评估用频效率，实现频谱的认知管理。
1.2可行性分析
首先，频谱监测数据符合大数据信息处理的特征，如海量数据、类型繁多、价值量大。随着信息技术的不断发展，无线电频谱的使用范围不断扩展（5G已明确提出将频率范围扩展到100GHz[10]），各种频谱监测数据量极大。文献[7]指出仅宁波地区9座监测站15分钟内产生的数据都是GB量级。考虑到国内无线电管理部门在过去几十年时间里积累的大量数字、图片和影音等无线电磁监测信息，频谱监测的大数据属性完全不用怀疑。为解决频谱短缺问题，满足日后无线电管理应用和发展的需要，迫切需要利用大数据技术对海量增长的信息进行有效存储、归类和分析，深入挖掘数据中潜在的价值，实现频谱需求精确预测与分析、频率高效规划和分配，提高频谱资源的利用率。其次，大数据分析与预测是实现频谱精细化使用、认知管理的关键。频谱精细化使用与认知管理的核心是动态频谱共享。因此，部分甚至全部采用动态频谱管理实现多种无线通信技术共享频谱资源，是基于认知无线电频谱管理的基本状态。然而，在部分或全部采用动态频谱管理时，为实现各种无线通信技术之间能够和平共享频谱资源，不仅需要做到海量频谱监测数据的实时分析，还需要能够采集不同用户不同终端所支持的频率信息，预测不同用户的业务请求、不同设备使用频率的习惯等信息，以挖掘这些信息与用户将来一段时间内可用频率信息之间的相关性，从而指导用户的频率使用。由于影响设备用频信息的因素众多，如不同的无线环境、网络结构、终端参数、用户行为、业务请求等，利用传统的因果关系建模这些因素与用频信息之间的关系非常困难。从目前的技术水平看，大数据这种不关注因果关系、只追求相关关系的海量信息处理方法，是一种可行的建模手段。
1.3国内外研究现状
当前，在大数据频谱管理方面，国内外都处于起步阶段。文献[8]简单描述了大数据频谱管理的必要性及目前可能存在的一些问题。文献[9]针对海量频谱数据给频谱管理带来的挑战，基于贝叶斯网络设计了一种频谱占用预测算法，通过学习历史频谱数据分析未来频谱的占用情况。文献[11]在认知C-RAN网络中设计了一种基于大数据技术框架的未来频谱占用预测机制，以通过机器学习方法，从长期频谱监测数据中获得频谱的未来占用情况。可见，当前的研究仍主要处于通过历史频谱数据预测未来频谱空洞的阶段，还未兼顾考虑不同终端所支持的频段信息、不同用户的未来业务需求、不同用户的用频偏好等对频谱空洞预测的影响，也未考虑频谱空洞在众多设备之间如何共享的问题。
2基于大数据分析的网络规划与优化
2.1必要性分析
每种通信手段都有其适用的范围与对象，不存在一种通信技术能够适用于所有的通信场景，满足所有用户的传输需求。为此，未来网络的异构融合特征已被人们广泛认可[7]，这也就意味着网络运营商将需要同时运营多张网络。例如，当前国内几家运营商需要同时运营2G/3G/4G移动通信网络与WLAN网络；战术通信需要综合运用散射、中长波、短波、超短波、区域宽带、卫星、光纤、被复线等传输手段[12]。在网络大融合的时代，各制式通信手段/网络之间互操作越来越频繁，其协调部署与优化越来越复杂，对网络管理系统处理各项数据的能力要求不断提高。同时，入网设备的急剧增长、业务类型多样化、数据空-时域分布不均匀、高能耗等未来信息网络典型特征，也给网络规划与优化带来了极大挑战。传统的网络规划与优化方法已经逐渐显示出其局限性，主要包括[12-24]：（1）一体化程度不高。各种无线网络独立规划与运维，不能实现全网统一管理；每张网络的性能分析、周期性报表制作需要多个系统支撑；不能灵活满足通信手段多样、网络规模与入网设备快速增长的需求。（2）灵活性不高。传统的网络部署无法有效匹配数据空-时域分布不均匀的特征，也无法实时适配业务需求的动态变化。未来的网络部署迫切需要实现由静态向动态、由固定向灵活配置的转变。（3）海量数据的深度挖掘效率不高，预警及时性不足，缺乏多维度数据的关联分析能力，不能先于用户发现问题，难以实现网络的预见性分析。（4）网络的精确覆盖能力弱。传统的无线网络规划方案仅仅依赖简单的传播模型、电子地图与话务统计，而传播模型和电子地图与实际场景总会存在一定误差，这将直接影响网络覆盖规划的准确性。（5）网络规划与优化缺乏智能化，数据源单一，无法真正识别价值热点，投资收益不高；且无法区分站点规划建设的优先级，不利于分批分阶段建设，效率低、成本高，无法保证投资的有效性。大数据是解决上述局限性，实现网络灵活规划与优化的关键技术之一。借助于大数据所具备的全信息采集能力、深度学习与数据挖掘功能，基于大数据技术的网络规划与优化方法，将实现对用户需求的前瞻性预测，实现各类指标的快速统计分析，先于用户发现问题，优化网络规划与优化方案，极大提升现有网络规划与优化方法的性能。
2.2可行性分析
首先，大数据的核心思想正是采集各种分散的、零散的全局信息，实现各种结构化、非结构化信息的一体化统一存储与分类（这在网络建设方面，一般意味着网络资源的统一管理与集中化控制，如中移动的C-RAN），并利用数据挖掘算法获得数据之间潜在的、有价值的相关关系，以获得某些预见性的分析结果。因此，现有网络规划与优化工具存在的上述瓶颈都可以通过大数据技术得到解决或缓解。当然，这一过程中也可能出现一些非技术的问题，如在战术通信系统中，各军兵种通信系统受到传统烟囱式发展的影响，大量数据散落在各种业务平台、支撑系统、网管系统等多个独立的平台上；各平台之间数据模型缺乏统一规划，较难保证各平台间数据的一致性，数据共享困难。但是，在信息技术不断发展的未来，相信各种体制、机制壁垒终将逐步打破，数据信息的实时共享与统一管理是大势所驱。其次，大数据分析也是大规模网络规划与优化的必然选择。影响网络规划与网络质量的因素可能成百上千，众多因素与网络性能之间的关系极其复杂。传统的因果关系建模非常困难或不现实，而以建立数据间相关关系见长的大数据技术，则为这一问题的解决提供了一种新的思路。例如，在当前战术通信网络中，传统的网络规划工具很难自主根据敌人侦察卫星、预警机的侦察频率、战场网络环境以及其他各种多源情报信息，预测评估某地区未来发生战斗时是否需要部署通信增强装备（中继站），实现战术通信网络的前瞻性规划与部署。但是，已有的大数据预测分析应用（Google利用人们使用搜索引擎查阅流感情况，精确预测流感[5]；京东利用人们浏览信息，计算用户购买商品的概率，提前进行商品调配，实现智能化物流），使人们相信基于大数据分析的网络规划工具将使得这种分析预测成为可能。
2.3国内外研究现状
大数据的出现，为人们理解与分析网络提供了一个更好的机会。鉴于大数据运用于网络规划与优化方面的技术优势，国内外对此展开了大量研究。文献[13]指出大数据应用于移动通信网络可帮助实现自动化的网络优化，建立基于大数据的网络操作。针对现有网络架构不便于移动大数据的分析与存储，文献[14]提出了一种基于软件定义（SDN）的网络架构，并在此基础上提出了一种有效的网络管理方法，验证了大数据分析对于网络优化管理的作用。文献[15]指出大数据与SDN存在密切关系，SDN可以为大数据提供基础，而大数据可以在流量工程、跨层设计、克服网络攻击、数据中心网络等方面提升SDN网络的性能。文献[16]基于大数据分析方法，提出全局数据代替采样数据、效率优先于精确、相关关系代替因果关系的三个网络优化大数据应用方向。文献[17]指出大数据是C-RAN的关键技术，归功于快速发展的大数据挖掘技术和强大的计算能力，可以极大提升C-RAN网络的容量。文献[18]基于云的MapReduce框架提出了一种虚拟网络的拓扑优化机制，仿真实验表明，所提机制可以极大提升网络的整体性能。文献[19]给出了一种大数据驱动的移动网络优化框架，设计讨论了其中的数据收集与分析算法，并验证了所提框架对于提升网络性能的作用。文献[20]利用大数据提出了3G网络覆盖分析方法，通过挖掘运营商存储的大量网络测试数据，优化了现有网络的覆盖性能。文献[21]针对以往网络规划与优化数据来源单一、无法辨别价值热点等问题，通过价值评估、干扰评估、覆盖评估等多维度的评估体系，利用大数据挖掘技术，优化了LTE网络规划，提升了网络的建设质量。文献[22]通过大数据模型的自动学习和训练功能，实现了对每个小区级无线网络质量趋势的预测，实现网络优化工作从事后处理向预先评估与预警模式的转变。文献[23]鉴于现有数据存储分散、利用率低和使用不便等问题，提出了大数据共享平台的架构设计，整合分散的网络数据，制定统一的共享接口，以提高数据利用效率、网络优化效率和质量。文献[24]提出了基于大数据分析的网络优化体系，介绍了中国联通在大数据网络规划与优化方面的相关进展。
3基于大数据分析的无线资源管理
3.1必要性分析
一方面，新型业务类型的不断涌现、数据多样化、应用场景差异化与数据空-时域不均匀特性，给传统资源管理框架带来了极大挑战。以移动通信系统为例，为适应信息高速增长与业务多样化的需求，当前以资源集中化配置为特征的“云-管-端（网-云-端）”无线接入网架构已被广泛认可，如C-RAN。在这种架构下，传统的资源管理体系将面临极大问题[3,25-26]。第一，从资源管理研究单位看，传统方法以小区为基本单位，对全局资源的管理效率较低，这与海量数据空-时域不均匀的分布特征严重不符，未来资源管理须从以小区为中心向以用户体验为中心转变。第二，从资源管理的目标看，传统资源管理一般以网络吞吐量、能量效率为主要优化目标，无法实现基于异构业务需求的差异化控制，资源管理灵活性较低。第三，从计算复杂性分析，未来无线网络资源的维度不断增加（空、时、频、码、功率等），数据多样化和业务需求异构化导致资源管理的约束/因素也大幅增加，资源管理优化策略的制定和优化目标的求解变得异常复杂。第四，资源管理的智能化程度较低，很难适应移动互联网新业务的不断创新，如现有无线网络的承载方式对QQ、微信等量大、数据小、突发性强的业务考虑不足，信令开销较高。根据Oracle的预测，从2013年到2018年，全球LTEDiameter信令将以78％的年复合平均增长率快速增长[26]。另一方面，在无线网络侧可获得多种特征的大数据。物理层有信号强度、信噪比（SNR）、接入经纬度、运行速度、多普勒频移、载波频点、所有服务的基站等无线特征数据；MAC层有用户级别、业务类型、请求速率、调度优先级、单次接入时延、信道可用率、掉话率、阻塞率（接通率）、话务量和切换成功率等具有服务质量（QoS）特征的数据；应用层有用户业务习惯（如平均通信时长）、用户感知体验（如时延容忍度）、用户套餐（如付费习惯、续约习惯、消费分析）等具有用户行为特征的数据信息。这些海量、差异化的数据对于网络资源管理具有重要作用。如何利用大数据技术有效利用这些数据，挖掘其中有价值的信息服务于无线网络，是值得人们研究的重要内容。
3.2可行性分析
首先，大数据本身天然具备适应以资源集中化配置的“云-管-端”无线接入网架构，其高效的数据采集能力、分布式处理能力、信息挖掘能力以及由此带来的精确预测能力，是传统资源管理解决上述问题的基础，也是实现资源精细化管理与精准投放，满足用户差异化需求的关键。比如：一个资源集中化配置的无线网络，可以通过采集每个用户的运动轨迹、兴趣爱好及其最新资讯、订阅的内容APP、用户办公及居住地点等信息，结合历史数据，利用机器学习算法建立相关模型，预测每时刻每个区域大概需要的无线网络基础设施、无线资源数量，实现基站节点的自动开关、无线资源的精确投放与全域调度。又如，网络可以根据用户接入位置、运行状态、信号强弱、当前业务情况、通信习惯等信息，预测用户将来将要经历的小区、发起的业务请求，实现小区资源的精预留；甚至虚拟一个小区，以时刻跟踪用户运动来为用户提供服务。其次，资源管理优化目标和约束条件与无线网络侧各种大数据之间的关系复杂，建模极其困难。例如，人们很难建模传统资源管理经典优化目标——网络传输速率与信道可用率之间的精确数学关系、网络传输速率与用户感知体验之间的精确关系等。然而，大数据为人们认知无线资源管理提供了一种新方法，如在资源管理问题建模时，人们不必追求数据之间严格的因果关系，而只需知道其相互关系；获取的数据如此之多，网络动态性如此之高，资源管理策略也不需要热衷于追求精确度。这将极大简化资源管理目标与海量数据之间的数学建模，为资源的精确利用提供可能。
3.3国内外研究现状
当前，在基于大数据的无线资源管理研究方面，国内仍处于起步阶段。文献[3]梳理了在无线接入网络侧可以收集到的各种监测数据，并提出了基于大数据挖掘的无线网络资源精准投放思想，以应对移动大数据时代数据空-时域分布不均匀的特点。文献[27]基于MapReduce数据处理技术，提出了一种资源分配机制，以从网络记录文件、配置文件、数据库条目、监控警报等大量信息中挖掘有用的信息，从而优化每个用户的资源分配，解决现有无线接入网资源分配存在的诸多问题。
4结语
在面向未来的无线通信网络中，海量信息传输、大量设备连接、异构业务需求以及数据空-时域分布不均匀等特征，给无线网络的设计与建设带来了严峻挑战。大数据技术是未来无线通信网络设计与建设的关键技术之一，可以有效解决或缓解无线网络面临的上述挑战。本文初步探讨大数据在无线网络的频谱管控、网络规划与优化和无线资源管理方面的作用，并对大数据在这三个领域的国内外研究现状进行综述，以为未来无线通信网络的设计以及大数据在无线通信网络的应用提供一定的参考。
作者：徐全盛 葛林强 邹勤宜 单位：中国电子科技集团公司第五十研究所
参考文献：
[2]李国杰,程学旗.大数据研究:未来科技及经济社会发展的重大战略领域—大数据的研究现状与科学思考[J].中国科学院院刊,2012,27(06):647-657.
[3]张平,崔琪楣,侯延昭等.移动大数据时代:无线网络的挑战与机遇[J].科学通报,2015(Z1):433-438.
[5]VIKTORMS,KENNETHC.大数据时代[M].盛杨燕,周涛,译.杭州:浙江人民出版社,2006.
[7]朱加荣,张振伟,吴兆根等.基于大数据、网格化与云计算的频谱资源决策架构[J].中国无线电,2015(01):23.
[8]薛楠,杨雄.借力大数据技术解决频谱短缺难题[J].上海信息化,2016(05):24-27.
[12]于全.战术通信理论与技术[M].北京:电子工业出版社,2009.
[16]侯优优,隋严峰.网络优化中的大数据应用[J].互联网天地,2014(01):34-37
[21]刘毅,刘珂,孔建坤.基于大数据挖掘的LTE网络规划研究[J].通信技术,2015,48(02):194-198.
[22]王磊,王西点,程楠.基于大数据技术的智能化无线网络优化体系[J].电信科学,2015(12):2015252.
[23]许汝鹏,崔晶也,关则洛等.网优大数据共享架构设计及应用实践[J].电信科学,2016(04):2016134.
[24]商冶,程晓军,李德屹等.移动互联网时代基于大数据分析的网络优化体系研究[J].邮电设计技术,2014(03):58-62
