卷积神经网络的历史范例6篇

前言:中文期刊网精心挑选了卷积神经网络的历史范文供你参考和学习,希望我们的参考范文能激发你的文章创作灵感,欢迎阅读。

卷积神经网络的历史

卷积神经网络的历史范文1

关键词:图像复原;盲复原;逆滤波;神经网络复原

1 图像退化及复原模型

1.1 图像降质的数学模型

图像复原处理的关键问题在于如何建立退化模型。假定输入图像f(x,y)经过某个退化系统后输出的是一幅退化的图像。为了方便讨论, 把噪声引起的退化(即噪声)对图像的影响一般作为加性噪声考虑,这也与许多实际应用情况一致,如图像数字化时的量化噪声、随机噪声等就可以作为加性噪声,即使不是加性噪声而是乘性噪声,也可以用对数方式将其转化为相加形式。原始图像f(x,y) 经过一个退化算子或系统H(x,y) 的作用,然后和噪声n(x,y)进行叠加,形成退化后的图像g(x,y)。图像退化的过程可以用数学表达式写成如下的形式:

g(x,y)=H[f(x,y)]+n(x,y)

n(x,y)是一种统计性质的信息下图表示退化过程的输入和输出的关系,其中H(x,y)包含了退化系统的物理过程,即所要寻找的退化数学模型。

1.2 图像的退化恢复模型

数字图像的图像恢复问题可以看作是:根据退化图像g(x ,y)和退化算子H(x ,y)的形式,沿着逆向过程去求解原始图像f(x ,y), 或者说逆向地寻找原始图像的最佳近似估计。

2 研究背景与意义

图像复原是数字图像处理技术的一个重要研究方向,在现实生活中,有着非常广阔的应用前景和市场。数字图像处理研究很大部分是服务于数字图像复原的,而运动模糊图像的复原又是图像复原中的重要课题之一,从六十年代起就有人研究它。初期研究的主要原因是对卫星所拍摄的图像进行复原,因为卫星相对地球是运动的,所拍出的图像是模糊的(当然卫星所拍摄图像的模糊原因不仅仅是相对运动而造成的,还有其他原因如大气湍流所造的模糊等等)。美国的喷气推进实验室(JPL)对徘徊者飞行器发回的月球照片进行了图像恢复处理。传统的图像恢复方法可以很好地恢复出来原始图像,但是需要事先知道系统的先验知识(例如系统的点扩散函数)。在先验知识不足的情况下,如何恢复出来原始图像?这就需要模糊图像盲恢复技术。根据不同的应用背景和先验知识,大致可以两种方法恢复两种类型的模糊图像,以满足不同的应用要求。

第一种方法:如何快速恢复模糊图像,进行适时性图像处理?这个技术在实际生活中有着广泛应用。

第二种方法:如何在事先不能确定模糊系统点扩散函数的情况下,恢复模糊图像,改善图像的质量,这就是图像盲恢复的问题。

3 国际国内研究发展和现状

从历史上来看,数字图像处理研究有很大部分是在图像恢复方面进行的,包括对算法的研究和针对特定问题的图像处理程序的编写。数字图像处理中很多值得注意的成就就是在这两方面取得的。

在六十年代中期,去卷积(逆滤波)开始被广泛地应用于数字图像恢复。这一阶段对模糊图像的研究主要是把因相对运动而拍摄的模糊图像复原过来,从而增强人们的判读能力。早期做图像复原研究,主要强调尽可能使模糊图像复原到原貌,增加它的判读性,在此发展了很多的复原方法,诸如:差分复原、维纳滤波等.这些方法各有特点,较好的解决了运动模糊图像的判读问题,但是在应用上均有一定的限制。

虽然经典的图象复原方法不少,但归纳起来大致可分为逆滤波法,或称相关变换法( inv ersefiltering or t ransfo rm related techniques) 和代数方法( alg ebraic techniques) 两种。

3.1 传统复原法

3.1.1 逆滤波方法

逆滤波法大致有经典逆滤波法、维纳滤波法、卡尔曼滤波法等. 其中,在傅立叶变换域,经典逆滤波的变换函数是引起图象失真的变换函数的逆变换,其虽在没有噪声的情况下,可产生精确的复原图象,但在有噪声时,将对复原图象产生严重的影响,虽然滤波函数经过修改,有噪声的图象也能复原,但它仅适用于极高信噪比条件下的图象复原问题; 维纳滤波法是通过选择变换函数,同时使用图象和噪声的统计信息来极小化均方复原误差,这虽然在一定程度上克服了逆滤波法的缺点,但是维纳滤波法需要较多有关图象的先验知识,如需要对退化图象进行满足广义平稳过程的假设,还需要知道非退化图象的相关函数或功率谱特性等等,而在实际应用中,要获得这些先验知识有较大的困难,为此,Ozkan 等人在研究图象序列的复原问题时,提出了一种解决空间和时间相关性的多帧维纳滤波法,是近年来维纳滤波法的新发展; 卡尔曼滤波是一种递归滤波方法,其虽可用于非平稳图象的复原,但是因计算量过大,而限制了其实际应用的效果。 Wu 和Kundu 又对卡尔曼滤波方法进行了改进,不仅提高了速度,并考虑了应用于非高斯噪声的情况; Cit rin 和Azimi-Sadjadi 也对卡尔曼滤波方法进行了改进,提出了块卡尔曼滤波方法; Koch 等提出了扩展卡尔曼滤波( extended Kalmam filter) 复原方法,该方法可以较好地复原模糊类型不相似的退化图象.除了上述的逆滤波方法外,还有参数估计滤波法,它实质上是维纳滤波法的变种. 20 世纪90 年代初,又提出了基于递归图象滤波的自适应图象复原方法及合成滤波方法,它代表了滤波方法新的发展方向. 1998 年Kundur 等人首先明确提出了递归逆滤波( recursiv e inv er se filter ing ) 算法 ,2000 年Chow 等人又进行了改进,即在代价函数中增加了空间自适应正则化项,从而很好地抑制了噪声,并减少了振铃现象,较好实现了在低SNR 条件下的盲图象复原. 2001 年,Eng 等人结合模糊集的概念,提出了自适应的软开关中值滤波方法,它能在有效地去掉脉冲噪声的同时,很好地保存图象的细节,是一种值得重视的新的图象复原方法。

3.1 2 代数方法

Andrews 和Hunt 提出了一种基于线性代数的图象复原方法。这种方法可能比较适合那些相对于积分运算,则更喜欢矩阵代数,而相对于分析连续函数,又更喜欢离散数学的人的口味。它为复原滤波器的数字计算提供了一个统一的设计思路。代数方法可分为伪逆法、奇异值分解伪逆法、维纳估计法和约束图象复原方法等。 其中,伪逆法,实质上是根据图象退化的向量空间模型来找到引起图象退化的模糊矩阵,但由于模糊矩阵总是很大的,因此在计算上往往不可行; 而奇异值分解伪逆法则是利用矩阵可分解成特征矩阵系列的思想,将模糊矩阵进行分解,由于简化了计算,从而有利于模糊矩阵的估计计算,但在有噪声存在时,经常会出现不稳定的现象; 维纳估计法虽然考虑了噪声的情况,但它仅适合噪声是二维随机过程,且已知其期望和协方差的情况。前面的方法仅把图象看成是数字的阵列,然而一个好的复原图象应该在空间上是平滑的,其在幅度值上是正的,而约束图象复原方法就是将这些因素作为约束条件,如基于维纳估计法和回归技术而提出的图象复原方法就是一种约束图象复原方法,而且通过选取不同的约束参数和回归方法可以得到不同的图象复原算法。传统的图象复原算法或面临着高维方程的计算问题,或要求恢复过程满足广义平稳过程的假设,这就是,使得具有广泛应用价值的图象复原问题没有得到圆满的解决的根本原因。

3.2 神经网络图象复原的方法

神经网络图象复原方法的发展方向自从神经网络图象复原首次提出十多年来,其研究在不断地深入和发展,描述它的现状已属不易,展望它的未来更是困难,况且科学研究具有不确定性. 据笔者判断,如下诸方面是亟待解决的问题,或研究活动已有向这些方面集中的趋势。

3. 2.1小波神经网络用于图象复原将是研究的重点

自1992 年Zhang 提出小波神经网络以来,如今已提出了各种类型的小波网络,且小波与神经网络的结合成了一个十分活跃的研究领域。通过学者们的理论分析和模拟实验表明: 由于小波神经网络具有逼近能力强、可显著降低神经元的数目、网络学习收敛的速度快、参数( 隐层结点数和权重) 的选取有理论指导、能有效避免局部最小值问题等优点,因此将其用于图象复原是一个值得研究的方向。将小波的时频域局部性、多分辨性等性质,与神经网络的大规模并行性、自学习特性等优点结合起来,不仅将使用于图象复原的小波神经网络具有自适应分辨性,也将使正则化参数的选取更具有自适应能力. 最终使复原图象既能保持图象的细节,又能很好地抑制图象中的各种噪声。

3.2.2细胞神经网络、BP 网络、自组神经网络

值得进一步研究细胞神经网络( CNN ) 由于其具有易于硬件实现的特点,因而具有很强的商业价值,但由于其自身还有很不成熟的地方,因此值得深入地研究. 其研究方向有: 细胞神经网络理论基础的进一步完善及在此基础上建立细胞神经网络中邻域系统的概念; 与图象数据局部相关性等概念结合起来研究,以建立新的图象复原理论,形成新的图象复原技术。BP 网络对受污染或带噪声的训练样本,不仅能进行正确的映射,且与其纯样本仍相似。 正是BP 网络的泛化能力强,使它在解决图象复原问题时,可能比其他神经网络具有更好的潜在性能。 将BP 网络用于图象复原是很值得进一步研究的.大家知道,人脑的学习方式是“自主的”,即有自组织和自适应的能力的,即人脑能在复杂、非平稳和有“干扰”的环境及其变化的情况下,来调整自己的思维和观念,还能根据对外界事物的观察和学习,找到其内在的规律和本质属性,并能在一定的环境下,估计到可能出现的情况以及预期会遇到和感觉到的各种内容及情况。 自组织神经网络(SONN) 正是基于人脑的这些功能而生成的,由于它具有能从输入的数据中,揭示出它们之间内在关系的能力,因此将其用于“盲图象”的复原将是非常有利的。

3.2.3 需要提出更适合图象复原的新神经网络模型

小波神经网络是为逼近任意非线性函数而提出来的,但为了图象复原的需要,可考虑针对图象复原的特殊情况,提出新的神经网络模型。 如,因为大多数图象是由平滑区域和轮廓细节组成的,其图象数据在平滑区域虽具有较强的相关性,但与轮廓细节相邻的数据应极不相关,所以,提出一种专用于图象复原的“相关性神经网络模型”是必然的期待; 再有,因为多项式具有较广的拟合性和较好的收敛性,所以应提出的“多项式神经网络”,将它们用于图象复原也是值得研究的。

3.2.4 神经网络与其他理论的结合

研究是寻求新模型、新方法的重要途径目前神经网络的研究正由单纯的神经计算转向计算智能,并结合脑科学的研究向生物智能方向发展。 为此,神经网络图象复原的研究也应考虑吸收模糊、分形、混沌、进化计算、信息融合等交叉学科的研究成果。 与模糊系统的结合将是一个重要的研究方向,因为,神经网络与模糊系统有如下很多的相同之处: ( 1) 它们在处理和解决问题时,无需建立对象的精确数学模型,而只需要根据输入的采样数据去估计其要求的决策; ( 2) 在对信息的加工处理过程中,均表现出了很强的容错能力; ( 3) 它们都可以用硬件来实现. 由此可见,将神经网络与模糊系统结合,用于图象复原将是有意义的研究工作。

4 未来展望

图像恢复发展到现在,已经有了许多成熟的算法,但是还是存在许多问题,等待着我们去解决。目前图像恢复的最新发展有:

1. 非稳图像复原,即空间可变图像复原。

2. 退化视频信号的复原问题,以及摄像机拍照图像复原,这是一个需要进一步研究的领域。

3. 运动补偿时空复原滤波,同时将时间相关应用到运动补偿中。

4. “Telemedicine“的出现,远程诊断极大的依赖于远程接受的图像质量,图像恢复在医学领域中有相当重要的作用。

5. 模糊 PSF 的 Identification 仍然是一个困难的问题,尤其在空间可变的 PSF 的估计中。

6. 空间可变恢复方法,可以利用 Wavelets 和 Markov 随机场等方法进行复图像恢复,这是一个具有发展潜力的研究方向。

参考文献

1 冯久超,黄海东. 基于神经网络的盲图象恢复[ J ] . 计算机科学,2000,27( 1) : 67~68.

2 Er ler K,Jernigan E. Adaptive image restorat ion using recursive image f ilters [ J ] . IEE E Trans actions on Signal Process ing,1994,42( 7) : 1877~1881.

卷积神经网络的历史范文2

前 言

虽然目前公众媒体将无线通信炒的很热,但这个领域从1897年马可尼成功演示无线电波开始,已经有超过一百年的历史。到1901年就实现了跨大西洋的无线接收,表明无线通信技术曾经有过一段快速发展时期。在之后的几十年中,众多的无线通信系统生生灭灭。

20世纪80年代以来,全球范围内移动无线通信得到了前所未有的发展,与第三代移动通信系统(3g)相比,未来移动通信系统的目标是,能在任何时间、任何地点、向任何人提供快速可靠的通信服务。因此,未来无线移动通信系统应具有高的数据传输速度、高的频谱利用率、低功耗、灵活的业务支撑能力等。但无线通信是基于电磁波在自由空间的传播来实现信息传输的。信号在无线信道中传输时,无线频率资源受限、传输衰减、多径传播引起的频域选择性衰落、多普勒频移引起的时间选择性衰落以及角度扩展引起的空间选择性衰落等都使得无线链路的传输性能差。和有线通信相比,无线通信主要由两个新的问题。一是通信行道经常是随时间变化的,二是多个用户之间常常存在干扰。无线通信技术还需要克服时变性和干扰本文由收集由于这个原因,无线通信中的信道建模以及调制编码方式都有所不同。

1.无线数字通信中盲源分离技术分析

盲源分离(bss:blind source separation),是信号处理中一个传统而又极具挑战性的问题,bss指仅从若干观测到的混合信号中恢复出无法直接观测的各个原始信号的过程,这里的“盲”,指源信号不可测,混合系统特性事先未知这两个方面。在科学研究和工程应用中,很多观测信号都可以看成是多个源信号的混合,所谓“鸡尾酒会”问题就是个典型的例子。其中独立分量分析ica(independent component analysis)是一种盲源信号分离方法,它已成为阵列信号处理和数据分析的有力工具,而bss比ica适用范围更宽。目前国内对盲信号分离问题的研究,在理论和应用方面取得了很大的进步,但是还有很多的问题有待进一步研究和解决。盲源分离是指在信号的理论模型和源信号无法精确获知的情况下,如何从混迭信号(观测信号)中分离出各源信号的过程。盲源分离和盲辨识是盲信号处理的两大类型。盲源分离的目的是求得源信号的最佳估计,盲辨识的目的是求得传输通道混合矩阵。盲源信号分离是一种功能强大的信号处理方法,在生物医学信号处理,阵列信号处理,语音信号识别,图像处理及移动通信等领域得到了广泛的应用。

根据源信号在传输信道中的混合方式不同,盲源分离算法分为以下三种模型:线性瞬时混合模型、线性卷积混合模型以及非线性混合模型。

1.1 线性瞬时混合盲源分离

线性瞬时混合盲源分离技术是一项产生、研究最早,最为简单,理论较为完善,算法种类多的一种盲源分离技术,该技术的分离效果、分离性能会受到信噪比的影响。盲源分离理论是由鸡尾酒会效应而被人们提出的,鸡尾酒会效应指的是鸡尾酒会上,有音乐声、谈话声、脚步 声、酒杯餐具的碰撞声等,当某人的注意集中于欣赏音乐或别人的谈话,对周围的嘈杂声音充耳不闻时,若在另一处有人提到他的名字,他会立即有所反应,或者朝 说话人望去,或者注意说话人下面说的话等。该效应实际上是听觉系统的一种适应能力。当盲源分离理论提出后很快就形成了线性瞬时混合模型。线性瞬时混合盲源分离技术是对线性无记忆系统的反应,它是将n个源信号在线性瞬时取值混合后,由多个传感器进行接收的分离模型。

20世纪八、九十年代是盲源技术迅猛发展的时期,在1986年由法国和美国学者共同完了将两个相互独立的源信号进行混合后实现盲源分离的工作,这一工作的成功开启了盲源分离技术的发展和完善。在随后的数十年里对盲源技术的研究和创新不断加深,在基础理论的下不断有新的算法被提出和运用,但先前的算法不能够完成对两个以上源信号的分离;之后在1991年,法国学者首次将神经网络技术应用到盲源分离问题当中,为盲源分离提出了一个比较完整的数学框架。到了1995年在神经网络技术基础上盲源分离技术有了突破性的进展,一种最大化的随机梯度学习算法可以做到同时分辨出10人的语音,大大推动了盲源分离技术的发展进程。

1.2 线性卷积混合盲源分离

相比瞬时混合盲源分离模型来说,卷积混合盲源分离模型更加复杂。在线性瞬时混合盲源分离技术不断发展应用的同时,应用中也有无法准确估计源信号的问题出现。常见的是在通信系统中的问题,通信系统中由于移动客户在使用过程中具有移动性,移动用户周围散射体会发生相对运动,或是交通工具发生的运动都会使得源信号在通信环境中出现时间延迟的现象,同时还造成信号叠加,产生多径传输。正是因为这样问题的出现,使得观测信号成为源信号与系统冲激响应的卷积,所以研究学者将信道环境抽象成为线性卷积混合盲源分离模型。线性卷积混合盲源分离模型按照其信号处理空间域的不同可分为时域、频域和子空间方法。

1.3 非线性混合盲源分离

非线性混合盲源分离技术是盲源分离技术中发展、研究最晚的一项,许多理论和算法都还不算成熟和完善。在卫星移动通信系统中或是麦克风录音时,都会由于乘性噪声、放大器饱和等因素的影响造成非线性失真。为此,就要考虑非线性混合盲源分离模型。非线性混合模型按照混合形式的不同可分为交叉非线性混合、卷积后非线性混合和线性后非线性混合模型三种类型。在最近几年里非线性混合盲源分离技术受到社会各界的广泛关注,特别是后非线性混合模型。目前后非线性混合盲源分离算法中主要有参数化方法、非参数化方法、高斯化方法来抵消和补偿非线性特征。

2.无线通信技术中的盲源分离技术

在无线通信系统中通信信号的信号特性参数复杂多变,实现盲源分离算法主要要依据高阶累积量和峭度两类参数。如图一所示,这是几个常见的通信信号高阶累积量。

在所有的通信系统中,接收设备处总是会出现白色或是有色的高斯噪声,以高阶累积量为准则的盲源分离技术在处理这一问题时稳定性较强,更重要的是对不可忽略的加性高斯白噪声分离算法同时适用。因此,由高阶累积量为准则的盲源分离算法在通信系统中优势明显。

分离的另一个判据就是峭度,它是反映某个信号概率密度函数分布情况与高斯分布的偏离程度的函数。峭度是由信号的高阶累积量定义而来的,是度量信号概率密度分布非高斯性大小的量值。

卷积神经网络的历史范文3

[关键词]排水防涝;数据融合;涝情预警;数据可视化

1引言

近年来,暴雨等极端天气给社会管理、城市运行和人民群众生产生活造成了巨大影响,加之部分城市排水防涝等基础设施建设滞后、调蓄雨洪和应急管理能力不足,出现了严重的暴雨内涝灾害。《全国城市市政基础设施规划建设“十三五”规划》提出“加快对城市易涝点整治”“建设暴雨内涝监测体系,提高内涝预报预警能力。”如何及时、准确、完整地掌握各个城市排水防涝工作进展,对城市排水防涝工作进行科学、有效的监督指导,成为住建部、省、市城建管理部门的迫切需求。大数据技术在海量异构数据融合、分布式数据处理与计算、数据可视化等方面具有优势,[1]融合大数据技术与城市涝情监管预警业务,成为客观分析排水防涝效果,科学指导城市安全度汛的有效方法。[2]

2应用需求

基于大数据技术,通过数据集成、互联网信息爬取、传感器采集等方式收集城市易涝点信息、城市降雨信息、城市涝情信息,为用户提供综合数据分析、可视化展现等服务,为城建管理部门监督、指导城市开展排水防涝工作提供支撑平台。系统主要需求包括以下三方面:①准确、及时掌握城市降雨及涝情信息。能够从气象网站获取全国主要城市的逐小时降雨信息。从门户网站、微博等渠道爬取城市涝情相关信息,及时掌握全国各地涝情程度和影响;②城市涝情信息预警预测。综合降雨量、城市防涝标准、易涝点治理进展、历史涝情等信息,建立城市涝情预警分析模型,对全国城市未来涝情情况进行预警,指导城市排水防涝工作;③对降雨、积水、涝情等信息进行综合利用,提供每日涝情情况汇总报告、涝情周报、涝情预警情况报告。辅助领导决策,满足监督、指导各地开展排水防涝工作的需要。

3系统建设方案

3.1数据架构。排水防涝信息系统融合易涝点基础信息、补短板项目进展信息、易涝点实时监测信息、城市涝情信息、城市降雨信息,形成排水防涝综合数据库,支撑排水防涝业务处理及科学决策需要。排水防涝数据体系包括:基础数据、业务数据、决策分析数据三类:①排水防涝基础数据:基础数据包括代码数据、基础数据、空间数据。基础数据在排水防涝系统各模块共享使用;②排水防涝业务数据:包括补短板项目业务进展数据、易涝点实时监控数据以及从互联网、第三方采集的降雨数据、涝情数据、统计年鉴等排水防涝相关数据,为排水防涝分析决策提供支撑;③排水防涝决策分析数据:决策分析数据是依据数据分析与综合决策要求,对排水防涝业务数据进行加工处理形成的数据,包括排水防涝统计数据、治理系统评价数据、涝情分析预测等数据。3.2技术架构。排水防涝信息系统利用大数据平台的数据采集、存储、计算、分析能力构建,由基础设施层、综合数据库层、大数据技术支撑层、排水防涝应用层以及信息安全体系、数据指标体系组成,构建科学合理的数据分析、涝情预测模型,通过丰富、形象、易用的数据可视化技术,满足排水防涝业务的数据应用需求。①基础设施层:通过云计算技术,将网络、计算、存储、安全等基础设施池化,为大数据支撑平台、综合数据库、排水防涝应用提供稳定、可靠、高效的运行环境;②综合数据库层:将易涝点数据、涝情数据、降雨数据、监测数据等按照数据标准体系进行清理、转换、加载等处理,形成满足业务处理与分析决策的综合数据库;③大数据技术支撑层:满足分布式环境下海量异构数据采集、存储与资源管理、分布式计算框架、大数据分析与可视化展现等功能需求。主要的技术组件包括地理信息、信息爬取与搜索、数据挖掘、集成接入(ETL)、遥感遥测分析等;④信息安全体系:围绕信息保密性、真实性、可用性(CAA)目标,参照信息系统安全机制构建涵盖物理安全、网络安全、应用安全、数据安全、管理安全的数据安全服务体系,为排水防涝信息管理提供安全的数据服务;⑤数据指标体系:建立排水防涝信息的数据标准、技术标准和管理标准,确定数据采集、数据集成、数据共享的技术路线,推动数据互联互通与信息共享,形成排水防涝顶层数据指标体系;⑥排水防涝应用层:梳理排水防涝信息管理业务流程,按照数据指标体系要求,提供易涝点管理、涝情信息管理、降雨信息管理、综合数据分析、业务一张图、涝情预测等服务,满足排水防涝业务需求。3.3功能架构。排水防涝系统主要功能包括:城市降雨信息管理、涝情报告生成、综合展现一张图、统计分析、基础信息管理等模块。①城市涝情预警。融合降雨数据、防涝标准、历史涝情数据,构建涝情预警模型,提供城市涝情预警预测服务;②涝情报告生成。利用网络爬虫及语义识别技术,从微博、门户网站等渠道采集城市涝情信息。提供城市涝情周报、日报等报告生成功能;③综合展现一张图。基于二维GIS地图展现城市降雨、涝情以及易涝点位置、积水、视频等数据,实现相关数据的综合展现;④统计分析。从行政区域、时间等维度提供涝情分布、涝情趋势对比分析等功能,通过统计图表方式,实现数据的直观展现和应用;⑤基础信息管理。对城市防涝标准、易涝点位置、监测设备等基础信息进行管理,为规范城市涝情、降雨、积水等信息提供支持。

4关键技术

4.1涝情信息爬取与识别技术。4.1.1涝情信息爬取。通过爬虫采集数据主要包括三种方式:定向采集、扩展采集以及源搜索。定向采集是指限定站点或者频道来搜索,实现精确的数据采集;扩展采集是指通过设定采集的起始点和采集的深度来实现比较精确的数据采集;源搜索是指利用搜索引擎(如百度、搜狗、360等),通过设置关键词组来实现数据的非精确采集。本项目采用定向采集方式。按照数据采集范围、关键词持续采集数据,并对重复数据进行去重,能够根据语义过滤垃圾数据。分布式城市涝情信息爬虫体系包括如下四部分:①系统管理控制台:对爬虫系统部署的软硬件资源进行监控及动态管理,包括服务器资源及网络状况、爬虫进程运行情况以及异常事件处理等;②爬取规则定义:能够依据网络爬虫的运行状况和信息爬取效果对爬取规则进行定义及优化。主要定义的爬取规则包括:爬取范围、优先策略(深度、广度)、分析词策略(关键词、剔除词)、爬取频率等;③功能中间件:主要包括爬取中间件、爬取防屏蔽中间件、数据存储中间件等,提供数据采集、分析、避免反爬取策略、数据存储及查询服务;④分布式基础设施:采用“主从”模式构建,主节点将爬取、分析任务在从服务器动态分配,并建立异常处理机制,实现爬虫高效、稳定运行。4.1.2涝情信息识别。网络爬虫依据“大雨、内涝”等关键字采集的舆情数据不都是有效涝情信息,存在大量噪声。为了提高爬虫获取涝情数据的准确率,构建了“正则关联”与机器学习算法结合的涝情信息识别模型。通过机器学习算法进行语义理解,建立爬虫抽取的数据类别库,即判读每一条数据是否与洪涝相关,从而将样本库分为两类。通过卷积神经网络(CNN)和循环神经网络(RNN)提取文本上下文语义特征信息,依据属性特征对其进行分类,判别爬取的内容是否属于涝情相关的数据。该模型进一步提高了涝情数据的精准度。4.2城市涝情预警预测技术。以降雨预报、历史降雨信息、历史涝情信息、排水防涝标准、易涝点治理进展为主要因子构建城市涝情预测模型,将风险划分为“最高”“高”“较高”“一般”“无”5种等级,并三天内各城市的风险预警,为指导城市内涝工作提供决策依据。通过接入涝情城市、基于内涝点的降水实况及预报、覆盖内涝城市的降水实况及预报等数据,通过滚动计算方法,将其与城市防涝标准做对比,通过制定风险预警策略,预判城市涝情风险和易涝点涝情风险,并实时涝情预警信息。4.3排水防涝数据可视化技术。通过大数据技术融合城市涝情舆情信息、城市降雨信息、城市涝情监控实时信息,利用专题一张图、报告生成等方式实现多维度叠加式数据可视化,更好地服务综合管廊建设管理部门的规划和决策。①排水防涝专题一张图。基于GIS的业务多图层综合展现,将全国易涝点、降雨和涝情信息集中在一张图,关联降雨对涝情的影响,科学评估易涝点治理效果;②排水防涝业务分析报告:面向不同用户的业务需求,按照报告模板要求的格式、数据快速生成分析报告。报告采用文字、表格、统计图等多种数据展现形式,内容包括降雨分布情况、涝情分布情况、降雨与涝情关系分析等。

5结论

文章研究大数据在城市涝情监管预警领域的应用方案,充分发挥大数据在分布式、海量、异构数据采集、存储、处理、分析方面的优势,改变传统信息采集方式,融合易涝点数据、降雨数据、涝情数据、补短板项目数据,实现“填报型”到“监控型”应用的转变,构建城市排水防涝效果评价、涝情预测等数据分析应用模型,为促进排水防涝工作提供有力支撑。

参考文献:

[1]孙敏,王琳.大数据时代下的数据可视化方法分析[J].软件,2019,40(9).

[2]张丽虹.大数据背景下城市排水防涝设施动态管理系统设计[J].工程管理与技术,2018(4).

[3]薛祥光,蒋世峰,李萌,等.GIS在城市排水防涝中的应用趋势[J].科技视界,2016(1):71-72.

[4]侯圣峦,刘磊,曹存根.基于语义文法的网络舆情精准分析方法研究[J].计算机科学,2014(10).

[5]郝莹,陈靖,王元,等.基于高时空分辨率降水预报产品的城市内涝预警研究[J].暴雨灾害,2019(3).

卷积神经网络的历史范文4

【关键词】图像复原;正则化;GMRES;约束最小二乘

1 国内外研究现状

用迭代方法处理各种反问题已有悠久的历史。但是研究表明,使用迭代方法求解反问题,有时会出现所谓的“半收敛”现象,即在迭代的早期阶段,近似解可稳定地得到改进,展现出“自正则化”效应,但当迭代次数超过某个阈值后便会趋向于发散。因而,使用迭代法求解的关键是要寻找一个恰当的终止原则,在迭代次数和原始数据误差水平之间找到平衡值。研究表明,迭代指数,即迭代步数正好起到正则化参数的作用,而这个终止准则对应着正则化参数的某种选择方法。并且使用迭代方法求解还有很多优点,因此,在正则化问题求解中通常选用迭代的方法,常用的迭代方法有:Landweber迭代法、VanCittert迭代方法、最速下降方法和迭代Tikhonov正则化的求解方法,以及正则化方法的快速数值实现。

2 基于解空间分解的GMRES 算法及图像复原应用

2.1 正则化模型与图像复原

设F和U分别表示度量空间,度量为ργ和ρμ,算子A:F到U映F到U,则该问题变为线性反问题(当A为线性算子时),或非线性反问题(当A为非线性算子时)。“不适定性”(病态性)是所有反问题所具有的一个共同的特性。一般情况下,不适定性是反问题本身的固有特征:如果问题的先验信息是未知的,那么就无法得到理想的结果。因此,我们应该尽可能多的收集先验信息,最大限度的复原原问题。通常,人们将求解反问题(不适定问题)的理论和方法称为正则化方法。对于图像处理问题,由于涉及到大规模的方程组求解,法方程的维数太大,此时再应用代数方法求解就会遇到一些难以实现的技术问题,而选用正则化方法不但可以克服上述缺点,还具有某些优点,当问题从无穷维度变到有限维度时,迭代求解不会影响系数结构,而且能够起到节约运算空间的效果。这些优势在大规模计算中非常有利。

对于图像恢复的病态性问题,利用正则化思想进行图像复原时,需要利用先验信息,构造某种约束条件,使用数理统计方法,将图像复原这一不适定问题转变成适定问题,进而使得近似解满足适定性的三项约束,这也是正则化方法的优势所在。

2.2 解空间分解的广义极小残量算法

在对线性方程组Ax=b,A紧算子,进行求解时,为了尽可能减少存储空间和计算开销,Krylov子空间迭代法是求行之有效的方法。当系数矩阵A对称正定,共扼梯度法(CG)或预共辘梯度法(PCG)可快速准确求解该方程组的近似解;当A对称但不正定时,极小残量法或预极小残量法则能有效求解方程组。对于一般的非对称矩阵,常采用广义极小残量法、共扼梯度法来求解。GMRES算法利用Arnold过程产生Krylov子空间Kj的正交基,Arnold过程中每次迭代运算,都要调用所有前面的迭代所产生的正交基来生成下一个正交基。

2.3 光学图像复原结果

对于方程Ax=b,利用基于解空间分解的加速GMRES 算法迭代求解。计算步骤如下:

Step1.置初始值x0=0,并令δ=10-8;

Step2.用解空间分解的加速GMRES 算法迭代求解式Ax=b,在第j步的值为xj;

Step3.若■≤σ,终止迭代;否则置 j=j+1,继续进行Step2。在迭代运算中,正则化参数αj=15,■随着迭代的进行自动更新。

图像复原实验中处理的是256*256尺寸的0-255灰度级的liftingbody图像。用改进信噪比来衡量算法的复原性能。从复原之后的对比效果看,共扼梯度法(CG)并不能有效的抑制模糊退化,复原结果仍然比较模糊,图像边缘有振铃波纹出现。解空间分解的加速GMRES算法复原结果的边界纹路比较清晰,很好的显示出原图像边缘细节部分,与此同时,振铃波纹因为加窗处理得到有效抑制,整体视觉效果很好。

3 线性代数方法与图像复原应用

在涉及到复杂矩阵和向量的离散图像复原模型中,可以从线性代数方法中得到一种效率较高的求解方法,常用的方法是约束最小二乘法。对约束最小二乘法进行改进,根据先验信息,把正则化思想和约束最小二乘法等有机结合在一起,并将其运用到离散图像复原中,得到的约束最小二乘的空域迭代法可以出色的抑制噪声,而且在噪声很强是也可以得到很好地复原结果。

将正则化思想与约束最小二乘法相结合,继而复原退化图像。通过对噪声能量的限制来使用正则化理论,运用空域迭代时很好的抑制了噪声放大现象,同时克服了病态性,而且计算速度得到了提升。实验数据表明,本方法更适合复原污染程度较大的图像,但不适合复原模糊程度较大的图像。

4 总结与展望

图像复原近年来受到了越来越广泛的关注,正则化方法理论的发展也越来越得到完善,许多学者从模型上、理论上、应用上分别展开了对于正则化的图像复原的深入研究,本文的研究虽然力求有较强的实用性,但是由于受到多方面的限制,在理论和工程应用等方面仍存在很多的待丰富和改进之处,需要在以后的工作中继续深入研究。

首先,要加深对观测图像的先验信息的挖掘,因为如果能够有效利用先验信息,就能极大的改善估计精度以及问题的病态性。要充分的利用各种先验知识,构造更加精确地目标泛函,设计出更加优良的算法,同时要充分分析现有正则化参数的选择方法,结合各个方法的优缺点,构造出更加高效的正则化算子;要注意噪声扩大与图像复原的平衡,充分利用成像时的分段平滑性质,去除图像边缘模糊和振铃现象。其次,要注重正则化图像复原方法与其他图像复原方法的有机结合。现阶段,神经网络、小波分析和遗传算法等新式的算法在图像复原方面取得了极大的进展,如果能够将这些理论结合在一起,形成优势互补,一定能得到性能更好的图像处理算法。

【参考文献】

[1]肖庭延,于慎根,王延飞.反问题的数值解法[M].北京:科学出版社,2003.

[2]邹谋炎.反卷积和信号复原[M].北京:国防工业出版社,2001.