前言:中文期刊网精心挑选了神经网络的特性范文供你参考和学习,希望我们的参考范文能激发你的文章创作灵感,欢迎阅读。
神经网络的特性范文1
关键词:图像复原 BP神经网络 Hopfield神经网络 应用
中图分类号:TP391.41 文献标识码:A 文章编号:1007-9416(2013)11-0040-02
1 引言
图像复原是一项富有现实意义的工作,它涉及到广泛的技术领域,是图像处理领域研究的焦点之一。在得到图像的过程中,由于各种各样的原因,包括与观测对象的相对运动、介质散射、成像系统缺陷和环境噪声等原因,使得最终的图像都会有一定程度的退化。图像复原就是从退化的图像中恢复图像的本来面目。传统的图像复原处理问题的关键在于建立退化模型,估计退化过程中的参数,由此通过相应的逆过程得到原始图像。获得准确的图像退化模型是比较困难的事情。大多数图像复原的实际问题是点扩展函数以及原始图像均未知的盲复原问题,这类问题具有更严重的病态性因而进一步增加了解决的难度。人工神经网络(Artificial Neural Network,ANN)为图像复原问题的解决提供了另外一条路径,这是基于人工神经网络具有的模拟人类神经的非线性、自组织、自学习、自适应特性。一般而言,人工神经网络适合于解决无法或很难精确建立数学模型、不完全清楚内部机理的问题,人工神经网络的很多特性适合解决图像复原问题。近些年来,对人工神经网络应用于图像复原的研究越来越多,形成了很多丰富的神经网络模型和算法。BP(Back Propagation反向传播)和Hopfield(霍普菲尔德)是典型的人工神经网络类型,也是在图像复原领域应用较多的神经网络类型。
2 BP神经网络在图像复原中的应用
2.1 BP神经网络的特性
BP神经网络是上世纪80年代美国加州大学的Rumelhart、McClelland及其团队研究并行分布信息处理时提出的采用反向传播算法的多层前馈网络。BP神经网络具有良好的泛化能力,其隐层的非线性传递函数神经元可以学习输入输出之间的线性或非线性关系。在1989年,RobertHecht-Nielson证明了对于任何一个在闭区间内连续的函数都可以由具有一个隐含层的BP网络来逼近,这样,一个三层(输入层、隐层和输出层)的BP神经网络即能完成对多维度函数的逼近。这些特性,使得选用BP神经网络简单地实现在未知点扩展函数的情况下,拟合原始图像与退化图像之间的关系,从而得到满意的图像复原结果成为可能。
2.2 BP神经网络应用于图像复原
BP神经网络用退化图像与相对应的原始图像进行训练,退化图像为网络的输入,原始图像为网络的输出。训练完成的神经网络会在退化图像与原始图像之间建立非线性的映射关系,使得利用这种非线性关系即可实现在只有退化图像的情况下对齐进行复原。
利用BP神经网络进行图像复原,一般用输入图像的N×N邻域内的N2个像素点对应输出图像的一个像素点。这样的对应方法会使整个运算量增大,但正由于参与运算的像素点增加,使得网络具有更好的泛化和鲁棒能力。由于三层BP神经网络可以任意精度逼近某一多维度函数,因而其应用于图像复原时使用三层网络结构。输入层和输入层节点数分别由输入图像像素数量和输出图像像素数量决定,隐层节点数量和训练方法在很大程度上决定了网络性能。
为了便于网络计算,通过神经网络计算前通常将输入图像进行归一化。以灰度图像为例,将图像数据[0~255]转换到[-1~1]或[0~1]。图像经过神经网络复原后还需进行反归一化转换,将计算得到的数据转换为图像数据,即将[-1~1]或[0~1]转换到[0~255]。
通常,运用BP网络进行图像复原算法流程包括:(1)图像的预处理,得到归一化的便于神经网络计算的数据;(2)使用退化图像与对应的原始图像(训练BP神经网络;(3)将待复原图像输入训练好的BP神经网络进行图像复原;(4)数据的后处理,将网络输出数据进行反归一化,得到复原图像。
3 Hopfield神经网络在图像复原中的应用
3.1 Hopfield神经网络的特性
不同于BP神经网络,Hopfield神经网络是一种单层反馈网络,信号在网络中不仅向前传递,还在神经元之间传递。图1是有三个神经元的Hopfield神经网络结构图。Hopfield神经网络由美国加州理工学院物理学家J·J·Hopfield在上世纪80年代提出,并首次在神经网络研究中引入了计算能量函数的概念,通过研究网络的稳定性与计算能量函数的相关性给出了网络的稳定性判据。J·J·Hopfield运用Hopfield神经网络成功地探讨了旅行商问题(TSP)的求解方法。HNN神经网络采用灌输式学习方式,其网络权值是事先按一定规则计算出来的,确定之后不再改变,各神经元的状态在运行过程中不断更新,网络稳定时各神经元的状态便是问题的解。Hopfield神经网络的这些自身特征使其适于应用于联想记忆和求解最优化问题。
3.2 Hopfield神经网络应用于图像复原
利用神经网络进行图像复原的方法分为两类:一种是用原始图像和模糊图像构成的样本训练神经网络,在训练好的网络中建立起原始图像与模糊图像的非线性映射关系,然后以带复原的模糊图像作为网络的输入,经过网络输出的图像数据就是经过复原的图像,BP神经网络就是运用这种方法进行图像复原的典型神经网络。另一种是经过神经网络反复的数学迭代计算复原,运用Hopfield神经网络进行图像复原属于这类方法。
其中是神经网络的状态向量,为网络的权值矩阵,为由网络中各神经元阈值构成的向量。Hopfield神经网络的运行结果即网络达到稳定状态就是达到最小值时的状态。由式(4)和(5)可以看出图像复原的目标函数与Hopfield神经网络能量函数具有相似的表达形式,因而可以建立两者之间的联系,从而将图像复原问题转变为神经网络的运算问题,这也就是Hopfield神经网络应用于图像复原的基本原理。
运用Hopfield神经网络解决图像复原问题首先要确定网络的权值矩阵。可以按照Hebb学习规则得出[4]。完成网络初始化后,将退化图像输入网络,从网络中选取一个神经元按照Hopfield神经网络的运算规则得出神经元的输出,将所有神经元求出输出后判断该网络是否达到稳定状态,即计算前后的网络能量函数的误差是否小于要求的范围。如果网络不稳定,需要重复迭代计算;网络达到稳定状态时,神经网络的状态向量就是要求的原始图像。经过一定的后处理就能得到具有一定精度的原始图像。
4 结语
人工神经网络在图像复原问题中的应用已经扩展到了很多方面,包括三维显微图像、高能闪光照相等领域[5-6]。神经网络在图像复原中的应用机理也不断得到深入研究。这些得益于神经网络算法不依赖求解问题本身数学模型的特点,以及自身强大的泛化能力。BP和Hopfield神经网络都能成功地运用在图像复原问题中,在选用神经网络进行图像复原研究时要注意到BP神经网络强烈地依赖退化图像与原始图像构成的样本集合对网络进行训练,这就要求得到足够的先验知识或者通过某种算法得到退化图像与原始图像相对应的样本群。Hopfield神经网络不依赖于退化图像与原始图像的先验知识,可以直接针对退化图像进行复原。这就需要根据不同的实际情况选取合适的网络类型来解决问题。
参考文献
[1]尚钢,钟珞,陈立耀.神经网络结构与参数选取[J].武汉工业大学学报,1997,19(2).
[2]王晗.基于Hopfield神经网络的图像恢复[D].武汉:华中科技大学南京理工大学,2006年4月.
[3]席旭刚,罗志增.用Hopfield神经网络实现触觉图像恢复[J].仪器仪表学报,2008,30(10).
[4] Bianchini M,Frasconi P.Learning without local minima in radial basis function networks[J].IEEE Transaction on Neural Networks,1995,6(3):749~756.
神经网络的特性范文2
关键词:暂态混沌神经网络;优化问题;非线性函数优化;TSP
中图分类号:TP183 文献标识码:A 文章编号:1004-373X(2009)04-076-04
Transient Chaotic Neural Netwgork and Its Optimization ofthe Applied Research
PENG Jingbin1,2,YE Jinbao2,3,WANG Xuejiao3
(1.Hengyang Transport Machinery Co.Ltd.,Hengyang,421002,China;2.Hunan Sci.and Tech.Economy Trade Vocational College,Hengyang,421009,China;
3.University of South China,Hengyang,421001,China)
Abstract:For analysing and studing the characteristic and optimized mechanism of transient chaotic neural network,based on analysis of transient chaotic neuron model,through programming the simulation analysis in the Matlab software to compare the neural network dynamic characteristic and various parameters regarding the network optimization process influence.Transient chaotic neural network model by the chaos inherent in the use of random traversal of the track,and carries on the search in wide range according to its own rule,the search process,according to traverse chaotic orbit,free from restrictions on the objective function,which has overcome the local minimum The ability to effectively can solve a series of combinatorial optimization problems.The control network parameter is selected according to the network dynamic characteristic,through the simulation,problems of non-linear function optimization and 10 city TSP problems are solved.The optimization results is satisfied.And thus is conducive to such a chaotic neural network optimization problem in the promotion.
Keywords:transient chaotic neural network;optimization;non-liear function optimization;TSP
0 引 言
生物神经网络是一个非常复杂的非线性巨系统,存在各种复杂的动力学行为,在生物学实验中人们已观察到人脑和动物神经系统中的各种混沌行为。由于人工神经网络是对生物神经网络的模拟,因而深入研究人工神经网络中的复杂动力学(特别是混沌)对于提高人工神经网络的智能化程度具有重要意义。人工神经网络的一个重要应用领域是用于优化。神经网络的寻求稳定平衡点的大规模并行计算能力对于优化问题是强有力的工具,但由于其利用梯度下降的动力学,因此在求解许多实际优化问题时常陷入局部极小值。由于混沌具有遍历性、随机性、规律性的特点,混沌运动能在一定范围内按其自身的规律不重复地遍历所有状态,因此,利用混沌变量进行优化搜索,无疑会比随机搜索更为优越。混沌动力学为人们研究神经网络提供了新的契机,用神经网络研究或产生混沌以及构造混沌神经网络,混沌神经网络具有更加丰富和远离平衡点的动力学特性。混沌动力学是以对初始条件的敏感性以及在相空间的不停运动为特征的,这一特点使得混沌成为很好地在状态空间进行搜索的机制,当将其用于优化时,它具有逃离局部极值的能力。正是基于这个机制,这里研究了暂态混沌神经网络模型和其优化问题中的应用,它具有暂态的混沌动力学行为,可以对状态空间做暂时的搜索。
1 暂态混沌神经元
混沌神经元是标定混沌神经网络的基本单位,对于单个神经元的混沌特性的了解可为混沌神经网络提供必要前提和认识基础。在混沌神经元的研究中,振荡子是一种典型的研究对象,因为振荡子或它们的组合可表现出丰富的混沌动力学行为,为了理解混沌神经网络的运行机理,在此以单个神经元为例检验该网络的混沌动力学行为。首先给出暂态混沌神经网络模型:
Иui(t+1)=kui(t)+α\j≠1wijvj+θ-s1(k)\〗-
gi(t)\И
当Е联=0时单个神经元的网络模型:
Иu(t+1)=ku(t)-g(t)\(1)
v(t)=11+exp{-μu(t)\}(2)
gi(t)=(1-β)gi(t+1)(3)
η(t+1)=η(t)ln{e+λ\}(4)И
在Matlab中仿真混沌神经元模型进行模拟仿真,对式(1)~式(4)随机取参数Е=0.7,β=0.001,λ=0.006,μ=300Щ煦缟窬元内部状态的演变如图1所示。
图1 混沌神经元状态演化图
对于这里的单个混沌神经元的动力学特性和控制参数的演化过程进行仿真与研究。
图2、图3是在式(1)~式(4)取参数k=0.9,β=0.001,λ=0.006,g(0)=0.08时单个神经元的动力学特征和控制参数的退化曲线,可以看出式(1)~式(4)组成的网络具有暂态混沌动力学的行为,随着控制参数在时间上的不断衰减,通过一个倍周期倒分叉过程,网络将逐渐趋于稳定的平衡点。
图2 单个神经元的动力学特征
图3 控制参数的退化曲线
图4、图5中k=0.9,β=0.003,λ=0.006,g(0)=0.08,由于图4,图5相对于图2和图3只是β增大,但可以知道β增大有利于加速收敛,但优化质量会有所下降,从网络的动态方程可知,β增大使能量函数对动态方程的影响增大,如影响过大,将不能产生充分地混沌动态;反之太小的β使能量函数的变化不能充分的影响动态的演变,从而搜索过程难以收敛到对应最小能量值的最优解,同时过分的混沌搜索将导致优化过程变长。
图4 单个神经元的动力学特征
图5 控制参数的退化曲线
图6、图7中k=0.9,β=0.001,λ=0.008,g(0)=0.08,由图6,图7相对于图2和图3只是λ增大,然而可以知道λ增大有利于加速收敛,但优化质量会下降,λ的大小反应控制参数Z(t)的下降速率的快慢,过大的λ会使Щ煦缍态消失的过快,从而容易收敛到局部最小或非法状态;反之混沌动态持续太久,将严重影响收敛速度。
图6 单个神经元的动力学特征
图7 控制参数的退化曲线
图8、图9中k=0.9,β=0.001,λ=0.008,g(0)=0.10,由图8和图9相对于图2和图3只是Z(0)增大,但可以知道Z(0)减小有利于加速收敛,但算法收敛到次优解的概率将增加,加快Z的下降速度,一旦混沌行为不充分则必然影响优化性能;反之Z(0)过大将使得下降过程过慢,从而混沌对系统演化过程的影响过大,收敛必然缓慢。
图8 单个神经元的动力学特征
图9 控制参数的退化曲线
2 暂态混沌神经网络
上述部分对单个无反馈神经元的动力学特性和控制参数进行了仿真与研究,下面系统地对混沌神经网络进行研究。显然暂态混沌神经网络有反馈项,而且还是许多单个的神经元构成,其构成是将混沌机制引入到Hopfield神经网络中,构造出具有自组织特性和克服局部极小能力的暂态混沌神经网络,其数学模型如下:
Иui(t+1)=kui(t)+α\j≠1wijvj+θ-s1(K)\〗-
gi(t)\(5)
vi(t)=11+exp{-μui(t)\}(6)
gi(t)=(1-β)gi(t+1)(7)
ηi(t)=ηi(t-1)ln{e+λ\}(8)И
其中:式(5)为混沌神经网络的动态方程;式(6)为神经网络的激励函数。ui和vj为神经网络在K时刻的输入和输出;wij为从第j个神经元到第i个神经元的连接权值;k为比例常数;θ为神经元偏置;S1(K),S2(K)为外加的混沌变量;β和λ为时变量gi(t)和ηi(t)У乃ゼ跻蜃印Hopfield神经网络离散型模型为:
Иui(K+1)=(1-Δtτ)ui(K)+Δtβ′[∑njwijvj(K)+θ]
=kui(K)+β[∑njwijvj(K)+θ](9)И
比较混沌神经网络和Hopfield神经网络模型只是在Hopfield神经网络后面加上Вgi(t)\项,变量gi(t)表示每个神经元的抑制自反馈链接的强度,当t0,gi(t)0,Щ煦缟窬网络退化为神经网络暂态混沌神经网络模型综合了随机性和确定性算法的优点。优化过程分为基于混沌的“粗搜索”和基于Hopfield神经网络“细(梯度)搜索”两个阶段。粗搜索中的混沌搜索同时具有随机性和轨道遍历性,具有克服陷入局部极小的能力。随机性保证大范围搜索能力,轨道遍历性使算法能按系统自身的行为不重复地遍历所有可能状态,有利于克服一般随机算法中以分布遍历性的机制搜索带来的局限性。粗搜索过程结束,转入HHN梯度搜索及细搜索阶段,随着粗搜索结束,系统方程中控制参数决定项的作用很弱,及暂态混沌动力行为消失后,网络优化过程基本按能量函数的梯度下降方向进行。此时的行为类似于Hopfield神经网络寻优过程。系统最终收敛于一个稳定的平衡点,即收敛到全局意义下较满意的解。
算法流程图如图10所示。
3 暂态混沌神经网络模型在优化问题中的应用
3.1 在函数优化中的应用
求解下述非线性优化问题:
ИF(x)=(x1-0.8)2\+
(x2-0.6)2\И
目标函数的全局最小点为:(0.8,0.6);局部极小点为有3个:(0.7,0.5),(0.7,0.6),(0.8,0.5)。以min F(x)为网络的能量函数进行优化求解并给定相应的网络参数和网络初始值。
计算结果见表1。
表1 计算结果
全局最优解对应最优解迭代次数
理论解0.000.8,0.6-
混沌解1.478E-0070.799,0.59990
在此给出网络的神经元的输出X(t)随时间的演化过程(随时间变化):如图11所示。
图10 优化流程图
图11 神经元1的输出X1(t)和神经元2的输出X2(t)
两个神经元的输出函数的初始状态是不可预测的混沌运动,随着非线性反馈强度的逐渐减弱,经过短暂的分叉过程后,最终收敛到网络的稳定状态(0.8,0.6)处。因此该网络具有避免陷入局部极小值的能力,从而实现全局优化。
3.2 应用于TSP问题(10个城市TSP问题)
TSP问题是一类典型的组合优化难题,它要求旅行商用最短的路径走遍地图上的n个城市而且只能访问一次,最后回到起始点。TSP问题分为对称TSP(dij=dji)和非对称TSP(dij≠dji)。其中:dij表示城市i与城市j之间的距离;对称TSP的可能路径有(n-1)!/2条,非对称的有(n-1)!条。显然,用穷举法来寻找最短路径将花费大量的时间,而且若城市数量大,则该方法几乎是无法解决TSP问题的。1985年,Hopfield与Tank构造了TSP问题满足所有限制条件的一个能量公式:
ИE=w12\ni=1(∑njxij-1)2+∑nj=1(∑nixij-1)2\〗
+w22∑ni=1∑nj=1∑nk=1(xkj+1+xkj-1)xijdikИ
同时,结合HNN算法成功地解决了TSP问题。但是对于10个城市的TSP问题,20次实验中,只得到16次合法解,10次最优解通过分析得到解决TSP问题的差分方程:
yij(t+1)=kyij(t)+α{-w1\ni≠jxij(t)+
∑nk≠ixkj(t)\〗-w2\nk≠idik(xkj+1(t)+xkj-1)\〗+
w1}-zi(t)\, i=1,2,…,n
对于10个城市的TSP问题,原始数据取自文,参数选取如下:k=0.9; W1=1;W2=1;I0=0.65;γ=100;z(0)=0.05;εi=250;变动β,λ,随机选取初始值仿真120次得到表2的仿真结果。
表2 仿真结果
Е力娄霜ё钣沤猹な目次优解な目平均迭代ご问
0.020.060.011173320
0.020.040.011200289
0.020.040.024254
0.030.020.012241
从表2中取出1组数据Е=0.03,β=0.02,λ=0.01,神经元输出能量函数演化图以及最优路径如图12所示。
图12 10个城市TSP最短路径仿真图
对图12分析可以得到:模型中存在很多参数需要选取。输入正比例系数Е劣跋斓代步数的多少与模型混沌动态性能,过小的α值使迭代步数增加,过大的α值则减弱模型混沌动态性能,故应该仔细选取该参数;β控制增益函数的衰减速率,这个参数将显著影响寻优过程的收敛速度,较小的β值将会加快收敛速度;较大的λ值会加快收敛速度但会使混沌动态消失过快,从而影响寻优结果,较小的λ值会使混沌动态作用时间加长而使收敛速度变慢。
4 结 语
暂态混沌神经网络利用混沌所固有的随机性和轨道遍历性在大范围内按其自身规律进行搜索,搜索过程按混沌轨道遍历,不受目标函数限制,从而具有克服陷入局部极小的能力。当混沌搜索结束以后,网络进入类似Hopfield网络的梯度搜索过程,由于混沌搜索为梯度搜索提供了一个好的位于全局最优解附近的初始值,因而可以较快地获得全局意义下的最优解。通过实例仿真分析,比较暂态混沌神经网络在优化方面显示出了其优化方面的优势和较好的发展前景。
参 考 文 献
[1]Aihara K,Takabe T,Toyada M.Chaotic Neural Networks[J].Phys.Letters A,1990,144(6/7):333-340.
[2]Nozawa H.Solutions ofthe Optimization Problem Using the Neural Network Model as a Globally Coupled Map[J].Physica D,1994,75(1-3):179-189.
[3]张学义,胡仕诚,谢荣生,等.一种混沌神经网络及其在优化计算中的应用[J].系统工程与电子技术,2000,22(7):69-71.
[4]王凌,郑大钟.一种基于退火策略的混沌神经网络优化算法[J].控制理论与应用,2000,17(1):139-142.
[5]窦春霞,张淑清.基于混沌神经网络预测模型的最优控制决策及应用[J].动力工程,2004,24(1):68-72.
[6]Chen Luonan,Aihara Kazuyuk.Global Searching Ability of Chaotic Neural Networks [J].IEEE Transactions on Circuits and System I:Fundamental Theory and Application,1999,46(8):974-993.
[7]窦春霞.基于混沌一神经网络模型最优控制及应用[J].系统工程学报,2004,19(3):229-233.
[8]李薪宇,吕炳朝.暂态混沌神经网络中的模拟退火策略优化[J].计算机应用,2005(10):198-200.
[9]周婷,贾振红,刘秀玲.一种用于函数优化的小波混沌神经网络[J].计算机应用,2007,27(12):2 910-2 912.
[10]高海昌,冯博琴,朱利.智能优化算法求解TSP问题[J]控制与决策,2006(3):241-247.
神经网络的特性范文3
关键词:公路工程;造价;估算;模糊
神经网络对于公路工程建设企业来说,工程估价的准确性与合理性,直接决定着项目投资决策的正确性,是分析工程项目可行性的主要环节,同时也是公路工程项目标底编制的主要控制标准,因此工程造价估算的准确性,是各建设单位研究的重点内容,其对加强公路工程项目成本管理,有着积极的作用。
1公路工程造价估算的必要性
公路工程管理工作中,造价管理是主要内容,此项工作直接影响着建设企业的效益与工程的质量,历来都是管理的核心部分。工程造价估算是项目前期管理的重要内容,是实现项目成本控制目标的基础。造价估算能够为项目施工方提供成本控制方案编制的依据。在设计招标前,明确工程预计造价,能够避免招标环节恶意行为的发生。
2模糊神经网络应用流程优势
2.1模糊神经网络应用流程。近年来,公路工程造价估算工作中,多采取模糊神经网络来进行估算。公路工程造价估算,多是通过输入公路工程相关要求与特点,最后输出估算结果,这与模糊神经网络应用原理极为相似,其具体流程如下。(1)构建信息库基于已有工程信息,包括工程特征因素与工程造价等材料,构建造价信息库。(2)取值结合公路工程施工要求,明确各类特征因素,包括评价指标,确定数据取值。(3)选取输入与输出向量基于模糊神经思想法,在造价信息库内,至少选择3个已完成施工的项目,作为基础数据,以供神经网络学习与训练。输入向量选择为各类特征因素值,输出向量为造价估算值。(4)迭达运算基于系统内的造价数据来编制算法程序,以供神经网络学习,设计学习率,通过多次迭达运算,保障造价估算的准确性。2.2模糊神经网络的应用优势。公路工程造价估算中,采取模糊神经网络法,具有以下优点。(1)造价模型化利用模糊数学,可以高效处理模糊信息。采取对比已建设和新建的公路工程,进行定量化描述,使得相关问题可以模型化。(2)结果更为科学开展公路工程造价估算,应用模糊神经网络,再通过构建数学模型,进行数学计算分析,能够减少人为计算的误差,计算结果的准确性与科学性较高。(3)适应性强公路工程造价具有动态变化特性,模糊神经网络模型能够很好地适应此特性。此估算方法的应用,主要是依靠计算机,不仅运算速度快,而且运算精度较高。
3模糊神经网络在公路工程造价估算中的应用
模糊神经网络估算方法较多,文中选择BP神经网络法,是基于仿人脑的神经系统结构,具有较强的学习能力,为非线性自适应动态系统[1]。现对其在公路工程造价估算中的应用,做以下的分析。3.1公路工程样本描述与定量。公路工程构件主要包括底层、基层、面层等,工程造价是由各构件类型与价格等因素决定,实物工程量取决于工程结构设计参数。已建工程造价变动,主要是受到构件因素的影响,被称作是工程特征。基于工程特性,将公路工程划分为不同类别,若按照路面形式划分,主要包括沥青路面和水泥路面等,为特征类目。对于工程定量化,是按照特征类目,依据定额水平与工程特征,填入相关数据,如表1所示。由表1能够看出,每个公路工程模式均可以利用表格的形式来定量化描述,一个特征可以由多个类目组成,按照比例来计算量化结果。3.2BP神经网络学习算法。在BP神经网络中,需要将信息传递到网络隐节点上,使用S型激活函数,把信息传出,接着发挥激活函数的作用,成功输出结果。在网络隐节点以及输出节点位置处,选择S型激活函数,即f(x)=11+ex,若此结果未能按照正常程序开展,此时要转变成反向传播。假设存在N个样本,定义描述为(Xk,yk)(k=1,2,⋯,N),其中某个输入值为Xk,对应的神经网络输出值是yk,而隐层节点I的输出值是Oj[2]。3.3工程造价估算模型。基于BP神经网络,构建公路工程造价快速估算模型。针对以往工程案例,开展估算研究,将工程特征定量化数值,设为Xij(i=1,2,3,⋯,n;j=1,2,3,⋯,n),将相应的工程造价定额预算相关资料,设为yis(i=1,2,3,⋯,n;s=1,2,3...n),不考虑市场价格调整。明确BP神经网络结构系统参数,包括输入层节点数m、输出层节点数n、隐层节点数L。以Xij为输入,以yis为输出,开始神经网络训练,获得新建工程的造价估算神经网络,反向估算新建工程造价[3]。3.4计算实例。以某省道一级公路和二级公路工程为例,其中一级公路使用的是沥青混凝土路面,记为T19;二级公路使用的是水泥混凝土路面,记为T20,检验18个样本工程造价数据,基于检验结果能够了解,T19造价指数是0.98,T20造价指数为0.96,获得预算资料如下:T19路面类型是半柔性路面;基层为水泥稳定碎石;底层材料为石灰土;路面结构为沥青混凝土;面层厚度为15cm;基层厚度为14cm;底层厚度为10cm;T20路面类型是刚性路面;基层为工业废渣稳定土;底层材料为石灰土;路面结构为水泥混凝土;面层厚度为12cm;基层厚度为16cm;底层厚度为12cm。将获得的预算材料和表1资料进行对比分析,能够明确T19工程特征定量化描述是T19=(3,1,2,2,2,6,2.5),T20工程特征定量化描述是T20=(5,4,7,3,4,3,4.1),将T19与T20,输入到经过训练的BP神经网络中,获得的结果为T19=(0.4029,0.4056,0.5005,0.4365),T20=(0.6277,0.6156,0.4290,0.5661),经过反算,获得工程造价资料预测值,其中V19=(481.74,16.44,0.0046,145.85),V20=(1185.82,37.16,0.0033,247.07),预测的相对误差O19=(1.61%,4.65%,4.15%,1.40%),O20=(3.76%,3.67%,5.70%,1.84%),由此能够看出,基于BP神经网络预测的工程造价估算精度较高[4]。
4结语
模糊神经网络的应用,主要是基于模糊数学与神经网络理论,借助类似工程之间存在的相似性,采用BP神经网络法进行公路工程造价估算,能够快速获得估算结果,具有较强的应用优势。
作者:钱强 单位:中建路桥集团有限公司
参考文献:
[1]王运琢.基于BP神经网络的高速公路工程造价估算模型研究[J].石家庄铁道大学学报(自然科学版),2011,24(2):61-64.
[2]刘湘雄.人工神经网络在工程造价估算中的应用[J].建筑,2012(12):68-69.
神经网络的特性范文4
关键词: 正交基神经网络; 非线性; 卫星信道; 预失真
中图分类号: TN927?34 文献标识码: A 文章编号: 1004?373X(2013)09?0040?03
0 引 言
高功率放大器是卫星通信系统中的重要组成部分,当其工作在饱和区附近时,卫星信道具有严重的非线性。这种非线性对信号的影响主要有两方面[1]:一是信号星座图发生变形,造成码间串扰(ISI);二是频谱再生,引起邻近信道干扰(ICI)。
随着现代通信技术和多媒体业务的高速发展,大容量高速率的信息传输十分必要,卫星通信也以不可抵挡之势向高速率大容量的方向迅猛发展。由于通信速率和通信带宽的迅猛增加,频谱资源越来越紧张,现代卫星通信更趋向于采用比恒包络调制频谱效率更高的幅度相位联合调制方式,如DVB?S2标准中的APSK等调制方式[2?3]。与传统的相位调制技术相比,APSK信号由于其信号幅度的变化,对卫星信道的非线性失真更加敏感。为保证通信性能,必须对信道的非线性失真进行补偿。
1 高功放的非线性特性及其对系统性能的影响
高功放的工作特性分为线性区和非线性区,当输入信号功率较低时,输出和输入功率关系是线性的;当输入功率较高时,输出和输入功率关系呈现出非线性,当输出功率达到饱和,再增加输入功率,输出功率不会增大还可能会减小。
高功放非线性模型非常多,本文采用经典的Saleh模型,该模型中幅度和相位的输出仅与输入信号的幅度有关。其幅度和相位转移特性曲线如图1所示,当输入信号归一化幅度小于0.6时,幅度转移和相位转移呈现线性,大于0.6时,其转移特性呈现非线性。
图2为16APSK信号经过非线性高功放的收发信号星座图。可以看出,接收信号星座图已经发生严重畸变,外圈星座点半径被压缩,内圈星座点半径扩大,内外圈星座点欧式距离被缩小;星座点相对原来位置发生逆时针旋转;码间串扰很大,星座点扭曲严重。由于高功放非线性效应的影响,在不加补偿的情况下,接收机已经不能正常工作。
2 正交基神经网络
正交基前向神经网络模型如图3所示。该网络模型由输入层、隐藏层和输出层组成。其中输入层、输出层各有一个神经元,使用线性激励函数[f(x)=x],隐藏层有[n]个神经元,采用一组阶次逐渐增高的正交多项式[φ(x)]作为其激励函数。
传统的神经网络存在收敛速率慢和易陷入局部极小等缺点,文献[4]提出了一种Chebyshev正交基神经网络,该网络的隐藏层神经元采用Chebyshev正交多项式,即文献[4]采用基于伪逆的方法,实现了一步权值直接确定,不需要迭代,具有更高的计算速率和工作精度,同时不存在局部极小的问题。考虑到Chebyshev正交基神经网络的优点,将其应用到卫星非线性信道的补偿技术中。
3 基于正交基神经网络的预失真补偿算法
正交神经网络预失真系统框图如图4所示。[x(n)]为预失真器的输入,[y(n)]为预失真器的输出、高功放的输入,[z(n)]为高功放的输出,用[M(?)]和[N(?)]分别表示预失真器的幅度和相位转移特性,预失真器的输入输出关系为[1]:
神经网络的特性范文5
关键词:相似性;可塑性;阻变机理
DOI:10.16640/ki.37-1222/t.2016.03.102
0 引言
人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。神经元之间突触的联系强度是可变,这是学习和记忆的基础。人工神经网络可以通过“训练”而具有自学习和自适应的能力。神经网络技术的关键是权重设计,权重的硬件实现需要一个长期保持记忆且不耗能的纳米级元件。传统的人工神经网络技术都是在传统计算机基础上进行的,其主要缺点是运算量巨大且运算不是并行处理。如果在硬件上实现人工神经网络的并行分布式处理、非线性处理,自我学习功能和自适应性等功能,就能够解决了人工神经网络在传统计算机上运算量巨大的缺点。而单个忆阻器便可实现神经突触功能的模拟,而且忆阻器能够很容易与纳米交叉连接技术相结合,具有大规模并行处理、分布式信息存储、巨大存储量等优势。所以利用忆阻系统是人工神经网络实现神经突触功能的模拟的最好的方式之一,因而成为近年来研究的热点。
1 忆阻与神经突触的相似性
神经元是大脑处理信息的基本单元。人脑大约含有1011-1012个神经元,神经元互相连接成神经网络。突触是神经元间信息传递的关键部位,决定了前后神经元之间的联系强度。图1.神经突触的结构示意图。神经递质通过突触前膜释放到突触间隙,作用于突触后膜上的受体,使突触后膜发生电位变化,使下一个神经元产生兴奋或抑制。生物系统记忆和学习功能是以精确控制通过神经元及突触的离子流为基础建立的。突触能够随外界的电位刺激变化,粒子流产生动态连续的变化,联系强度增强或者减弱,即突触的可塑性。在忆阻器件出现之前,人工神经网络突触的的硬件实现需要集成电路甚至超大规模的集成电路,而且人工神经网络的密度也很难达到生物神经网络的密度,因而电路复杂体积庞大,制约了人工神经网络对于复杂的人脑功能模拟的实现。忆阻器的出现解决了这个问题,世界各地多个研究小组已实现了具有不同忆阻模型和忆阻特性的忆阻器件。由于忆阻器的电阻可变和电阻记忆特性,与突触的功能上有很强的相似性,因此忆阻在人工神经网络电路中可以模拟突触在生物神经网络中的作用。
2 神经突触的可塑性特性
神经突触一个重要的特征是突触的可塑性,电信号刺激能够加强或者弱化突触,突触连接强度可连续调节。利用忆阻器模拟生物突触最基本的依据是由于它具有电阻缓变的特性,当施加电压下器件的阻值可实现从高(低)阻值到低(高)阻值的缓变过程,器件的导电性(或阻值)相当于突触权重,导电性增大和减小的过程分别对应突触的增强和抑制过程。记忆是通过大脑中大量突触之间的相互连接所表现出来,因此,突触可塑性被认为是学习和记忆重要的神经化学基础。实现突触学习功能时,一个典型特性是电脉冲时间依赖可塑性(STDP)。人类大脑中记忆或者突触可塑性按保留时间可以分为短程记忆和长程记忆。短时程可塑性与神经元的信息传递和处理有着密切的关系。神经系统每时每刻都接受数以千计来自外界的刺激,短时可塑性对如何在大量的输入信息中提取有用信息扮演重要角色。长时程可塑性促使突触在数小时到数天之内发生持续性的变化,人们认为其在学习和记忆存储的突触机制中发挥重要作用。
3 忆阻器件的阻变机理
早在1971年,美国校华裔科学家蔡少棠就通过理论计算预言,在电阻、电容和电感之外必定存还在第四种无源电子元件,即忆阻器。如图3所示,电路的3个基本元件电阻、电感和电容,可以分别有由4个电路变量变量电压(v)、电流 (i)、电荷量(q)和磁通量(φ)中的两个来定义,分别为:由电压和电流定义的电阻R、由电荷和电压定义的电容 C 以及由磁通量和电流定义的电感L。出于逻辑完备性,蔡绍棠认为应该还存在由电荷量和磁通量定义的第4类基本电路元器件即忆阻器。然而学界却一直没有找到这个在理论上成立的无源元器件,直到37年后(2008年),美国惠普公司宣布在Pt/TiO2Cx/Pt两端器件实现了具有忆阻功能的器件结构(图4),从而找到这个一直缺失的电路元件,至此忆阻器开始引起更多学者的研究兴趣,并迅速成为电路、材料、生物等领域的研究热点。
随着人们对忆阻器研究的深入,多种忆阻器件和模型在各研究领域相继提出和实现。目前,阻变机理主要有边界迁移模型、丝电导模型、电子自旋阻塞效应、氧化还原反应等。中科院诸葛飞课题组在锥形纳米孔洞结构的非晶碳薄膜材料中,实现了纳米导电丝机制的忆阻器件。非晶碳膜阻变器件的电致电阻效应决定于通孔中的纳米导电细丝的通断(如图4)。
4 结论与展望
本文对神经网络的概念、忆阻器与神经突触的相似性、神经突触的可塑性、忆阻器的阻变机理进行了综述,指出了目前很多忆阻器是利用人工神经网络实现人工智能及超级计算机的硬件基础。目前忆阻器材料研究存在的两个主要问题是阻 变机理不够清楚和阻变性能不够稳定。忆阻器材料非常之多,甚至把任意绝缘材料做到纳米级,就很有可能具有阻变特性。找出隐藏在众多阻变现象之后的机理有无共同的规律,研究阻变特性是由材的化学成分决定还是由材料的微 观结构决定,这将是以后研究中需要回答的问题。
神经网络的特性范文6
关键词:灰色神经网络;商品销售;算法;销售预测
中图分类号:F71文献标识码:A文章编号:1009-3044(2009)27-7743-02
市场销售是根据根据市场过去和现在的信息,运用一定的数学方法,对产品的需求进行评估推测,市场预测可以减少企业风险,为企业决策提供依据。做为市场预测组成部分的需求预测,是直接影响企业生产企业,投资取向,库存保有量的重要依据,精确的需求预测可以减少库存,降低订单流失率,更有效的配置资源。对于商品销售预测来说,有很多种方法,本文采用灰色神经网络来预测商品销量。
1 灰色系统和神经网络概述
1.1 灰色系统
灰色系统理论是一种研究少数据、贫信息、不确定性问题的新方法,它以“部分信息已知,部分信息未知”的“小样本”,“贫信息”不确定系统为研究对象,通过对“部分”已知信息的生成、开发、提取有价值的信息,实现对系统运行行为、演化规律的正确描述和有效监控。它是我国学者邓聚龙教授在1982年首先提出的,经过20年的发展,灰色系统已基本建立起一门新兴学科的结构体系,其主要内容包括以灰色朦胧集为基础的理论体系,以灰色关联空间为依托的分析体系,以灰色序列生成为基础的方法体系,以灰色模型为核心的模型体系和以系统分析、评估、建模、预测、决策、控制、优化为主体的技术体系。
灰色系统中建立的模型称为灰色模型(GreyModel)简称GM模型,是以原始数据序列为基础做某种生成后建立的微分方程。建模中最有代表性的是针对时间序列的GM建模,它直接将时间序列数据转化为微分方程,利用系统信息,使抽象的模型量化,量化的概念模型化,最后进行模型优化,从而使所建的GM模型在寻求不到系统的概率特性或隶属特性的情况下显示其优越性。
1.2 神经网络
人工神经网络理论(ArtificialNeuralNetworks)是智能算法理论的一种,由于其具有大规模并行处理、分布式信息存储,容错性,自组织性和自适应性等特点,目前已经得到了国内外学者的广泛关注。目前,人工神经网络已成功应用在函数拟合、数据预测、模式识别、优化控制等很多工程领域,并在一些传统方法难以解决的问题上取得了满意的结果。
人工神经是由一些称为神经元的基本部件按一定规则组合形成的,它由神经元,神经元间连接方式和训练规则三个因素组成。其中最主要的部分是神经元,它由由输入,非线性变换和输出三部分构成,是一个基本计算单元,计算过程为,输入经过权值连接到内部后求和,和值首先与一个阀值做比较,然后经过非线性变化,得到输出。神经元的非线性变换有多种形式,比较常用的有Sigmoid函数,限幅函数等。神经元间不同的连接方式构成了不同类型的神经网络,比如信号由一层单向传播到另一层的前馈型神经网络,信号在层与层之间传播的反馈型神经网络等。目前,比较典型的神经网络包括BP网络,RBF网络、小波网络等。
2 基于灰色神经网络的销量建模
2.1 网络建模
对于销量预测的问题来说,灰色模型GNNM(1,N)的微分表达式为:
其中, y1是商品的销售量,y2-yn是影响销售量的因子。
求解微分方程(1)可得如下的离散响应方程:
令 ,则式2变为:
y1的阀值设为: 。
BP网络LB层神经元的激活函数取为Sigmoid函数:
将式(3)变型后映射到BP网络中,得到如下的映射销量问题的灰色神经网络模型,如图1所示。
2.2 学习算法
该模型中各个参数根据网络输出和实际输出的误差进行调整,从而是网络输出不断逼近实际输出,学习算法如下:
Step 1.根据系统数据列特征,选取两个较小的值做为 a,b1,b2,…,bn-1
Step 2.根据网络权值定义计算ω11,ω21,ω22, …,ω2n,ω31,ω32,…,ω3n
Step 3.对每一个输入序列(t,y(t)),(t=1,2,3,…,N)进行如下操作:
t输入LA层节点,对LB、LC、LD层的节点进行如下计算:
计算每层输出
计算网络输出与期望输出的误差
调整隔层权值:
调整LB到LC的连接权值:
调整LA到LB的连接权值:
调整阀值:
Step 4重复步骤3,直至满足结束条件为止。
2.3 总体设计
采用灰色神经网络进行销量预测,总的步骤分为灰色神经网络构建,灰色神经网络训练和灰色神经网络预测三步,其中灰色神经网络构建是根据输入输出变量构建灰色神经网络,灰色神经网络训练是对网络进行训练,灰色神经网络预测是对训练好的网络对数据进行预测,其灰色神经网络预测系统总体框图如图2所示。
3 基于灰色神经网络的销量预测
采用灰色神经来对某型冰箱的销售的做预测,分析得出影响该型冰箱的市场需求的因素为以下几个指标,1)竞争对手;2)市场特征;3)成本;4)广告力度;5)品牌认可;6)售后服务;7)价格性价比。输出数据为销售量,用模糊神经网络进行训练预测,设置输入节点数为8,输出节点数为1,即为预测销售量,网络共迭代100次,得到的预测值和实际值的结果如图3所示。
从图3中可以看到,灰色神经网络预测的销量值和实际值非常接近,说明了灰色神经网络预测的有效性。