前言：中文期刊网精心挑选了神经网络的认识范文供你参考和学习，希望我们的参考范文能激发你的文章创作灵感，欢迎阅读。
神经网络的认识范文1
关键词：神经计算机；人工神经网络；实用化研究
中图分类号：TP183 文献标识码：A 文章编号：1007—9599 （2012） 14—0000—02
人工神经网络从字面的意思就是采用人工的方法来实现大脑的思维模式，这是因为随着计算机技术的进步，多阵列CPU组成的计算机网络，能够从一定的程度来模拟实现大脑的思维，将CPU替代人类大脑的神经元，从而实现计算机的人工智能，目前基于神经计算机的人工神经网络技术已经被广泛的使用于科技领域的各个方面，比如本文即将要重点介绍的测控技术和中药现代化。
一、人工神经网络的介绍
人工神经网络就是模拟人脑神经突触结构对信息处理的一种数学模型，是基于仿生学的基础，计算机技术的应用，从而实现类似人脑的逻辑性思维，人工神经网络不是通过一个个程序来实现的逻辑性思维，而是通过大量的节点，图1是节点的示意图：
其中：a1～an为输入向量的各个分量；w1～wn为神经元各个突触的权值；b为偏置； f为传递函数，通常为非线性函数。以下默认为hardlim（）；t为神经元输出；数学表示 t=f（WA''+b）；W为权向量；A为输入向量，A''为A向量的转置；f为传递函数。
节点又叫做神经元来进行相互作用实现的逻辑性思维，包括记忆能力，其中每一个神经元代表了一种输出函数，而通过两个神经元之间的连接信号则称为加权值，这实际上就是人工神经网络的记忆。一个节点的计算公式是： ；其中Y是神经元的输出。 是神经元的第i个输入量， 则是第i个所储权值， 则代表了节点的函数平移量，n代表是节点的个数。由此公式衍生的 =0则代表了n维空间中的超平面。这个超平面把n维空间划分了两个平面，一个平面的 是正值，另一个则代表了负数。
人工神经网络的基本特征主要体现在四个方面，分别是非线性、非凸性，非局限性和非常定性，人工神经网络采用了并行的分布系统，因此具备更高级的自适应，自组织和自学习能力。图2则是上述公式衍生出来的神经元结构图：
二、人工神经网络的模拟实现方法
人工神经网络是一种并行分布式系统，是有一个个并行的简单运算单元所组成，因此通过计算机软件来模拟人工神经网络就变得可行，目前大规模的人工神经网络实现模拟则需要专用的硬件，这种硬件设备能够针对某一种特定的人工神经网络，这些硬件设备在制造的过程中有关加权值已经固定，这种固定式人工神经网络芯片主要用于运算非常大的场合；另一种硬件就是通过增加可擦写存储器的半固定电路，对人工神经网络的相关权值进行更新，这种硬件在人工神经网络组成有中等需求。而可以随时更改神经网络结构模型，线性结构和权值的硬件又被称作通用性人工神经网络硬件，这种硬件的需求量较小，但是适应人工神经网络的研究和开发。更高级的硬件就是神经计算机，所谓神经计算机就是一种专门模拟神经网络单指令流，多数据流的并行计算机，在模拟人工神经网络实现时，具有极高的性价比，DSP芯片或者是Transputer芯片是目前人工神经网络构成的主要元件。
三、神经计算机的人工神经网络实用化分析
（一）人工神经网络在测控技术方面的实用化研究
测控技术使用到人工神经网络技术比较广泛，比如在测控过程的优化，自学习自适应过程控制以及多传感器系统的数据实时分析，矫正和控制等，在实时图形和实物识别的测控技术上也离不开人工神经网络。目前人工神经网络在测控技术方面的应用主要体现在四个方面，其一能够实现对生产控制过程的参数优化，比如目前集成电路的规模已经越来越大，传统的测控技术很难保证这些集成电路完工后的品质，经过实验证明，通过在对大型集成电路生产过程中，使用人工神经网络技术来对产品进行管控，往往能够提升良品率10个百分点。其二就是通过人工神经网络在测控技术上的实物识别，这种技术能够利用多个领域，比如身份识别，目前通过神经计算机上最新的SLPODBF算法对10种不同的实物进行识别，将这些实物摆出多达三百多种的姿态，通过对神经计算机的训练，最终有效的识别率能够达到98%，目前SLPODBF算法相对于BP算法属于更高级别的智能算法，能够将神经计算机的训练时间缩短两个数量级；其三就是说话人确认的识别技术，语音识别系统自然也是人工神经网络技术的重点之一，通过基于CASSANDRA—I神经计算机的模拟实现语音识别系统，能够将误判率降低到1%以下，这相对于国外比较先进的Veritron 1000系统要有效的多；其四就是基于人工神经网络的自动控制，这种自动控制应该具备自适应，自学习能力，这是人工神经网络技术的核心，通过半制定的神经网络板以及更为先进的神经计算机，都能够适用于不同场合的自动控制，抗干扰能力强，在使用过程中不会因为程序的错误而导致失控。
（二）基于人工神经网络在中药现代化的方面的实用
从上个世纪90年代人工神经网络就已经在我国中药研究领域广泛的应用了，因为人工神经网络具有自学习，自适应以及自组织的能力，能够实现实物识别，根据自身自学习能力，就能够对电信号和图像进行直接处理，而且基于人工神经网络原理的神经计算机操作比较简单，有专门的人机交互界面，非中药专业的爱好人员也能够通过操作，目前人工神经网络在中药方面的应用十分广泛。
神经网络的认识范文2
关键词 人脸识别；期望最大；主成分分析；径向基神经网络；特征抽取
中图分类号TP39 文献标识码A 文章编号 1674-6708（2011）52-0202-02
0 引言
人脸识别是模式识别领域的一个前沿课题，有着广泛的应用价值。Turk & Pentland 提出了基于KL变换的人脸识别方法[1]，Hong[2]提出了基于奇异值分解的识别方法。主成分（PCA）方法作为一种有效的人脸代数特征提取方法广泛应用于人脸识别领域，直接用PCA方法抽取原始图像的特征，虽然方法简单，但是耗时非常的大，本文采用了期望最大PCA[3-4]（Expectation Maximization Principal Component Analysis， EMPCA）方法，此算法无需计算样本的协方差矩阵，因此有效的降低计算的复杂度。神经网络由于具有非线性特征和联想记忆功能，在各门学科领域都具有很重要的实用意义，其学习能力和容错能力对不确定性模式识别具有独到之处。本文探讨了用EMPCA方法提取图像的主成分特征和采用RBF神经网络[5-7]作为分类器的人脸识别方法。
1 主成分分析（PCA）
设是n维随机向量x经过居中处理后的T个采样点，即相当于将T个随机采样点在坐标轴上对齐同一个坐标原点，其中为样本均值。通过对采样点的线性正交变换，得到一个m维2阶不相关向量组 y，。
基于协方差变换的主成分分析[1]（PCA）定义如下：得到采样点x经居中处理后的数据的协方差矩阵，根据矩阵计算理论[9]，有如下等式成立：
（1）
其中分别为矩阵对应的特征值和特征向量。
取矩阵的前D个特征值为，并且这些特征值满足，它们对应的特征向量为，则满足等式
（2）
的向量称为采样点x的第k个主成分。对于人脸图像处理而言，每一幅人脸图像都可以投影到由前D个特征向量所张成的子空间中，因此每一幅人脸图像相当于对应子空间中的一个点，同样，子空间中的任一点也对应一幅图像，由于这些图像很像人脸，所以它们被称作“特征脸”。通过此投影法，可以有效的对原始图像降维，并尽量保留原始图像的主要信息。
2 Expectation-Maximization Principal Component Analysis (EMPCA)
在EMPCA[3-4]算法中，PCA方法可看作是一种有限情形下的线性高斯模型特殊类。这种线性高斯模型假设变量y是由k维变量x和附加的高斯噪声v构成。
因此，该模型可写成：
（3）
其中矩阵C为维矩阵，v为具有协方差矩阵R的p维噪声。
由于x，v是独立分布的，所以我们可以将变量y写成：
（4）
在上面的线性高斯模型的时候，有2个中心问题是我们要关注的。第一个问题是压缩：给定固定的模型参数，如何确定观察值y的隐状态x？
由于数据点是独立的，我们关注单个隐状态给相应单个观察量的后验概率。这个可以很容易的通过线性矩阵投影计算得到：
（5）
，（6）
从以上我们可以得到隐状态和，同时也可以得出如何用x重构y（7）
最终，任何数据点y的概率均可通过（4）得到。
第二个问题是参数设置这包括如何确定矩阵，使得由该模型构造的观察数据似然性最大。有很多EM算法[3]去做这个过程，但是不同的算法都有相似的结构：用公式（6）在e-step中估计未知状态，然后在m-step中选择，目的是使估计值x和观察值y之间的概率最大。
我们得到EMPCA 算法如下：
1）初始化和迭代次数N
2）经N次迭代取得C
（1）e-step:
（2）m-step:
其中Y为原始人脸数据。
1）得到C的规范化正交基作为新的C值，即新值满足
2）求的特征值和特征向量，假设分别为和V，最终的特征向量
3 RBF神经网络
径向基（Radial Basis Function，RBF）神经网络是前馈神经网络中的一类特殊的三层神经网络。RBF网络从输入空间到隐含空间的变换是非线性的，而从隐含层空间到输出空间的变换则是线性的。其隐含单元的特性函数采用非线性的径向基函数，以对输入层的激励产生局部化响应，即仅当输入数据落在一指定的小范围内时，隐层单元才会做有意义的非零响应。RBF神经网络的拓扑结构如图1所示。
图 1 RBF神经网络拓扑图
RBF网络对应于输入到输出的映射，RBF网络的输出为：
（10）
其中表示某点的位置，l为隐层单元数。为输出单元与隐层单元之间的连接权值，R是非线性径向对称基函数，常采用的为高斯型基函数：
（11）
其中为隐层第j个单元的输出，x是输入模式，为核函数中心，为函数的宽度参数，控制了函数的径向作用范围。
4 人脸识别实验与结果分析
本文采用ORL人脸数据库验证该算法，该数据库包括从1992年4月到1994年4月剑桥大学实验室拍摄的一系列人脸图像，具体为40个人，每个人有不同表情或不同视点的10幅图像所构成，倾斜角度不超过20度，这些人脸图像的分辨率为92×112，为灰度图像，数据库中的部分人脸图像如下图所示：
图2 ORL人脸数据库部分人脸数据
在我们的实验中，为了处理数据的方便，我们首先通过二维小波变换得到原来图像的低频信息，得到的部分图像如下（此时人脸图像维数为46×56）：
图3 经小波处理之后的部分低频图像
对于得到的低频图像，分别采用PCA算法和EMPCA算法计算人脸图像的特征空间，在同等的实验条件下，采用PCA算法得到对应的特征向量空间需要404.55s，而采用EMPCA算法只需要28.13s，由此可见EMPCA的特征抽取速度是传统PCA方法的15倍。经过PCA和EMPCA算法得到的部分特征脸图像分别如下：
图4 不同算法分别得到的前八个特征向量所对应的特征脸
上：由PCA算法得到的部分对应特征脸
下：由EMPCA算法得到的部分对应特征脸
从得到的特征脸图像可以看出，通过EMPCA算法得到的特征脸图像基本上类似通过传统PCA方法得到的特征脸图像，也说明同样代表了原始图像的主要信息。
在得到特征向量之后，将原始人脸图像投影到特征空间，得到图像的投影数据，然后用RBF神经网络分类，此实验中，以每人前6幅图像作为训练样本，所有人脸图像作为测试样本。此外，笔者还做了该方法与经典特征脸，Fisherfaces方法的比较实验，以及在不同分类情况下的分类性能。识别率分别见表1，表2。
表1 特征脸，Fisherfaces和EMPCA方法采用RBF神经网络分类识别率对照表
表1表明了在同等的实验条件下，本文算法的识别性能优于经典的特征脸方法和Fisherfaces方法。
表2 不同分类方法识别率对照表
表2显示了同样在经过EMPCA方法抽取有效特征之后，采用不同的分类方法得到的识别率对照表，从该表中可以看出RBF神经网络的分类性能优于KNN的分类性能。
在以上的基础上，笔者还做了在不同模式类别数情况下的实验，实验结果分别如图5，图6所示。在不同的类别情况下，从图5可以看出在总体性能比较上，经过EMPCA算法得到的特征数据的分类性能优于传统的特征脸和Fisherfaces方法，图6比较了分别采用RBF和KNN分类方法对EMPCA算法得到的投影数据的识别率，从图中可以看出RBF神经网络的分类性能优于KNN分类器的分类性能。
图5 采用RBF神经网络分类 图6 采用RBF神经网络和KNN
性能比较图 分类性能比较图
5结论
基于EMPCA算法和RBF神经网络的人脸识别方法，有效的解决了传统PCA方法计算的复杂性问题，无需计算样本的协方差矩阵，避免了采用传统PCA方法所需要的复杂的计算代价和巨大的存储代价。在识别策略上，具有分类作为的神经网络模型比简单的KNN分类器具有更好的识别性能。
参考文献
[1]Turk M， Pentland A. Eigenfaces for recognition. Journal of Cognitive Neuroscience，1991，3(1)：71-86.
[2]洪子泉，杨静宇.用于图像识别的图像代数特征抽取[J].自动化学报，1992，18(2)：232-238.
[3]A.P.Dempster，N.M.Laird，and D.B.Rubin.Maximum likelihood from incomplete data via the EM algorithm. Journal of the Royal Statistical Society series B，39：1-38，1977.
神经网络的认识范文3
人工神经网络（AartificialNeuralNetwork，下简称ANN）是模拟生物神经元的结构而提出的一种信息处理方法。早在1943年，已由心理学家WarrenS.Mcculloch和数学家WalthH.Pitts提出神经元数学模型，后被冷落了一段时间，80年代又迅猛兴起［1］。ANN之所以受到人们的普遍关注，是由于它具有本质的非线形特征、并行处理能力、强鲁棒性以及自组织自学习的能力。其中研究得最为成熟的是误差的反传模型算法（BP算法，BackPropagation），它的网络结构及算法直观、简单，在工业领域中应用较多。
经训练的ANN适用于利用分析振动数据对机器进行监控和故障检测，预测某些部件的疲劳寿命［2］。非线形神经网络补偿和鲁棒控制综合方法的应用（其鲁棒控制利用了变结构控制或滑动模控制），在实时工业控制执行程序中较为有效［3］。人工神经网络（ANN）和模糊逻辑（FuzzyLogic）的综合，实现了电动机故障检测的启发式推理。对非线形问题，可通过ANN的BP算法学习正常运行例子调整内部权值来准确求解［4］。
因此，对于电力系统这个存在着大量非线性的复杂大系统来讲，ANN理论在电力系统中的应用具有很大的潜力，目前已涉及到如暂态，动稳分析，负荷预报，机组最优组合，警报处理与故障诊断，配电网线损计算，发电规划，经济运行及电力系统控制等方面［5］。
本文介绍了一种基于人工神经网络（ANN）理论的保护原理。
1、人工神经网络理论概述
BP算法是一种监控学习技巧，它通过比较输出单元的真实输出和希望值之间的差别，调整网络路径的权值，以使下一次在相同的输入下，网络的输出接近于希望值。
在神经网络投运前，就应用大量的数据，包括正常运行的、不正常运行的，作为其训练内容，以一定的输入和期望的输出通过BP算法去不断修改网络的权值。在投运后，还可根据现场的特定情况进行现场学习，以扩充ANN内存知识量。从算法原理看，并行处理能力和非线是BP算法的一大优点。
2、神经网络型继电保护
神经网络理论的保护装置，可判别更复杂的模式，其因果关系是更复杂的、非线性的、模糊的、动态的和非平稳随机的。它是神经网络（ANN）与专家系统（ES）融为一体的神经网络专家系统，其中，ANN是数值的、联想的、自组织的、仿生的方式，ES是认知的和启发式的。
文献［1］认为全波数据窗建立的神经网络在准确性方面优于利用半波数据窗建立的神经网络，因此保护应选用全波数据窗。
ANN保护装置出厂后，还可以在投运单位如网调、省调实验室内进行学习，学习内容针对该省的保护的特别要求进行（如反措）。到现场，还可根据该站的干扰情况进行反误动、反拒动学习，特别是一些常出现波形间断的变电站内的高频保护。
3、结论
本文基于现代控制技术提出了人工神经网络理论的保护构想。神经网络软件的反应速度比纯数字计算软件快几十倍以上，这样，在相同的动作时间下，可以大大提高保护运算次数，以实现在时间上即次数上提高冗余度。超级秘书网
一套完整的ANN保护是需要有很多输入量的，如果对某套保护来说，区内、区外故障时其输入信号几乎相同，则很难以此作为训练样本训练保护，而每套保护都增多输入量，必然会使保护、二次接线复杂化。变电站综合自动化也许是解决该问题的一个较好方法，各套保护通过总线联网，交换信息，充分利用ANN的并行处理功能，每套保护均对其它线路信息进行加工，以此综合得出动作判据。每套保护可把每次录得的数据文件，加上对其动作正确性与否的判断，作为本身的训练内容，因为即使有时人工分析也不能区分哪些数据特征能使保护不正确动作，特别是高频模拟量。
神经网络的硬件芯片现在仍很昂贵，但技术成熟时，应利用硬件实现现在的软件功能。另外，神经网络的并行处理和信息分布存储机制还不十分清楚，如何选择的网络结构还没有充分的理论依据。所有这些都有待于对神经网络基本理论进行深入的研究，以形成完善的理论体系，创造出更适合于实际应用的新型网络及学习算法［5］。
参考文献
1、陈炳华。采用模式识别（智能型）的保护装置的设想。中国电机工程学会第五届全国继电保护学术会议，［会址不详］，1993
2、RobertE.Uhrig.ApplicationofArtificialNeuralNetworksinIndustrialTechnology.IEEETrans，1994，10（3）。（1）：371～377
3、LeeTH，WangQC，TanWK.AFrameworkforRobustNeuralNetwork-BasedControlofNonlinearServomechannisms.IEEETrans，1993，3（2）。（3）：190～197
神经网络的认识范文4
关键词：成都中小微企业 人工神经网络 预测
1、人工神经网络
人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）和之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。
2、基于人工神经网络的预测模型的构建
在运用ANN预测模型预测这两个指标时，我们采取下面的预测步骤：
（1）首先将1-6月份的数据标准化，及转化为0-1之间的标准化数据；
（2）我们将输入设为1月份、2月份、3月份、4月份的数据，输出设为5月份的数据；
（3）在matlab中调用newff函数，建立一个5个输入节点、10个隐含层节点、一个输出节点的BP神经网络，隐含层和输出层转移函数分别采用tansig（tansig（n） = 2/（1+exp（-2*n））-1）和purelin（y=x），训练函数选择贝叶斯正则化算法trainbr，得到网络仿真数据；
（4）通过得到的网络仿真数据与实际的数据进行比较，我们可以发现该预测模型的精度很高。从而我们可以利用该预测模型预测未来月份的数据，作为决策者进行决策的依据。
3、分规模企业运行态势预测模型
3.1中型企业运行态势预测模型
我们按照上述步骤，得到最终的预测值，如表1所示，可见，预测值与实际值之间相差并不大，误差为0.099973%。
表1运行监测指标按规模（中型）ANN预测模型实际值与预测值对比表
3.2小型企业运行态势预警模型
我们按照上述步骤，得到最终的预测值，如表2所示，可见，预测值与实际值之间相差并不大，误差为0.099974%。
表2运行监测指标按规模（小型）ANN预测模型实际值与预测值对比表
3.3微型企业运行态势预警模型
我们按照上述步骤，得到最终的预测值，如表3所示，可见，预测值与实际值之间相差并不大，误差为0.098246%。
表3 运行监测指标按规模（微型）ANN预测模型实际值与预测值对比表
4、结束语
运行监测指数和信心指数能很好的反映成都市中小企业的发展运营情况，本报告运用人工神经网络这种高精度的预测方法，对这两种指数进行了预测，预测结果精确，经济意义显著。能很好预测未来月份的中小企业的指标值，从而为决策者的决策提供有力的支持和依据。
参考文献：
[1]张乃尧，阎平凡.神经网络与模糊控制[M].北京： 清华大学出版社，1998.
神经网络的认识范文5
关键词：人工神经网络 峰值识别理论 洪水预报
洪水预报作为非工程性防洪措施正日益受到重视，准确及时的洪水预报为防洪决策提供了科学的依据.人工神经网络模拟了人类大脑的结构及其功能，从而具有对模糊信息或复杂的非线性关系进行识别与处理的能力[1，2].
早期关于人工神经网络在水文水资源系统中的应用与研究的进展情况，文献[3]有较为详细、系统的介绍.其中，关于洪水预报的研究成果，大多处于如何应用人工神经网络算法进行洪水预报的阶段，即如何将洪水预报的实际问题概化成人工神经网络可以识别的算法模型.近期的研究成果表明，研究的问题更加深入，如LINDA SEE(1999)[4]将洪水过程分为上升段、洪峰段和下降段三部分，分别建立相应的预报模型，充分考虑了不同阶段的洪水过程其演进规律的差异.Fi-John Chang(1999)[5]引入洪峰预报误差和峰现误差作为洪水预报精度的评价标准，对于洪峰预报精度给予了高度的重视.能否保证较高的洪水峰值的预报精度，是将人工神经网络的实时洪水预报技术实际应用的关键性问题.
本文在总结大量实践经验的基础上[6，7]，提出了一种能够进行峰值识别的改进BP算法(Error Back Propagation with Peak Recognizer，简称BPPR).该算法在修改网络权重时偏重大值，即大值误差对权重的修改起主要作用.这种改进的BP算法使人工神经网络洪水预报模型对洪峰峰值的预报精度显著提高，从而保证了洪峰预报的可靠性.
1人工神经网络的峰值识别理论
洪水预报主要是为防汛服务的，通常对洪峰时段的水位(或流量)的准确预报尤为重要.但是，对于经典的BP算法，网络训练是根据全局误差修改网络权重的，这种权重修改方法很难控制洪峰水位(或流量)的训练精度，训练后的网络权重所贮存的信息很可能更多地反映了样本数量较大的中、低水位(或流量)的变化规律.所以，经过训练的网络对中、低水位(或流量)的预报精度相对较高，而对洪峰的预报精度往往低一些.如何提高人工神经网络模型对洪峰水位(或流量)的预报精度，是人工神经网络理论应用于洪水预报的关键问题之一.
本文是在结合实际课题广泛研究的基础上，提出了一种能够提高网络模型峰值识别精度的改进BP算法.
1.1 峰值识别的基本思想 经典BP算法的训练过程由信号的正向传播与误差的逆向传播两个过程组成.其中，误差的逆向传播是基于网络全局误差并按“误差梯度下降”的原则对网络权重进行修改.如果对原来基于“全局误差”的权重修改原则进行合理调整，使权重的修改倾向于减小输出值较大样本的网络映射误差，这是峰值识别原理的基本思想，其实质是在误差逆向传播的网络权重修改过程中，遵循了侧重于“峰值样本误差”的权重修改原则.
1.2峰值识别的算法峰值识别理论的实现方法，是在引入动量项和采用学习率自适应调整的改进BP算法[4]的基础上，对峰值样本的网络误差引入合理的修正系数，使网络的权重向着使峰值训练误差减小的方向修改.
首先，从经典BP算法开始.设有输入为x1(t)、x2(t)、…、xn(t)的n维输入，输出为xL1(t)、xL2(t)、…、xLm(t)、的m维输出和若干隐层组成的多输入、多输出人工神经网络模型.这里的t为样本序列号，这样的样本共有P对.
第l层中第i个神经元节点所接收到的上一层输入总和为
式中：Nl为第l层神经元节点总数；w(l)ij为第l层i节点与第l-1层j节点之间的连接权重；θ(l)i为第l层i节点的阈值.
第l层中第i个神经元节点的输出为
x(l)i(t)=f（y(l)i(t)）=1/1+exp(-σy(l)i(t)) (1≤l≤L，1≤i≤Nl) （2）
式中：f()为转移函数，这里采用的是对数型的单极性Sigmoid函数；σ为决定Sigmoid函数压缩程度的系数.该系数越大，曲线越陡；反之，曲线越缓.
则，当训练次数为k时，网络输出层及隐层的误差信号可表示为
式中：d(L)i(t)为训练样本的期望输出.
那么，网络权重的修改公式为
式中：η(k)为训练次数为k时的学习率；α为动量项系数.
以上为经典BP算法的基本内容.基于峰值识别的思想，实现网络误差修正倾向于输出样本的较大值，定义误差修正系数ξ
ξi=di(L)(t)/d(L)max(t) （7）
式中：d(L)max(t)为训练样本期望输出的最大值.
为了进一步提高神经网络模型的训练速度，改善网络峰值识别的精度，可以在上述修正系数的基础上，增设误差修正放大系数μ.那么，加入误差修正系数ξ及误差修正放大系数μ后，当训练次数为k时，网络输出层误差信号的向量表达式如下
应用该算法进行网络训练，能够使峰值误差修正占优，从而提高网络对峰值的映度.
2 应用实例
2.1 工程概况及基本模型 珠江流域西江段的水系关系比较复杂，如图1所示.从柳州站、迁江站、南宁站或贵港站预报梧州站洪水目前还是一个难题.结合现有的研究成果，介绍洪水预报峰值识别理论的有效性.选取珠江流域从对亭站、柳州站、迁江站、南宁站预报江口站洪水的江口站洪水预报模型，分别以BP算法与引入峰值识别理论的BPPR算法进行网络训练.以多年实测记录数据为训练样本，并采用下一年的记录数据为测试样本，即以1988、1992～1994、1996～1998各年的水位(流量)资料为训练样本，以1999年水位(流量)资料作为测试样本.
图1 珠江流域西江段主要水情站及洪水平均传播时间示意
*传播时间单位：h
传统相应水位的洪水预报方法是根据天然河道洪水波的运动原理，分析洪水波在运动过程中，波的任一相位自上游水情站传播到下游水情站的相应水位及其传播时间的变化规律，寻找其经验关系，以此进行洪水预报[8].人工神经网络对信息的分布存储、并行处理以及自学习的能力，决定了它具有对模糊信息和复杂非线性关系的识别与处理能力.网络的训练学习过程，就是网络认知事物内在规律的过程.构造基于人工神经网络洪水预报模型的首要问题，是如何将洪水过程合理地概化成人工神经网络可以映射的输入、输出关系.
以上游干流和主要支流水情站的水位(流量)资料作为网络模型的输入，以下游水情站所形成的相应水位(流量)作为网络模型的输出；同时，将下游同时水位(流量)作为网络模型的输入，以模拟下游初始水位的影响.洪水自上游水文站至下游水文站的传播时间就是网络对洪水的预见期.
本题中所建立的江口站洪水预报模型中，作为江口站的上游水文站共有对亭、柳州、迁江和南宁等站，其中的迁江站处于干流河道.值得一提的是，对亭站方向的来水属山区洪水，特点为量小、峰高、历时短，洪水过程线陡起陡落，其结果是水位的变化非常大，而实际的流量又很小，这无疑会影响水位预报模型的识别精度.为了减少这种小支流的干扰，在建立水位预报模型时，未将对亭站的水位作为输入项.在建立流量预报模型时，为了保证水量的总体平衡，仍将对亭站的流量作为一项输入.
以3h为一个间隔时段进行洪水数据采集来组织样本，以干流迁江站t时刻水位(流量)、对亭站(t-3)时刻流量、柳州站(t-3)时刻水位(流量)、南宁站(t-8)时刻水位(流量)和江口站t时刻水位(流量)作为网络的输入，江口站(t+T)时刻的水位(流量)为网络的输出.其中，T为网络的预见期，即洪水自上游迁江站传播到江口站的时间，亦为峰现时间.在组织样本时，采用洪水在各站间的实测传播时间，但网络预报的预见期为平均预见期，即T=9时段，约28h(洪水在各站间的传播情况见图1).图2为江口站洪水预报模型的网络拓扑结构图.
图2 江口站洪水预报模型的网络拓扑结构
在网络结构设计中，输入与输出节点数由实际问题而定，而隐层数及隐层节点数是网络设计中的关键问题.在实际问题中，常常无法估计问题的真实复杂程度，通常采用双隐层.关于隐层节点数目的确定，直接关系到能否成功地解决问题.实际上，隐层节点数决定于训练样本的多少、样本噪音的大小以及所面对问题的复杂程度.若隐层节点数太少，网络映射能力不足；若隐层节点数太多，不仅增加网络的训练时间，还会引发所谓“过度吻合”问题，即虽然增加了训练精度，但是由于网络过多地获得了样本的个性特征，而掩盖了样本的共性特征，从而造成预报精度的下降.目前的研究成果，还不能在理论上提供一套科学的推导方法，试算法是可靠的常规方法.本题经多次试算，合理的拓扑结构为：水位预报模型(4-40-20-1)，流量预报模型(5-40-20-1).
图3 水位预报模型中BP算法与BPPR算法映结果比较
网络模型的初始权重在(-1，1)之间随机产生，动量项系数α取0.9.初始学习率η0在基本BP算法中取0.001，在BPPR算法中取0.0005，初始学习率往往会因不同网络模型而不同.BPPR算法的峰值误差修正放大系数μ取2.0.水位模型的训练停止条件为平均映射误差l≤0.20m，流量模型的训练停止条件为平均映射误差q≤500m3/s.
2.2 计算成果 分别采取BP算法与BPPR算法进行网络模型的训练，两种算法对于峰值水位(流量)的映射情况见图3、图4.以完成训练的网络模型对1999年的洪水情况进行测试预报，预报结果见图5、图6.
图4 流量预报模型中BP算法与BPPR算法映射结果比较
2.3 成果分析 图3、图4反映了完成训练的网络模型对训练样本中洪峰水位与流量的映射情况，从图中可以看到，BP算法对于洪水演进规律具有很高的映度，引入峰值识别理论的BPPR算法能够进一步提高网络对洪水峰值的映度，这种作用对于较高洪峰识别效果更为明显.
图5 1999年水位预报结果比较
图6 1999年流量预报结果比较
图5、图6为网络模型对1999年洪水主洪峰的预报情况.在水位预报模型中，BP算法对洪峰的预报误差为0.13m(低于实测值)；BPPR算法的预报误差为-0.05m(高于实测值).在流量预报模型中，BP算法对洪峰的预报误差为291m3/s；BPPR算法的预报误差为-83m3/s.
这里所采用的峰值误差修正放大系数μ实质上与样本集中大值样本所占的比例有关，大值样本所占比例越小，μ的取值越大；反之，则小.在实际操作中，ξμ是作为一个参数进行权重调节计算的，所以μ的取值又受样本集中最大值和最小值间比例关系的限制.
如果放大系数选取过大，网络训练容易失稳，造成训练误差增大；反之，网络权重的修改难以体现洪峰样本的贡献.具体取值由实际问题而定，在珠江流域的洪水预报模型中，放大系数的取值范围为1.5～2.5.
从网络模型的训练识别和测试预报两方面的研究成果来看，人工神经网络对于洪水演进规律的识别具有较高的精度，能够模拟洪水的动态过程，其中，引入峰值识别理论的BPPR算法有利于提高模型对峰值的映射与预报精度，效果明显.这些改进效果对于水文水资源预报中，可能效果并不十分显著，但在防汛中，水位预报对防洪决策至关重要，往往十几厘米的误差，直接影响到防洪方案的决策.因此，峰值识别理论对基于BP算法的洪水预报模型来讲，具有重要意义.
3 结束语
基于人工神经网络的洪水预报方法作为防洪减灾领域一种新的研究途径，将智能化思想引入到对洪水过程的计算模拟，更能反映洪水复杂非线性的动态演进规律.研究结果表明，人工神经网络算法能够很好地映射洪水的演进规律，做到对洪水实时的监测与预报，预报精度较高.
针对洪峰预报精度在防洪减灾工作中的重要性，本文提出了基于峰值修正理论的BPPR算法，该算法能够很大程度上提高峰值的训练与预报精度，从而保证了洪水预报网络对洪峰水位、流量预报结果的可靠性，具有很高的实际应用价值.这种峰值识别理论与算法还可以应用于潮汐预报、地震预报等峰值预报过程起主要作用的相关领域，具有一定的普适性.
神经网络的认识范文6
关键词：神经网络 BP网络
中图分类号：TP3 文献标识码：A 文章编号：1672-3791（2014）01（c）-0240-02
神经网络是一门发展十分迅速的交叉学科，它是由大量的处理单元组成非线性的大规模自适应动力系统。神经网络具有分布式存储、并行处理、高容错能力以及良好的自学习、自适应、联想等特点。该模型对于拟合现实复杂世界有着重要的实用价值。
1 神经网络简介
人工神经网络（Artificial Neural Network，ANN），亦称神经网络（Neural Network，NN），是一种应用类似于大脑神经突触连接结构进行信息处理的数学模型，它是在人类对自身大脑组织结合和思维机制的认识理解基础之上模拟出来的，它是根植于神经科学、数学、统计学、物理学、计算机科学以及工程科学的一门技术。心理学家Mcculloch，数学家Pitts在20世纪40年代第一次提出了神经网络模型，从此开创了神经科学理论的研究时代，此后半个世纪神经网络技术蓬勃发展。神经网络是一种计算模型，由大量的神经元个体节点和其间相互连接的加权值共同组成，每个节点都代表一种运算，称为激励函数（activation function）。每两个相互连接的节点间都代表一个通过该连接信号加权值，称值为权重（weight），神经网络就是通过这种方式来模拟人类的记忆，网络的输出则取决于网络的结构、网络的连接方式、权重和激励函数。而网络本身通常是对自然界或者人类社会某种算法或函数的逼近，也可能是一种逻辑策略的表达。神经网络的构筑理念是受到生物的神经网络运作启发而产生的。人工神经网络则是把对生物神经网络的认识与数学统计模型向结合，借助数学统计工具来实现。另一方面在人工智能学的人工感知领域，我们通过数学统计学的方法，使神经网络能够具备类似于人的决定能力和简单的判断能力，这种方法是对传统逻辑学演算的进一步延伸。
2 神经网络模型及训练
2.1 生物神经元模型
人脑是自然界所造就的高级动物，人的思维是由人脑来完成的，而思维则是人类智能的集中体现。人脑的皮层中包含100亿个神经元、60万亿个神经突触，以及他们的连接体。神经系统的基本结构和功能单位就是神经细胞，即神经元，它主要由细胞体、树突、轴突和突触组成。人类的神经元具备以下几个基本功能特性：时空整合功能；神经元的动态极化性；兴奋与抑制状态；结构的可塑性；脉冲与电位信号的转换；突触延期和不延期；学习、遗忘和疲劳；神经网络是由大量的神经元单元相互连接而构成的网络系统。
2.2 人工神经网络模型
人工神经网络，使通过模仿生物神经网络的行为特征，进行分布式并行信息处理的数学模型。这种网络依靠系统的复杂度，通过调整内部大量节点之间相互连接的关系，从而达到信息处理的目的。人工神经网络具有自学习和自适应的能力，可以通过预先提供的一批相互对应的输入输出数据，分析两者的内在关系和规律，最终通过这些规律形成一个复杂的非线性系统函数，这种学习分析过程被称作“训练”。神经元的每一个输入连接都有突触连接强度，用一个连接权值来表示，即将产生的信号通过连接强度放大，每一个输入量都对应有一个相关联的权重。处理单元将经过权重的输入量化，然后相加求得加权值之和，计算出输出量，这个输出量是权重和的函数，一般称此函数为传递函数。
2.3 神经网络的训练
当神经网络的结构确定以后，接下来的工作就是训练和学习。神经网络不是通过改变处理单元的本身来完成训练和学习过程的，而是依靠改变网络中各神经元节点的连接权重来完成的。因此若处理单元要学会正确的处理所给定的问题，唯一用以改变处理单元性能的元素就是连接权重。
2.4 神经网络的分类
神经网络按照不同的结构、功能，以及学习算法，对网络进行分类，可以分为：（1）感知器神经网络：最简单的神经网络类型，只有单层的神经网络结构，采用硬限值作为网络传递函数，主要适用于简单的线性二类划分问题，在此类问题中处理的效率较高。但不适合本论文的课题。（2）线性神经网络：单层结构的神经网络，采用线性函数作为网络的传递，主要也是用于解决线性逼近问题。
3 BP神经网络
目前应用最为广泛的网络，具有多层网络结构，可以由一个或者多个隐含层。BP网络采用Widrow―Hoff学习算法和非线性传递函数，典型的BP网络采用的是梯度下降算法，也就是Widrow―Hoff算法所规定的。BP，即Back Propagation，就是指为非线性多层网络训练中梯度计算是采用信号正向传播、误差反向传播的方式。通过采用非线性传递函数，BP网络能够以仁义的精度逼近任何非线性函数，由于采用隐含中间层的结构，BP网络能够提取出更高阶的统计性质，尤其是当输入规模庞大时，网络能够提取高阶统计性质的能力就显得非常重要了，结合本文的课题，将采用BP神经网络及其改进算法进行组合集成实验，用以解决财务预警的实际问题，在后面的章节会采用相关实验证明组合集成的BP神经网络的优势。
4 径向基神经网络
径向基神经网络又称为RBF网络，它与BP网络同为多层前向网络，也能够以任意的精度逼近任何非线性函数，只是它与BP网络采用的传递函数不同，BP通常采用的是Sigmoid函数或线性函数作为传递函数，而RBF网络则采用径向基函数作为传递函数。本文后面将采用径向基函网络与BP网络进行对比。
5 竞争神经网络
竞争神经网络的特点是它的各个神经元之间是相互竞争的关系，众多神经元之间相互竞争以决定胜出者，或胜神经元决定哪一种原模型最能代表输入模式。
6 反馈神经网络
BP神经网络（Fredric M.Ham Ivica Kostanic Principles of Neurocomputing for Science―Engineering 2007）BP神经网络具有sigmoid隐含层以及线性输出层，具有很强的映射能力，本节我们对BP网络神经元和网络结构进行介绍。神经网络方法的具体步骤是：向网络提供训练例子，即学习样本，包括输入和期望的输出。确定网络的实际输出和期望输出之间允许的误差。改变网络中所有连接权值，使网络产生的输出更接近于期望输出，直到满足确定的允许误差。下图给出了一个具有N个输入的基本的BP神经元模型结构。途中每一个输入都被赋予一定的权值，与偏差求和和后形成神经元传递函数的输入。
我们来看看三层BP神经网络模型的数学表达，首先我们来确定途中各个参数所代表的涵义：
（1）输入向量：X=（x1，x2，…，xi，…，xn）T；
（2）隐层输出向量：Y=（y1，y2，…，yj，…，ym）T；
（3）输出层输出向量：O=（O1，O2，…，Ok，…，Ol）T；
（4）期望输出向量：d=（d1，d2，…，dk，…，dl）T；
（5）输入层到隐层之间的权值矩阵：V=（V1，V2，…，Vj，…，Vm）；
（6）隐层到输出层之间的权值矩阵：W=（W1，W2，…，Wk，…，Wl）。
BP神经网络就是通过构建上述变量来完成网络的描述。
我们从上至下，从输出层开始看BP网络的工作原理，对于输出层：
k=1，2，…，l （1）
k=1，2，…，l （2）
对于隐层：j=1，2，…，m （3）
j=1，2，…，m （4）
其中的是传递函数我们可以采用单极性Sigmoid函数： （5）
（1）网络误差与权值调整
输出误差E定义：
（6）
（7）
在这一步的基础上，进一步展开至输入层：
（8）
j=0，1，2，…，m；k=1，2，…，l （9）
i=0，1，2，…，n；j=1，2，…，m （10）
式中负号表示梯度下降，常数η∈（0，1）表示比例系数。在全部推导过程中，对输出层有j=0，1，2，…，m；k=1，2，…，l，对隐层有i=0，1，2，…，n；j=1，2，…，m
（2）BP算法推导
对于输出层，式（9）可写为：
（8）对隐层，式（9）可写为：（10），对于隐层，利用式（7）：
可得： （11）
将以上结果代入式（8），并应用式（5）：，得到：
（12）
（13）
至此两个误差信号的推导已完成。将式（12）代回到式（8），得到三层前馈网的BP学习算法权值调整计算公式为：
（14）
