前言：中文期刊网精心挑选了神经网络反向传播原理范文供你参考和学习，希望我们的参考范文能激发你的文章创作灵感，欢迎阅读。
神经网络反向传播原理范文1
关键词：神经网络法 测井资料 变质岩 岩性识别
中图分类号：P631.84 文献标识码：A 文章编号：1672-3791（2013）02（b）-0096-01
测井在石油勘探中的作用和地位正在日益提高，测井参数值的差异主要取决于岩性。由于井下地质构造的复杂性和测井参数分布的模糊性，对于一组特定的测井参数值，它就必然对应着地层中的某一种或某几种岩性。以往常用的人工解释方法大多依赖于人的经验，难以准确地反映测井资料与地层岩性的非线性映射关系，识别精度有限[1]。本文在总结前人利用神经网络进行火成岩、沉积岩以及碳酸盐岩的岩性识别基础上，分析岩心和测井参数对应特征的基础上，从各类岩石中读取能够代表岩样的测井参数值，确定岩性与测井参数对应关系[2]，利用神经网络方法来对变质岩进行岩性识别。
1 神经网络方法
（1）神经网络方法处理测井解释的原理。神经网络的处理单元是与大脑中神经细胞结构相类似的节点，这些节点通过不同强度相互连接起来。每个神经元操作时，都对输入信号乘以一个权值，再对加权后的输入求和。神经网络岩性识别模型是利用岩心分析资料和测井响应值，选择神经网络训练样本，经网络设计、网络学习、训练得到识别岩性的神经网络模型，然后利用网络模型来根据测井曲线识别岩性。
（2）神经网络结构的设计。在现有神经网络学习算法中，误差反向传播 （Back—Propagation）[3]是目前使用最为广泛的神经网络模型，它因通过网络反向传播误差而得名。反向传播由两步组成：信息前馈和误差反向传播。其实质就是调节各层的权值使网络学会并记忆住学习样本集。训练过程由正向过程（计算节点误差）和反向过程（调整连接权值）两部分组成。本文所用的网络由输入层、一个隐层和输出层组成。
选择一定测井曲线形态特征，作为输入向量，并用与此对应的岩性作为输出向量，组成训练对。多个训练对组成样本集，建立起一系列与实际地质状况相对应的测井相特征。可见，神经网络是一个非线性系统，它可以把具有i个分量的输入量（如测井曲线）转换成一个具有k个分量的输出矢量（如岩性）。网络经训练好后，可以用来根据其他地层信息曲线确定岩性。
应用实例如下。
本次研究选择了辽河油田几口取心井的补偿中子（CNL）、补偿密度（DEN）和（DWSI）4条测井曲线作为研究对象，建立一个4×4×3的网络，输入为DEN、CNL和DWSI等测井曲线的特征值，输出为混合花岗岩、混合片麻岩和角闪岩的岩性。
为了验证所建立模型的正确性，选择了另外6个已知岩性的样本作为训练好的神经网络的测试数据，识别结果见表2。根据变质岩岩性识别结果的统计可知，样本实际岩性与期望输出值完全一致，准确率为100%。
2 结论
由验证结果分析，神经网络来进行变质岩测井岩性识别，方法简单易操作，准确率高。相比于其他传统的岩性识别方法，神经网络方法是以自身特有的样本学习能力获得识别模式，从而克服了模糊数学法、灰色聚类法和多元统计法的缺陷。这为测井资料地质解释提供了一个全新的方法，对于探寻和鉴别含油气地产的精确性，在油气资源开发领域具有实用意义。
参考文献
[1] 赵杰，李春华.基于神经网络的两种岩性识别方法的研究[J].科学计算与信息处理，2009，309：138～140.
神经网络反向传播原理范文2
关键词：神经网络 特征提取 模式识别
中图分类号：U495 文献标识码：A 文章编号：1674-098X（2017）01（a）-0115-05
随着通信技术的飞速发展，出现了适用于不同背景环境的通信标准，每种标准都有其特定的调制方式和工作频段，为了满足人们实现不同标准间互通的需求，软件无线电技术应运而生。它利用可升级、可替代的软件来完成尽可能多的通信功能硬件模块，将多种类型的信号处理基于一体。为了能够处理不同类型的调制信号，必须首先识别出信号的调制类型，然后才能进行下一步处理。因此，调制信号的自动识别技术，就成了软件无线电技术中的关键。
神经网络具有的信息分布式存储、大规模自适应并行处理和高度的容错性等特点，是用于模式识别的基础。特别是其学习能力和容错性对不确定性模式R别具有独到之处。其中BP网络长期以来一直是神经网络分类器的热点，由于它理论发展成熟，网络结构清晰，因此得到了广泛应用。基于A.K. Nandi和E.E. Azzouz从瞬时频率、瞬时幅度和瞬时相位中提取的特征参数，我们就可以用神经网络对常用的数字调制信号进行自动分类。
1 神经网络
根据T. Koholen的定义：“人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体做出交互反应。”人工神经网络是在现代神经学研究成果的基础上发展起来的模仿人脑信息处理机制的网络系统，它由大量简单的人工神经元广泛连接而成，反映了人脑功能的若干特性，可以完成学习、记忆、识别和推理等功能。
2 数字调制信号特征参数的提取
计算机处理的信号都是对调制信号采样后的采样信号序列，因此设采样序列为（n=0，1，2，…，Ns），采样频率为。对采样序列进行希尔伯特变换，得如下解析表达式：
（1）
采样序列的瞬时幅度：
（2）
瞬时相位：
（3）
由于是按模计算相位序列，当相位的真值超过，按模计算相位序列就会造成相位卷叠。载波频率引起的线性相位分量，是造成相位卷叠的主要因素。因此，必须对进行去相位卷叠。去相位卷叠后的相位序列为，再对进行去线性相位运算，得到真正相位序列。瞬时频率为：
（4）
在上述基础上，提取下面5个特征参数。
（1）是被截取信号片段的零中心归一化瞬时幅度的谱密度的最大值，定义为：
（5）
其中为零中心归一化瞬时幅度在t=i/fs（i=1，2，…，Ns）时刻的值；为采样速率；为每一个信号样本采样点的样本个数。定义如下：
-1 （6）
其中：
， （7）
（2）为非弱信号段中瞬时相位非线性分量的绝对值的标准偏差，定义如下：
（8）
其中为经过零中心化处理后瞬时相位的非线性分量在时刻的值；为判断弱信号段的一个幅度判决门限电平，在门限以下信号对噪声非常敏感，这里取；C为全部取样数据中大于判决门限的样本数据的个数。
（3）为非弱信号段中瞬时相位非线性分量的标准偏差，定义如下：
（9）
（4）为零中心归一化非弱信号段瞬时幅度绝对值的标准偏差，定义如下：
（10）
（5）为零中心归一化非弱信号段瞬时频率绝对值的标准偏差，定义如下：
（11）
其中，，，，rs为数字序列的符号速率。
3 基于BP网络的数字调制信号的自动识别
把BP网络应用于数字调制信号的自动识别，是应用了其简单的结构和非线性映射的本质。将特征参数映射成与其对应的调制信号，是此方法的基本思路。
3.1 调制信号识别的基本原理
由上述得到的5个特征参数区分多种数字调制信号的原理，可用图1简单示意。
用于区分是否包含幅度信息的信号；用于区分是否包含绝对相位信息的信号；用于区分是否包含直接相位信息的信号；用于区分是否包含绝对幅度信息的信号；用于区分是否包含绝对频率信息的信号。
3.2 BP网络
BP网络结构上是一个多层感知器，其基本算法是反向传播算法，反向传播（BP）算法是一种有师学习算法，BP算法的学习过程由正向传播和反向传播两部分组成，在正向传播过程中，输入向量从输入层经过隐含层神经元的处理后，传向输出层，每一层神经元的状态只影响下一层神经元状态。如果在输出层得不到期望输出，则转入反向传播，此时误差信号从输出层向输入层传播并沿途调整各层间连接权值和阈值，以使误差不断减小，直到达到精度要求。
标准的BP算法如下（以单隐层结构为例）。
W和b分别为输入层与隐层神经元之间的权值和阈值；x为输入层的输入；u和v分别为隐层的输入和输出；为输出层的输入；为隐层与输出层之间的权值；y为网络的实际输出；d为网络的期望输出；e为误差。
（1）正向传播过程。
输入层：特征参数向量组x为网络的输入。
隐含层：其输入值u为输入层的加权和（当网络为单隐层时）。
（12）
输出为：
（13）
式中为神经元的激励函数，通常为Sigmoid函数。
（14）
输出层：输出层神经元的激励函数通常为线性函数，所以输出值为输入值的加权和。
（15）
由y和d求出误差e。若e满足要求或达到最大训练次数，则算法结束，网络完成训练，否则进入反向传播过程。
（2）反向传播过程。
首先定义误差函数：
（16）
BP学习算法采用梯度下降法调整权值，每次调整量为：
（17）
式中，η为学习率，0
①对于输出层与隐含层之间的权值修正量：
（18）
其中
②对于隐含层与输入层之间的权值修正量：
（19）
式中，则下一次迭代时：
（20）
（21）
（3）BP网络的设计。
由神经网络理论可知，具有至少一个带偏差的S形隐含层和一个带偏差的线性输出层的网络，能够逼近任意的有理函数。因此该设计采用3层网络结构。
①输入层：输入层神经元的个数就是输入向量的维数。
②隐含层：根据经验公式，隐含层神经元个数M与输入层神经元个数N大致有如下关系：M=2N+1，又考虑到计算精度的问题，因此隐层设计为5。一般说来，隐节点越多，计算精度越高，但是计算时间也会越长。
③输出层：一般说来输出层神经元的个数等于要识别的调制类型的个数，但是还要具体情况具体分析。
结合该次设计实际，网络采用1-5-2结构。
（4）神经网络方法实现自动调制识别的步骤。
在此将该文方法实现的步骤归纳如下。
①由接收到的调制信号求其采样序列，进而得到其复包络。
②由信号的复包络求其瞬时幅度，顺势相位和瞬时频率。
③由信号的瞬时参量求其5个特征参数。
④用信号的特征参数向量组训练网络。
⑤用训练好的网络对调制信号进行自动识别。
（5）MATLAB仿真。
为对用神经网络进行调制信号自动识别的方法进行性能验证，下面对2FSK和2PSK做MATLAB仿真试验：基带信号的码元速率为50 kHz，载波频率为150 kHz，采样速率为1 200 kHz，对于2FSK信号，载波之差为50 kHz。将网络调整到最佳状况，对网络进行了100次的仿真训练，随机抽取了一组数据的收敛均方误差曲线如图2所示。
对训练好的网络进行性能测试。仿真识别实验分别对2FSK和2PSK信号采用SNR=10 dB，15 dB，20 dB和∞ 4组数据进行。在对网络进行了100次仿真识别的基础上得到以下数据，见表1。
由表1可以看出，用标准BP算法训练出来的神经网络，对2PSK信号有着较理想的识别成功率，在信噪比等于10 dB的情况下，依然可以达到99.5%以上的识别成功率。而对2FSK信号的识别成功率就不尽如人意，虽然在信噪比等于20 dB的情况下可以完全识别信号，但在信噪比等于10 dB的情况下，识别率较低。
4 结语
基于神经网络的数字调制信号自动识别的研究虽然初见成果，但是整体上看，它未对更多的调制类型进行测试，而且对某些类型的调制信号识别的效果还不甚理想。在仿真试验中，不可避免地出现了收敛速度慢、存在局部极小值和概率极小的不收敛现象这3个BP网络本质上的缺陷。采用改进的BP算法或者其他神经网络可以改善网络性能和提高R别成功率。
神经网络用于调制识别方法的可行性已初见端倪，与其他方法相比，神经网络具有的信息分布式存储、大规模自适应并行处理和高度的容错性等特点，使其非常适合于调制识别，而且它简单有效，极易用软件或硬件实现，相信神经网络技术能够在软件无线电领域发挥它独特而重要的作用。
参考文献
[1] 黄春琳，邱玲，沈振康.数字调制信号的神经网络识别方法[J].国防科技大学学报，1999（2）：58-61.
[2] 吴惠.数字信号调制方式识别技术研究[D].兰州交通大学，2014.
[3] 飞思科技产品研发中心.神经网络理论与MATLAB7实现[M].电子工业出版社，2005：44-58.
[4] 兰雪梅，朱健，董德存.BP网络的MATLAB实现[J].微型电脑应用，2003（1）：6-8.
[5] 姚亚峰，黄载禄.通信信号调制识别技术[J].通信技术，2003（6）：43-45，52.
[6] 姜莉.利用神经网络实现调制信号的自动识别[J].电子测试，2014（7）：71-73.
[7] 从爽.神经网络、模糊系统及其在运动控制中的应用[M].中国科学技术大学出版社，2002：17-31.
[8] 高隽.人工神经网络原理及其仿真实例[M].机械工业出版社，2003：44-53.
[9] 飞思科技产品研发中心.MATLAB 6.5辅助神经网络分析与设计[M].电子工业出版社，2003：64-69.
[10] 李峻.基于决策理论的软件无线电信号调制样式自动识别[J].大连铁道学院学报，2002（4）：50-54.
[11] 赵知劲，庄婵飞，干立.调制样式BP神经网络分类器[J].现代雷达，2003（10）：22-24.
[12] 林华东，庞伟正.软件无线电中数字调制信号的自动识别[J].应用科技，2004（6）：25-27.
[13] 王康利，谢建菲，赵兰华.基于神经网络的软件无线电信号的调制识别[J].计算机测量与控制，2004，12（9）：877-878.
[14] 姜立芳，刘泊，施莲辉.一种改进的BP算法及其在模式识别中的应用[J].哈尔滨理工大学学报，2003（3）：90-92.
神经网络反向传播原理范文3
关键词 BP神经网络；免疫遗传算法；模拟退火算法；线损
中图分类号：TM744 文献标识码：A 文章编号：1671-7597（2013）11-0000-00
线损是考核电力网运行部门一个重要经济指标，是电力网供售电过程中损失的电量。线损是技术线损与管理线损之和。对于技术线损则应控制在合理的范围以内，而管理线损要尽力减到最少。线损理论计算得到的电力网技术线损数值是电力网线损分析和指导降损的科学依据。线损计算是节能管理的重要工作。本文主要讨论BP神经网络算法在配网线损计算中的应用。
1 配网线损的计算方法
整个电力网电能损耗计算可以分解为如下元件的电能损耗计算，即35 kV及以上电力网为35 kV及以上交流线路及变压器的电能损耗计算；20 kV配电网为20 kV交流线路及公用配电变压器的电能损耗计算；10 kV配电网为10 kV交流线路及公用配电变压器的电能损耗计算；6 kV配电网为6 kV交流线路及公用配电变压器的电能损耗计算；0.4 kV低压网为0.4 kV及以下电力网的电能损耗计算；其它交流元件为并联电容器，并联电抗器，调相机，电压互感器，站用变等；高压直流输电系统：直流线路，接地极系统，换流站（换流变压器、换流阀、交流滤波器、平波电抗器、直流滤波器、并联电抗器、并联电容器和站用变压器）。
目前已有不少计算线损的方法，日均方根电流法应用较多，但它只是对35 kV及以上电压的输电网络比较适用，而对于35 kV以下的配电网，因为线段数、分支线路、配电变压器数量较多，使得其等值电路的节点数和元件数大大增加，需要花费大量的人、物力计算所需的运行资料，因此在实际应用中日均方根电流方法难以通用。回归分析方法在配网线损计算中也有较为广泛的应用，但该方法难于确定回归方程，对不同配网结构不具通用性，计算结果准确度不高。近年来，神经网络理论的发展与应用为配网理论线损计算提供了新的思路。
2 BP神经网络算法
人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。人工神经网络具有自组织、自学习、良好的容错性和非线性逼近能力，受到学界的关注。实际应用领域中，百分之八十至九十的人工神经网络模型采用了误差反传算法或者为其变化形式的网络模型，在这里简称为BP网络，BP网络目前主要应用在模式识别、分类、函数逼近和数据压缩或数据挖掘等方面。
BP（Back Propagation）神经网络，由信息正向传播及误差反向传播两个过程构成，即误差反向传播算法的学习过程。输入层的每个神经元负责接收来自外界的输入信息，并传递给中间层的每个神经元；中间层是内部信息的处理层，负责信息变换；最后一个隐层传递到
输出层各神经元的信息成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；当输出层的实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。
BP神经网络模型包括其输入输出模型、误差计算模型、作用函数模型和自学习模型。
2.1 作用函数模型
作用函数是反映下层输入对上层节点刺激脉冲强度的函数，一般取为（0，1）内连续取值Sigmoid函数，即为：f（x）=1/（1+e）。
2.2 节点输出模型
隐节点输出模型为Oj=f（∑Wij×Xi-qj），输出节点输出模型为Yk=f（∑Tjk×Oj-qk），其中f为非线形作用函数；q为神经单元阈值。
2.3 误差计算模型
误差计算模型是反映神经网络期望输出与计算输出之间误差大小的函数：
Ep=1/2×∑（tpi-Opi） ，其中tpi-i节点的期望输出值；Opi-i节点计算输出值。
2.4 自学习模型
神经网络的学习过程，即连接上层节点之间和下层节点的权重矩阵Wij的设定和误差修正过程。BP网络有师学习方式（即需要设定期望值）和无师学习方式（即只需输入模式）之分。自学习模型为Wij（n+1）=h×Фi×Oj+a×Wij（n），其中h为学习因子；Фi为输出节点i的计算误差；Oj为输出节点j的计算输出；a为动量因子。
神经网络可以用作分类、聚类、预测等。神经网络需要有一定量的历史数据，通过历史数据的训练，网络可以学习到数据中隐含的知识。
3 BP神经网络算法在配网线损计算中的应用
基于免疫遗传算法（IGA）的BP神经网络方法计算的理论线损是在遗传算法（GA）的基础上引入生物免疫系统中的多样性保持机制和抗体浓度调节机制，有效地克服了GA算法的搜索效率低、个体多样性差及早熟现象，提高了算法的收敛性能。为了解决BP神经网络权值随机初始化带来的问题，用多样性模拟退火算法（sAND）进行神经网络权值初始化，该算法设计的BP神经网络比混合遗传算法有更快收敛速度及较强的全局收敛性能，其准确度优于现有其它计算配电网理论线损的方法，预测精度在原有算法基础上有一定的提高，理论线损的计算结果与实际更加一致。改进后的算法核心是运用了神经网络的现有理论和结构，借鉴了免疫学原理和相关特性，定义了基于免疫学的基本运算规则和运算单元，用遗传算法实现了个体群在群体收敛性和个体多样性之间动态平衡的调整。
4 小结
配电网线损是电力工业中一个重要的技术经济指标，准确简便的线损计算对于电力网络优化设计、提高电力系统运行的经济性、安全性及供电质量具有很强的导向作用。BP神经网络算法有更快收敛速度及较强的全局收敛性能，其准确度优于现有其它计算配电网理论线损的方法，使得理论线损理论计算与实际更逼近。
参考文献
[1]李秀卿，汪海，许传伟，等.基于免疫遗传算法优化的神经网络配电网网损计算[J].电力系统保护与控制，2009，37（11）.
[2]甘德强，王锡凡，王小路.电力系统概率暂态稳定性的分析[J].中国电力，1994，27（4）：32，35.
[3]张健，刘怀东.输电线路概率安全性测度研究[J].电力系统及其自动化学报，2003，12：34，36.
神经网络反向传播原理范文4
【关键词】BP神经网络；遗传算法；变压器；故障诊断
1 引言
变压器作为电力系统重要的变电设备，其运行状态直接影响到供电的可靠性和整个系统的正常运行。一旦发生事故，将对电力系统和终端用户造成严重的影响。因此研究变压器故障诊断技术，对电力系统安全运行有着重要的现实意义。
对变压器油中溶解气体进行色谱分析（DGA）是变压器内部故障诊断的一种重要的手段。基于此技术，采用具有高度的非线性映射以及自组织、自学习能力的人工神经网络，现阶段在进行故障诊断时多采用BP神经网络。BP算法是基于梯度的方法，容易陷入局部极小值，且收敛速度慢。GA遗传算法的发展为我们提供了一个全局的、稳健的搜索优化方法，本文充分利用GA具有不受函数可微与连续的制约，并且能达到全局最优的特点，由GA寻找最优的BP网络权值与相应节点的阈值，并加入动量因子，此方法弥补了传统优化方法的不足，极大地改善了BP网络的性能。
2 BP神经网络及遗传算法原理
2.1 BP神经网络的基本原理
BP神经网络是一种利用反向传播训练算法的前馈型神经网络，BP学习算法基本原理是梯度最速下降法，中心思想是调整权值使网络总误差最小，即采用梯度搜索技术，以使其网络的实际输出值与期望输出值的误差均方值为最小。
BP学习算法包括前向传播和误差反向传播两个学习阶段。当给定网络的一个输入模式时，输入信号经隐层逐层处理后传到输出层，并由输出层处理后产生一个输出模式，称为前向传播；当输出响应与期望的输出模式有误差时，则转入误差反向传播。即将误差值沿原来的连接通路逐层反向传播直至输入层，并修正各层连接权值。对于给定的一组训练模式，不断地重复前向传播和误差反向传播的过程，通过沿途修改各层神经元间的连接权和神经元阈值使得误差达到最小。当各个训练模式都满足要求时，就说BP网络已学习好。BP神经网络模型的基本结构如图1。
2.2 附加动量的BP神经网络
传统的BP神经网络训练在修正权值时，是按着k时刻的负梯度方式进行修正，而忽略了之前积累的经验，导致权值的学习过程发生振荡，收敛缓慢。因此提出加入动量因子a，此时k+1时刻的权值为：
附加动量法总是力图使同一梯度方向上的修正量增加。这种方法加速了收敛速度，并在一定程度上减小了陷入局部极小的概率。
2.3 GA遗传算法的基本原理
GA是模拟自然界优胜劣汰的进化现象，把搜索空间映射为遗传空间，把可能的解编码成一个向量（染色体），向量的每个元素称为基因。通过不断计算各染色体的适应值，选择最好的染色体，获得最优解。
首先把问题解用遗传表示出来，在对种群中的个体进行逐个解码并根据目标函数计算其适应值。根据适应值的大小而决定某些个体是否得以存活的操作，把适应值高的个体取出复制再生，再将两个个体的某些部分互换并重新组合而成新的个体，经过交叉后随机地改变个体的某些基因位从而产生新的染色体。这样的过程反复循环，经过若干代后，算法就收敛到一个最优的个体，问题最终获得全局最优解。GA流程图如图2所示：
3 GA优化BP神经网络的变压器故障诊断模型设计
GA-BP算法主要思想是：先利用神经网络试探出最好的网络的隐层节点数，再利用遗传算法在整体寻优的特点将网络的权值优化到一个较小的范围，进而用BP算法继续优化。
3.1 BP网络的建立
（1）输入模式的确定
本文为了充分利用在线监测中的特征气体而又不使输入量过大，特取C2H2/C2H4、C2H4/C2H6、CH4/H2的比值归一后作为输入矢量。
（2）输出模式的确定
本文对输出层采用正常、低温过热、中温过热、高温过热、局部放电、低能放电、高能放电共7个神经元。输出值最大为l，数值越大则表明该类型的故障的可能性和严重程度也越大，如表2.1：
（3）隐含层神经元数确定
本文参考关于隐含层神经元数的理论研究和经验公式，获得理论值为5～15。再利用matlab 软件，通过试凑法对网络进行训练，将隐层节点设置为6、8、10、12、14，将其输入计算机，在相同训练条件下进行训练，得知隐层节点数为12时网络收敛性能好，收敛时间较短。故选节点数为12。
综上所述，本文构建一个输入层为3，隐含层为12，输出层为7的BP神经网络。
3.2 GA对BP网络进行优化
（1）初始化种群P、以及权值、阈值初始化；在编码中，采用实数进行编码，本文初始种群取30；
（2）计算每一个个体评价函数，并将其排序；可按下式概率值选择网络个体：
其中 i为染色体个数，k为输出层节点数，YK为训练值，P为学习样本数，T为期望目标值；
（3）进行选择复制、交叉、变异遗传操作；
（4）将新个体插入到种群P中，并计算新个体的评价函数；
（5）计算BP的误差平方和，若达到预定值则进行BP神经网络的训练，否则重复进行遗传操作；
（6）结束GA操作，以GA遗传出的优化初值作为初始权值，运用BP神经网络进行训练，计算其误差，并不断修改其权值和阈值，直至满足精度要求，此时说明BP网络已经训练好，保存网络权值和阈值。
4 故障诊断系统的仿真
本文选取了具有代表性的30组作为训练样本， 在建立的GA-BP变压器故障诊断网络中输入样本进行训练，其遗传算法适应度曲线、误差平方和曲线和GA-BP的训练目标曲线图分别见图3、图4和图5。
从图中可以看出，适应度较高的个体被遗传了下来，适应度较低的则被淘汰；GA进行了150代的遗传操作达到了目标值；GA-BP算法进行了106步左右就收敛到指定精度0.0005。由此看出，此GA优化BP建立的变压器故障诊断模型的收敛精度和收敛速度都比较高。
采用实际检测到的10组电力变压器故障实例（表2）来验证网络性能，神经网络诊断结果和实际故障结果的比较，如表3所示：
由表3可见，基于遗传算法优化BP神经网络的变压器故障诊断系统在故障诊断中达到了很高的准确率，能较好地满足变压器故障诊断的要求，极大的提高了诊断的可靠性和准确性。
5 结束语
文中将遗传算法与BP网络相结合，在DGA的基础上设计了适用于变压器故障诊断的3-12-7结构的BP神经网络。先对网络的权值阈值进行GA算法处理，并在传统的BP算法中加入动量因子，通过MATLAB编程实现了GA优化BP网络。通过仿真分析可知GA优化BP网络收敛性能的提高改善了BP网络的学习效率，并在下一步的诊断工作中体现其高准确率，推广了此优化网络在变压器故障诊断的实用性。
参考文献：
[1]张绪锦，谭剑波，韩江洪.基于BP神经网络的故障诊断方法[J].系统工程理论与实践，2002（6）.
[2]王少芳，蔡金锭.GA―BP混合算法在变压器色谱诊断法中的应用[J].高电压技术，2003（7）.
[3]郑高，戴玉松.人工智能方法在变压器故障诊断中的应用[J].四川工业学院报，2004 （5）.
[4]李国勇.智能控制机器MATLAB实现[M].电子工业出版社，2005.
[5]徐志钮，律方成.多神经网络方法在变压器油色谱故障诊断中的应用[J].高压电器，2005（3）.
神经网络反向传播原理范文5
摘要：工程造价估算是招标投标中的重要一环，探寻一套快速、简捷、实用的工程造价估算方法已经成为建筑行业的迫切需要。为了建设工程造价估算技术的发展及文联面临的问题，提出在建设工程造价估算技术系统中应用人工神经网络技术来提高估算精确度，并且给出系统的设计模型。
关键词：人工神经网络；工程造价；造价估算
人工神经网络（ArtificialNeuralNetworks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（ConnectionistModel），它是一种模范动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。人工神经网络具有自学习和自适应的能力，可以通过预先提供的一批相互对应的输入－输出数据，分析掌握两者之间潜在的规律，最终根据这些规律，用新的输入数据来推算输出结果，这种学习分析的过程被称为“训练”。
一、神经网络的建立
虽然人们还并不完全清楚生物神经网络是如何进行工作的，但还是幻想能否构造一些“人工神经元”，然后将这些神经元以某种特定的方式连接起来，模拟“人脑”的某些功能。
在1943年，心理学家W. McCulloch和数学家W. Pitts合作，从数理逻辑的角度，提出了神经元和神经网络最早的数学模型（MP模型），是神经网络研究的开端，更为后面的研究发展奠定了基础。经历了半个多世纪，神经网络度过了萌芽期、第一次期、反思低潮期、第二次期、再认识与应用研究期五个阶段。目前，神经网络已成为涉及多种学科和领域的一门新兴的前沿交叉学科。
神经元分为分层网络和相互连接型网络。所谓分层网络，就是一个网络模型中的所有神经元按功能分层，一般分为输入层、中间层（隐含层）、输出层，各层按顺序连接，隔层之间均采用的是全互连接，但对于同一单元间，不互相连接。分层网络可细分为简单前向网络、反馈前向网络和层内互相连接的网络。人工神经网络结构是一种多层的网络结构，一个典型的前向网络。
某个神经元 j 的输入―输出关系为
其中，θj为阀值，ωji为连接权，f(•)为变换函数，也称活化函数(activation function)
对于人工神经网络模型，我们只可能在某种程度上去描述我们所了解的情况。同样，人工神经网络也只可能是在某种程度上对真实的神经网络的一种模拟和逼近。
二、在工程造价中的运用
成都市工程造价计价模式后选取了基础类型、结构类型、工期、层数、建址、层高、内装修、门窗、单位造价等10个影响工程造价和工程量的特征作为模型的输入。考虑到各个工程中门和窗数量差别很大为提高估算的精度我们把门数量和窗数量作为输入，其数量在工程施工图纸上很容易查得，不需作复杂的计算。对于其他文字性表达的工程特征需转变成数字后作为网络的输入。
很明显的看出，测试样本总体误差率比较小，平均误差为283%，基本满足估算要求，随着工程资料的不断积累，选取有代表性的数据作为样本，误差将不断缩小。
意义：
通过这次研究，我们了解了人工神经网络的基本原理，即通过误差反向传播建立多层前馈网络的学习收敛过程,该过程主要包括三个层次,即输入层、隐含层和输出层。在训练中通过计算输出值与期望值之间的误差,来求解输出层单元的一般化误差,再将误差进行反向传播,求出隐含层。并了解了基于人工神经网络之上的建设项目的投资估算模型，了解了平滑指数法、类比系数法、模糊数学估算法的基本原理与其自身的优势与不足，也让我们更深刻地认识到，人工神经网络，作为90年代逐渐被运用的人工智能技术之一，能像一个经验深厚的造价师，根据工程类型、特征及其相关情况,结合数据和经验,准确的估算出其造价。我们也通过计算验证了模型的可行性。对于我们从事建筑造价的大学生来说，是一次难能可贵的研究机会，能够较深层次的了解行业中的专业知识。随着中国改革开放和市场经济的不断深入，中国建筑企业在面临很好的机遇的同时，也面临着严峻的考验。现在的市场竞争机制已表现得越来越明显，他要求我们提高效率，尽快拿出自己招投标方案，但是传统的预算方法以及现行的计算软件都必须花费较长的时间才能计算出结果，而且计算的结果准确度还不是很高。怎样解决这个问题，成了建筑界的热门话题。同时作为建设方的业主，他们同样对快速预算很感兴趣。因为确定工程造价是建设工作中十分重要的一环，在不同阶段有着不同的方法。如建设前期的工程造价估算、初步设计阶段编制概算、施工图设计阶段编制预算，特别是建设前的估算是我们工作的重点，因为它是我们进行成本控制的起点。对于建设单位而言，它们不仅能在进行设计招标之前大致确定该工程的造价，而且还能在工程施工招标前定出合理的标底。可见快速预算有其很现实的发展研究背景。近几年许多学者都在这方面努力探索，并取得了很好成果。 神经网络和模糊数学的快速发展应用为工程快速预算提供了很好的思路。我们通过查阅资料了解了模糊数学和神经网络的结合原理，认识了基于模糊神经网络和工程预算原理的工程快速估价的模型，并通过住宅建筑估价模型的建立，说明模型的实现方法且验证其实用性。这次研究对于行业经验不足的我们十分宝贵，我们通过书籍等资料更加全方位的了解了我们未来所讲从事的行业的知识，为我们以后的工作做了良好的铺垫，积累了宝贵财富，我们将在了解这些专业知识之后熟练地运用，以更好地促进行业的发展。（西华大学；四川；成都；610039）
参考文献：
① 汪应洛、杨耀红，工程项目管理中的人工神经网络方法及其应用［J］.中国工程科学.2004,6(7):26-33.
② 袁曾仁，人工背景：神经网络及其应用［M］清华大学出版社，1991
神经网络反向传播原理范文6
[关键词] BP神经网络 图像分类 Matlab 自适应特征因子 收敛速度 精度
中图分类号：P23 文献标识码：A 文章编号：1009-914X（2014）07-0321-03
1.引言
卫星遥感对地观测技术是人类获取资源环境动态信息的重要手段，无论是专业信息提取、动态变化预测、还是专题地图制作和遥感数据库的建立等都离不开分类。在数学方法的引入和模型研究的进展为影像的分类注入了新的活力，不同的数学方法和参数特征因子被引用到模型的研究上来，为模型研究的发展提供了广阔的天地。而基于改进的BP神经网络，更是融合了自适应特征因子和非线性函数逼近的网络模型，不仅学习速度快，而且有高度复杂的映射能力。
2.人工神经网络的分类方法
人工神经网络（Artificial Neural Network， ANN ）是基于生物神经系统的分布存储、并行处理及自适应学习这些现象构造出具有一些低级智慧的人工神经系统【1】。其概念是在20世纪40年代中期由McCulloch和Pitts提出的，70年代得到应用，80年代以来，随着计算机技术的发展而得到了快速的发展，属于非线性学科，具有强抗干扰性、高容错性、并行分布式处理、自组织学习和分类精度高等特点。
近年来，神经网络被广泛应用于遥感图像分类中，不同学者分别提出或应用了Hopfield神经网络、BP网络、自组织映射网络、小波神经网络、细胞神经网络、模糊神经网络等对遥感图像进行分类【2】。这些神经神经网络在遥感图像自动分类上都有一定的应用，并取得较好的效果。本文基于此，对传统的BP算法进行了改进，提出了在Matlab软件提供的神经网络工具箱中，对BP神经网络的权值，学习率进行分析。重点是运用数学中自适应特征因子，加快了迭代过程中的收敛速度，而且使精度更高。
3.BP神经网络
BP神经网络是一种通用性较强的前馈网络，它主要采用模式正向传递、误差信号反向传播的BP算法，实现输入到输出的映射，并且是非线性的，具有结构简单、可操作性强等优点，目前已被广泛应用【3】。
3.1 BP算法原理
学习过程由信号的正向传播与反向传播两个过程组成。正向传播时，输入样本从输入层传入，经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望输出不符合时，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此信号作为修正各单元权值的依据。
3.2 BP学习率的优化算法分析
为了加快神经网络的学习速度，对学习率的改进是BP算法优化的重要部分。因为BP算法是不断通过调整网络权值进行训练学习的，修正的大小受到学习率的控制，因此学习率的改进对整个网络的优化是很重要的。为了加快学习速度，研究者提出了很多的优化学习率算法，刘幺和等提出的具体优化公式为[4]： η=Ae-λn. （1）
此算法优于学习率固定的传统BP算法，减少了网络学习过程中的学习次数，但同样存在着其它问题，首先，模型中A的取值范围并不适用于所有神经网络，由于它的取值决定了网络学习率的初始值，通过A确定的网络初始学习率可能使网络不收敛。其次，当网络误差下降速度快时，该算法反倒使网络收敛速度比较慢，这说明此时网络不适应这种情况。
在上述模型中，陈思依据可变学习率的变化，提出了另一改进模型，此方法的思想是，如果网络权值在实际情况中更新之后使误差值减小，此时就没有必要再减少学习率，如果保持原学习率不变，不仅增加了训练速度，而且修改权值的幅度会大些，训练效果会更好一些。改进后的模型为[5]：
此算法优点是如果误差下降速度明显增快，则说明此时的学习率比较合适训练，不需调整。
面对现代科技的飞速发展，国内外竞相发展以高空间、高光谱和高动态为标志的新型卫星遥感对地观测技术，提供了海量的信息源，加大了人们对空间的认知，对信息世界的分类利用，但是人们的优化算法远远跟不上丰富的信息源。对此，针对上面学习率算法，虽然有很大的改进，但处理速度还远远不够，还需要优化。
3.3 网络隐层的节点数确定
BP人工神经网络拓扑结构中，输入节点与输出节点是由问题的本身决定的，关键在于隐层的层数与隐节点的数目，在Robert Hecht Nielson等人研究指出，只有一个隐层的神经网络，只要隐节点足够多，就可以以任意精度逼近一个非线性函数【6】。
因此隐节点的确定关系到整个网络的处理，下面是关于隐节点数确定的的方法：
其中Hpi隐节点i在学习第p个样本时输出，Hpj是隐节点j在学习第p个样本时的输出，N为学习样本总数，而Hpi与Hpj的线性相关程度愈大，互相回归的离散度越小，反之，则相反。
当同层隐节点i和j的相关程度大，说明节点i和j功能重复，需要合并；当样本散发度Si过小，说明隐节点i的输出值变化很少，对网络的训练没起到什么作用，可以删除。因此根据这样规则可以进行节点动态的合并与删除。
4.特征因子算法加入
神经网络在遥感图像分类中的优势越来越明显，很多人对其进行了研究与应用。对此，本文对前人的算法进行了优化，主要是进行网络权值修正速度的加速，在算法优化中，引入了数学中的特征因子加速收敛方法，其保证精度下，使网络的迭代收敛速度大大加快。
具体算法思想过程如下：在BP神经网络学习阶段，当遥感图像的特征样本数据由输入层到隐含层，然后再传输到输出层，最后得到的输出数据与目标数据会产生误差，然后在返回到隐含层来调整网络权值，直至误差达到所要求的精度范围为止。在迭代过程中，为了使误差迅速减小到精度范围内，特征因子算法被引入到网络权值调整上：
在第一次迭代 ：
其中x0为输入向量，y1为第一次输出向量，T为目标向量，第一次迭代生成的T1为目标向量T的近似值，Tk+1为迭代N次（1，2，3，…）目标向量T的近似值。在运用特征因子迭代收敛加速方法中，比以往的算法得到优化，加速了网络权值调整的收敛速度，且使结果的精度得到保证。
5.实验过程与精度评定
本次实验是在Matlab环境下开发的神经网络工具箱中来进行展开的，神经网络工具箱是MATLAB环境下开发出来的许多工具箱之一。它以人工神经网络理论为基础，利用MATLAB编程语言构造出许多典型神经网络的框架和相关的函数【7】。此工具箱可以用来对BP神经网络训练函数的创建，下面是具体的实验过程：
（1）选取QuickBird卫星影像，在影像上选取各类别的特征样本，要求样本数量得足够多。然后进行特征选取，一般是选取象元的多光谱特征的特征向量，以此确定特征矩阵p。为了方便在训练阶段的学习，需把向量值归一化，在根据特征向量，确定输入层节点数为5。
（2）进行BP神经网络的构建，其中隐层网的节点数是根据前面提到的方法，节点数经过合并与删除之后最终确定为25；根据待分类影像的类别分别是公路用地、内陆滩涂、旱地、水工建筑用地、裸地、坑塘水面、林地、水库水面、采矿用地、城市、村庄、水浇地、设施农用地、建制镇、果园、灌木林地、风景名胜及特殊用地、其他林地、其他草地，输出层节点数确定19；目标向量可用以下形式表示：
（1，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0） 表示公路用地
（0，1，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0） 表示内陆滩涂
（0，0，1，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0） 表示旱地
（0，0，0，1，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0） 表示水工建筑用地
（0，0，0，0，1，0，0，0，0，0，0，0，0，0，0，0，0，0，0） 表示裸地
（0，0，0，0，0，1，0，0，0，0，0，0，0，0，0，0，0，0，0） 表示坑塘水面
（0，0，0，0，0，0，1，0，0，0，0，0，0，0，0，0，0，0，0） 表示林地
（0，0，0，0，0，0，0，1，0，0，0，0，0，0，0，0，0，0，0） 表示水库水面
以此类推直到最后类别的表示……
（0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，1） 表示其他草地
调用Matlab神经网络工具箱中的函数，另外为了加入特征因子算法，需要创建网络的权值学习函数learnc，p1是输入训练样本，p2是输入未知样本向量。部分代码如下：
net=newff（minmax（p），[25，19]，{‘tansig’，‘logsig’}，‘traingdx’，‘learnc’）；
net.trainParam.show=300；
net.traimParam.epochs=1600；
net.train.goal=0.01；
net=init（net）；
net=train（net，p1，T）；
Ye=sim（net，p2）；
（3）在步奏（2）的基础上，进行训练学习。创建的网络权值函数加入特征因子后，在学习阶段收敛速度明显增快 。使调整后的网络权值尽快达到了用户设定精度范围。
（4）学习阶段完成后，开始进行分类阶段。把未分类的QuickBird卫星影像的特征向量值输入到神经网络中，进行分类，根据输出向量y与目标向量T进行对比，然后把象元分类到自己所属的类别区。直到影像被分类完为止。
（5）分类结果图如下：
（6） 下面是对分类结果进行精度评定，采用误差矩阵法来评定精度。总体精度可达到93.89%，其他各个类别的用户精度和生产者精度都很高，最低的不低于82.43%，满足用户的需求，达到使用的目的。
6.结束语
BP神经网络的非线性映射，自适应功能等优势已在遥感图像分类中得到广泛的应用，本文基于前人的优化算法，提出了在网络权值调整过程中的特征因子迭代加速算法，使学习阶段的权值调整速度明显加快。但在分类精度上改变较小，在提高精度上，是以后继续研究改进的方向。
参考文献
[1] 叶世伟 史忠植（译） 神经网络原理 北京：机械工业出版社，2004
[2] Dony R D，et al. Neural network approaches to image compression[J].Proc IEEE，1995，83：288-303.
[3] 史忠植.智能科学[M].北京：清华大学出版社，2006.
[4] 刘幺和，陈睿，彭伟，等.一种BP神经网络学习率的优化设计[J].湖北工业大学学报，2007，22（3）：1-3.
[5] 陈思 一种BP神经网络学习率的改进方法[J].长春师范学院学报（自然科学版），2010.8.25-27
[6] 李晓峰，徐玖平，王荫清等。BP人工神经网络自适应学习算法的建立及其应用[J].系统工程理论与实践，2004.5 . 3-4
[7] 楼顺天，等.《基于Matlab的系统分析与设计---神经网络》. 西安：西安电子科技大学出版社，2000.8.23-40
