前言：中文期刊网精心挑选了神经网络的训练算法范文供你参考和学习，希望我们的参考范文能激发你的文章创作灵感，欢迎阅读。
神经网络的训练算法范文1
【关键词】BP人工神经网络；车间调度；模拟退火算法；SA＼LM混合算法
0 引言
车间调度指标工时达成率是评价车间调度优异程度的重要指标，它直接体现出车间设备的利用率、工人效率、库存大小，同时工时达成率的影响因素很多，如原料到位情况、设备健康状况、人员到岗状况、批次大小、加班情景等。车间调度问题是满足任务条件和约束要求的资源分配问题，是最困难的组合优化问题，解决车调度问题首先要建立准确的车间生产模型，模型的优异程度由预测输出指标的准确性决定，BP人工神经网络是建立预测模型寻求最优值的有效工具。
国内外学者对人工神经网络在调度问题及建立预测模型有相关研究。A.Azadeh、M.Jeihoonian等采用集成神经网络研究了双标准双级装配流水作业调度问题[1]；Azadeh提出了采用复杂人工神经网络和模糊优化算法优化仿真模型来解决流水生产车间的调度问题[2]；Golmohammadi， Davood等人采用神经网络模型开发的智能系统，研究表明零部件的批次大小比原材料的到位时间及延时时间对调度结果更有影响[3]；A.Azadeh， A. Negahban采用混合人工神经网络仿真并优化随机生产的调度问题[4]；Braglia 和 Grassi提出了最小化车间平均工时并最大限度延迟的车间调度混合模型，他们采用NawazCEnscoreCHam和多目标遗传局部搜索算法来解决问题[5]；祝翠玲、蒋志方等基于BP神经网络建立空气质量预测模型，将空气污染源的数据输入到该模型中，可以准确预测出污染物的检测值[6]；陈廉清，郭建亮等提出了基于BP神经网络和遗传算法构建表面粗糙度预测模型的开放式试验系统，该系统提高了外圆磨削产品表面粗糙度预测模型的收敛速度和预测精度[7]；崔吉峰、乞建勋等提出了采用粒子群算法改进BP神经网络算法，建立了对能源需求的预测模型，作者首先利用灰色预测方法和自回归移动平均模型建立初步预测结果，再将该结果作为BP神经网络的输入，在此基础上进行训练和预测，将预测精度提高了5%左右[8]；张喜忠作了基于神经网络预测模型的发动机异响信号提取的研究，丰富了发动机异响信号提取的新方法，拓宽了发动机故障诊断的应用范围[9]；王德明、王莉提出了遗传算法和BP神经网络相结合的风场短期风速预测模型，该模型具有预测精度高、收敛速度快的优点[10]；陈耀武、汪乐宇等提出了基于神经网络、模糊聚类分析和模式识别理论，建立组合式神经网络的短期电力负载预测模型，该模型能够准确预测普通工作日及节假日的电力负载[11]。
神经网络BP学习算法具有逼近非线性连续映射的能力，广泛应用与非线性系统的建模及控制领域。但是BP神经网络存在一些缺点，主要是收敛速度慢，往往收敛于局部极小值，数值稳定性差，学习率、动量项系数和初始权值等参数难以调整。本文提出采用LM和SA混合算法，弥补了神经网络的缺点，并通过调整神经网络数量，最终得到较准确的车间生产工时达成率预测模型。
1 研究方法及理论
1.1 人工神经网络研究方法
人工神经网络可以处理多元空间信息，成为模式识别、系统辨别、预测等功能的有力工具。人工神经网络的最主要的优点是不需要在训练之前明确定义近似函数。BP神经网络是最常用的神经网络，因为BP神经网络可以基于输入参数及输出参数计算出近似的仿真模型。基于人工神经网络的特性，它被广泛应用于寻找问题最优解。图1所示为BP人工神经网络解决问题的一般流程：
1）收集分析数据：收集大量数据，分析数据自身的相关性，找出主要参数作为输入。剔除数据中的奇异的，并将数据归一化用于训练神经网络。
2）选择网络类型与结构：根据问题的特点，选择神经网络为网络类型，并确定网络层数、每层节点数、初始权值、学习算法。其中隐含层的节点数选择比较麻烦，一般原则是在保证正确反应输入输出之间关系的基础上尽量少选隐含层节点数。
3）训练与验证：采用真实数据反复训练并验证神经网络直至得到合适的映射效果。在训练时初始权重可以随机产生，并且可取多组神经网络同时进行，通过取平均值来提高神经网络模型的准确性，该方法可以克服初始数据不充足的缺点。
4）对新数据实施预测，输出预测值。
1.2 SA＼LM混合算法原理
人工神经网络中LM算法结合了高斯-牛顿法和最小梯度法的优点，包含了高斯-牛顿法的局部收敛性和梯度下降法的全局特性，它通过自适应调整阻尼因子达到局部收敛性，并且其迭代收敛速度高，可以补偿BP网络收敛速度慢的缺点[12]，使其在很多非线性问题中得到稳定可靠解。但是初始值对LM算法的计算工程中具有很大的影响，若选取的初始值靠近真实值，在得到全局最优解的情景下减少运算时间，假设初始值的质量较差，优化结果会偏离全局最优解而得到局部最优解。通过两种方法可以解决该问题，一是采用尽量多的原始数据训练神经网络，使其具有较准确的预测能力，二是选择合理的优化算法与LM形成混合算法，消除其对初始值的高依赖性[13]。该研究对象为典型的离散生产型车间，无法获得所有的历史数据，第二种方式较合适。退火（SA）算法能够在算法执行过程中，基于较差初始函数值得到近似的最佳解决方案，这使得SA算法拥有在峰谷之间搜索找到全最小点的能力，无疑是最佳优化算法之一[14]。如图2所示为LM和SA混合算法在神经网络模型中的应用模式，首先基于有限的原始数据，采用SA算法训练神经网络预测模型，得到初始预测模型，将该模型中神经网络各层的权重矩阵及阀值作为LM算法的初始化参数，再次训练得到更优秀的神经网络预测模型。该混合算法能够捕捉并模拟车间排产员的经验知识和生产流程记录来形成制造过程中的系统知识，最终得到较优秀的车间调度模型。
2 人工神经网络结构
在50台加工系统组成的机加工车间中，有加工工人N人（工人充裕且有熟练度区分，其中有工序对应唯一工人），需要完成14个待加工零部件，每个工件都包含若干道工序，且工序流程一定。50台加工系统中包含车床组、铣床组、刨床组、钳床组、磨床组、焊接组，各组设备的加工能力一致， 以每个月该车间的工时达成率作为关键指标，工时达成率以实际完成工时与额定工时的比值为计算方式。车间调度员通过最佳的调度，并为各工序选配最佳资源，在满足设备加工能力及人员匹配的情况下获得最佳的工时达成率。
该调度问题有如下初始约束条件：1）任何设备无法同时加工超过两个工序；2）任意工件无法同时在多台设备上加工；3）工件必须严格按照工艺路线在指定机器上加工；4）除特定工序指定工人外忽略工人的熟练程度；5）工件的安装及拆卸时间已经包含在该工序的加工工时中；6）一般情况下有设备就有工人，除特殊情况工人处于充足状态；7）每个订单的14种原材料到位时间随机，遵循板材、管材、棒材的到位顺序。
根据该车间调度问题的特点，定义人工神经网络的结构。神经网络的输入参数为各零件的加工对象、可用设备、设备数量、分批大小、延迟值、工时、前置工序耗时、后置工序耗时等210个参数，输出参数既目标函数为工时达成率。根据输入、输出参数的量确定采用两层神经网络结构，既一层隐含层一层输出层，并且隐含层包含10个节点，可保证获得全局最优的情况下避免出现过计算。图3所示为人工神经网络的总体结构，经过多次试验验证，该神经网络中核心参数如下：
网络层阈值参数biasConnect= [1；1]，隐含层与输出层均有阈值；
输入层关系参数inputConnect = [1；0]，输入层与隐含层有权值连接，与输出层无关系；
网络层关系参数layerConnect = [0 0；1 0]，隐含层与输出层神经元相连；
输出层关系参数outputConnect = [0 1]，输出层的神经元产生网络输出；
网络传递函数layers{1}.transferFcn= 'tansig'，隐含层与输出层的传递函数；
隐含层初始函数layers{1}.initFcn = 'initnw'，隐含层初始化函数；
训练算法参数trainFcn = 'trainlm'，LM基础算法；
网络初始化函数initFcn = 'initlay'，网络初始化函数；
神经网络数量参数networks=20、50、100。
3 预测结果及分析
54套历史数据作为训练验证样本并不能完全覆盖所有情景，本研究提出采用多神经网络并行计算求平均值的方法提高模型准确性。为了得到最准确的预测模型，神经网络数量和训练算法是本研究中优化对象。神经网络的训练算法主要以LM算法和SA＼LM混合算法为研究对象，神经网络数量以20、50、100为研究对象。取54套样本中的51套为训练验证样本，3套为预测模型的测试数据，通过对比工时达成率预测值与真实值的均方差来判断神经网络模型的优异程度。训练数据中每套数据的210个参数生成51*210的矩阵，它们形象地表现出每个调度的输入与输出，这些矩阵将成为LM算法和SA＼LM混合算法神经网络的输入参数，经过计算生成各自的神经网络预测模型，最后用3套调度方案去测试准确性，表1中显示了神经网络数为20、50、100的LM算法和SA＼LM混合算法神经网络预测模型的测试结果。
从表1中清晰地显示了两种算法及三种不同神经网络数预测模型的预测误差，神经网络数量从20-50-100的梯度选择中预测模型的准确性误差呈8.46%-8.28%-6.87%的下降趋势，经过试验确定在该项目中采用100个神经网络数，该方法有效缓解了初始数据不充足的缺陷。图4中显示LM算法和LM＼SA混合算法预测误差对比，其中LM算法预测误差均值为8.92%，LM＼SA混合算法将该误差缩小到6.82%，证明混合算法能够通过改善LM单一算法中初始权重值及阀值，最终得到更优异的预测模型。
4 结论及展望
采用BP人工神经网络能够建立较准确的生产车间调度模型，并且使用SA算法建立人工神经网络的初始权重矩阵及初始阀值，再以LM算法进行优化的混合算法是建立车间调度模型的最佳算法；对于初始数据不充足的问题，可采用多神经网络并行计算求平均值的方法来提高模型准确性。得到较优秀的车间调度模型后，通过优化延迟值、批次大小、设备数量等输入参数可获得全局最优的工时达成率，最终输出离散车间效率最高的调度方案，这是今后的研究重点。
【参考文献】
[1]A.Azadeh， M. Jeihoonian， B. Maleki Shoja， S.h. Seyedmahmoudi. “An Integrated Neural NetworkCsimulation Algorithm for Performance Optimisation of the Bi-criteria Two-stage Assembly Flow-shop Scheduling Problem with Stochastic Activities.” International Journal of Production Research 50.24（2012）： 7271-7284[Z].
[2]Azadeh， Ali， Mohsen Moghaddam， Pegah Geranmayeh， Arash Naghavi. “A Flexible Artificial Neural NetworkCfuzzy Simulation Algorithm for Scheduling a Flow Shop with Multiple Processors.”The International Journal of Advanced Manufacturing Technology 50.5-8（2010）： 699-715[Z].
[3]Golmohammadi， Davood. “A Neural Network Decision-making Model for Job-shop Scheduling.” International Journal of Production Research，51，17（2013）： 5142-5157[Z].
[4]A.Azadeh， A. Negahban， M. Moghaddam. “A Hybrid Computer Simulation-artificial Neural Network Algorithm for Optimisation of Dispatching Rule Selection in Stochastic Job Shop Scheduling Problems.” International Journal of Production Research， 50， 2 （2011）： 551-566[Z].
[5]Braglia， M. and Grassi， A.， 2009. A new heuristic for the flowshop scheduling problem to minimize makespan and maximum tardiness. International Journal of Production Research， 47（1）： 273-288[Z].
[6]祝翠玲，蒋志方，王强.基于B-P神经网络的环境空气质量预测模型[J]《计算机工程与应用，2007，22（43）：223-227.
[7]陈廉清，郭建亮，杨勋，迟军，赵霞.基于进化神经网络的磨削粗糙度预测模型[J].计算机集成制造系统，2013，11（19）：2855-2863.
[8]崔吉峰，乞建勋，杨尚东.基于粒子群改进BP神经网络的组合预测模型及其应用[J].中南大学学报，2009，1（40）：190-194.
[9]张喜忠.基于神经网络预测模型的发动机异响信号提取研究[D].长春：吉林大学，2008.
[10]王德明，王莉，张广明.基于遗传BP神经网络的短期风速预测模型[J].浙江大学学报，2012，5（46）：837-841.
[11]陈耀武，汪乐宇，龙洪玉.基于组合式神经网络的短期电力负荷预测模型[J].中国电机工程学报，2001，4（21）：79-82.
[12]裴浩东.基于神经网络的稳态优化和控制研究[D].杭州：浙江大学，2001.
神经网络的训练算法范文2
一、股票价格预测模型原理
（一）BP神经网络BP神经网络是一种多层前馈网络，按误差逆传播算法训练，是目前应用最广泛的神经网络之一。BP网络能学习和存贮大量的输入-输出模式映射关系，它使用最速下降法，通过反向传播调整网络的阈值和权值，使网络的误差平方和最小。然而由于其收敛速度慢，以及网络的学习和记忆具有不稳定性等缺陷，影响了股票价格的预测精度。
（二）RBF神经网络RBF神经网络是一种高效的前馈型局部逼近式网络，它具有最佳逼近性能和全局最优特性，训练速度快，结构简单，在时间预测、非线性函数逼近等领域具有广泛的应用。RBF神经网络由n个输入节点、m个隐含层节点和1个输出节点组成，隐层节点是RBF函数。RBF神经网络隐含层节点的基函数通常选择高斯核函数，输出层节点是简单的线性函数。
（三）GABP网络基于遗传算法的BP网络模型将遗传算法和BP神经网络相结合可以充分利用两者优势。先用遗传算法在全局范围内搜索最优解的近似值，再经BP网络训练最终得到全局最优解。基于遗传算法的BP网络模型用于预测主要由三个阶段构成。先用遗传算法在全局搜索BP神经网络的最优初始权值和阈值的近似值，再将其赋值给BP网络训练，逐步求精，最终得到全局最优的权值和阈值，最后用训练好的BP网络实现预测功能。
二、基于神经网络的股票价格预测
本文采用2011年7月1日以后105天的上证指数数据为样本数据。以影响股票价格的相关因素为输入层，以收盘价为输出层。前100天的数据为训练样本，预测后5天的收盘价。为消除数据间量纲级别，加快网络训练速度，对所有的原始数据进行归一化处理。采用遍历法，以最小预测误差为目标确定各个相关参数。三种神经网络模型对股票价格的预测结果及误差如下，见表1。由以上结果可知，神经网络模型对股票价格的拟合与预测能力强，预测精度很高，能够满足股票价格预测的要求。在实际操作中发现，RBF神经网络的收敛速度最快，BP神经网络最慢。在预测精度方面，基于遗传算法优化的GABP网络拟合精度更高，能够更为准确的预测股票价格，其误差率均低于千分之四，误差率绝对值的平均值仅为0.00178，误差绝对值之和仅为6.864，较传统的BP与RBF网络更为有效。
神经网络的训练算法范文3
关键词：模糊控制；人工神经网络；人脸识别
中图分类号：TP18 文献标识码：A文章编号：1009-3044(2011)16-3904-03
随着人工智能技术的飞速发展，机器视觉已经成为当前人工智能研究领域的一大热点，很多国家的研究人员都开展了对机器视觉的研究，其中以机器视觉识别人脸最为困难，这主要是因为人的面部带有表情，不同的人具有不同的脸，而不同的脸具有不同的表情，不同的表情则具有不同的面部特征，如何让计算机通过机器视觉高效率的识别人脸，成为当前机器视觉和智能机器人关键技术领域的技术难题。
随着模糊逻辑控制算法和人工神经网络算法的发展，对于机器视觉识别人脸特征的算法也有了新的发展，目前多数研究算法所采用的人脸识别从实现技术上来说，主要可以分为以下几个类别：
1) 基于人脸几何特征进行的识别算法，该算法运算量较小，原理简单直观，但是识别率较低，适合应用于人群面部的分类，而不适宜于每一个人脸的识别。
2) 基于人脸特征的匹配识别算法，这种算法是预先构建常见的人脸特征以及人脸模板，构成人脸特征库，将被识别的人脸与特征库中的人脸进行逐一比对，从而实现人脸识别，该算法识别效率较高，但是应用有一定局限性，只能够识别预先设立的人脸特征库中的人脸模型，因此人脸特征库就成为该算法实现的技术关键。
3) 基于统计的人脸识别算法，该算法将人脸面部进行特征参数的划分，如两眼距离大小，五官之间距离等，通过构建统计特征参数模型实现对人脸模型的识别，该算法识别率较高，但是算法实现起来运算量比较大，且识别效率较低。
4) 基于模糊逻辑的人脸识别算法，这一类算法主要结合了模糊逻辑和神经网络能够自我训练学习的机制实现对人脸的识别，识别率较高，且算法运算量适中，但是算法的原理较难理解，且模糊逻辑控制规则的建立存在一定技术难度。
本论文主要结合模糊人工神经网络方法，将其应用于计算机人脸识别，以期从中能够找到有效可靠的人脸识别方法及其算法应用，并以此和广大同行分享。
1 模糊逻辑及人工神经网络在图像辨识中的应用可行性分析
1) 人脸识别的技术难点
由于计算机只能够认识0和1，任何数据，包括图像，都必须要转化为0和1才能够被计算机识别，这样就带来一个很复杂很棘手的问题：如何将成千上万的带有不同表情的人脸转变为数字信号并被计算机识别。由于人的面部带有表情，不同的人具有不同的脸，而不同的脸具有不同的表情，不同的表情则具有不同的面部特征，因此这些都成为了计算机识别人脸特征的技术难点，具体来说，人脸实现计算机识别的主要技术难度包括：
① 人脸表情：人有喜怒哀乐等不同表情，不同的表情具有不同的面部特征，因此如何分辨出不同表情下的人脸特征，这是首要的技术难点；
② 光线阴影的变换：由于人脸在不同光线照射下会产生阴影，而阴影敏感程度的不一也会增加计算机识别人脸特征的难度；
③ 其他因素：如人随着年龄的增长面部特征会发生些微变化，人脸部分因为装饰或者帽饰遮挡而增加识别难度，以及人脸侧面不同姿态也会对计算机识别带来技术难度。
2) 模糊人工神经网络在人脸辨识中的应用可行性
如上分析所示，计算机识别人脸，需要考虑的因素太多，并且每一种因素都不是线性化处理那么简单，为此，必须要引入新的处理技术及方法，实现计算机对人脸的高效识别。根据前人的研究表明，模糊人工神经网络算法是非常有效的识别算法。
模糊理论和神经网络技术是近年来人工智能研究较为活跃的两个领域。人工神经网络是模拟人脑结构的思维功能，具有较强的自学习和联想功能，人工干预少，精度较高，对专家知识的利用也较少。但缺点是它不能处理和描述模糊信息，不能很好利用已有的经验知识，特别是学习及问题的求解具有黑箱特性，其工作不具有可解释性，同时它对样本的要求较高;模糊系统相对于神经网络而言，具有推理过程容易理解、专家知识利用较好、对样本的要求较低等优点，但它同时又存在人工干预多、推理速度慢、精度较低等缺点，很难实现自适应学习的功能，而且如何自动生成和调整隶属度函数和模糊规则，也是一个棘手的问题。如果将二者有机地结合起来，可以起到互补的效果。
模糊逻辑控制的基本原理并非传统的是与不是的二维判断逻辑，而是对被控对象进行阈值的设计与划分，根据实际值在阈值领域内的变化相应的产生动态的判断逻辑，并将逻辑判断规则进行神经网络的自我学习，逐渐实现智能判断，最终实现准确的逻辑判断。相较于传统的线性判断规则，基于模糊规则的神经网络是高度复杂的非线性网络，同时由于其广阔的神经元分布并行运算，大大提高了复杂对象（如人脸）识别计算的效率，因此，将模糊神经网络算法应用于人脸的智能识别是完全可行的。
2 基于模糊人工神经网络的人脸识别方法研究
2.1 基于模糊神经网络的人脸识别分类器设计
1) 输入、输出层的设计：针对模糊神经网络层的输入层和输出层的特点，需要对识别分类器的输入、输出层进行设计。由于使用BP神经网络作为识别分类器时，数据源的维数决定输入层节点数量，结合到人脸的计算机识别，人脸识别分类器的输入输出层，应当由人脸特征数据库的类别数决定，如果人脸数据库的类别数为m，那么输入、输出层节点数也为m，由m个神经元进行分布式并行运算，能够极大提高人脸识别的输入和输出速度。
2) 隐藏层结点数的选择：由于一般的BP神经网络都是由3层BP网络构成：输入层，隐藏层和输出层，隐层的数量越多，BP神经网络越复杂，那么最终能够实现的运算精度就越高，识别率也就越高；但是随着隐层数量的增加，随之而来的一个突出的问题就是神经网络变的复杂了，神经网络自我训练和学习的时间变长，使得识别效率相对下降，因此提高精度和提高效率是应用模糊神经网络的一个不可避免的矛盾。在这里面向人脸识别的分类器的设计中，仍然采用传统的3层BP神经网络构建人脸识别分类器，只设计一层隐层，能够在保障识别精度的前提下有效的保障神经网络学习和训练的效率，增加人脸识别的正确率。
3) 初始值的选取：在设计了3层BP神经网络的基础上，需要确定神经网络的输入初始值。由于模糊神经网络是非线性的，不但具有线性网络的全部优点，同时还具有收敛速度快等特点，而初始值的选取在很大程度上影响神经网络的学习训练时间的长短，以及是否最终能够实现收敛输出得到最优值。如果初始值太大，那么对于初始值加权运算后的输出变化率趋向于零，从而使得神经网络自我学习训练趋向于停止，最终无法得到收敛的最优值；相反，我们总是希望初始值在经过每一次加权运算后的输出都接近于零，从而能够保证每一个参与运算的神经元都能够进行调节，最终实现快速的收敛。为此，这里将人脸识别的初始值设定在[0，0.2]之间，初始运算的权值设定在[0，0.1]之间，这样都不太大的输入初始值和权值初始值能够有效的保证神经网络快速的收敛并得到最优值。
如果收敛速度太慢，则需要重新设置权值和阈值。权值和阈值由单独文件保存，再一次进行训练时，直接从文件导出权值和阈值进行训练，不需要进行初始化，训练后的权值和阈值直接导入文件。
2.2 人脸识别的神经网络训练算法步骤
1) 神经网络的逐层设计步骤：神经网络需要按层进行设计，构建信号输入层、模糊层以及输出层，同时还要构建模糊化规则库，以构建神经网络模糊算法的完整输入输出条件。具体构建人脸识别的神经网络层可以按照下述步骤执行：
Step 1，构建信号输入层，以视觉摄像头为坐标原点构建人脸识别坐标系统，这里推荐采用极坐标系统构建识别坐标系，以人脸平面所处的角度与距离作为信号的输入层，按照坐标系的变换得到神经网络信号输入的距离差值和角度差值Δρ，Δθ，作为完整的输入信号。
Step 2，构建模糊化层，将上一层信号输入层传输过来的系统人脸识别信号Δρ与Δθ进行向量传输，将模糊化层中的每一个节点直接与输入信号向量的分量相连接，并进行信号矢量化传输；同时在传输的过程中，根据模糊化规则库的条件制约，对每一个信号向量的传输都使用模糊规则，具体可以采用如下的隶属度函数来进行模糊化处理：
(1)
其中c ij 和σij分别表示隶属函数的中心和宽度。
Step 3，构建信号输出层，将模糊化层经过模糊处理之后的信号进行清晰化运算，并作为最终结果输出。
关于模糊规则库的建立，目前所用的方法都是普遍所采用的匹配模糊规则，即计算每一个传输节点在模糊规则上的适用度，适用就进行模糊化规则匹配并进行模糊化处理，不适用则忽略该模糊规则并依次向下行寻找合适的模糊规则。当所有的，模糊规则构建好之后，需要对每条规则的适用度进行归一化运算，运算方法为：
(2)
2) 人脸的识别算法按如下步骤执行：
Step 1：一个样本向量被提交给网络中的每一个神经元；
Step 2：计算它们与输入样本的相似度di；
Step 3：由竞争函数计算出竞争获胜的神经元，若获胜神经元的相似度小于等于相似度门限值ν，则计算每个神经元的奖惩系数γi，否则添加新的神经元；
Step 4：根据学习算法更新神经元或将新添加的神经元的突触权值置为x；
Step 5：学习结束后，判断是否有错误聚类存在，有则删除。
其中，
(3)
di是第i个神经元的相似度值，β为惩罚度系数，ν为相似度的门限值。γ的计算方法是对一个输入样本x，若竞争获胜神经元k的相似度dk≤ν，则获胜神经元的γk为1，其它神经元的γi=-βdi/ν，i≠k；若dk >ν，则添加新的神经元并将其突触权值置为x。
实际上，网络训练的目的是为了提高本算法的权值实用域，即更加精确的实现对人脸特征的识别，从而提高算法的人脸识别率，当训练结束后，即可输出结果。
2.3 算法仿真测试
为了验证本论文所提出的人脸识别模糊神经网络算法的有效性和可靠性，对该算法进行仿真测试，同时为了凸显该算法的有效性，将该算法与传统的BP神经网络算法进行对比仿真测试。
该测试采集样本500张人脸图片，分辨率均为128×128，测试计算机配置为双核处理器，主频2.1GHz，测试软件平台为Matlab，分别构建BP神经网络分类器与本算法的神经网络分类器，对500幅人脸图片进行算法识别测试。
如表1所示，为传统BP神经网络算法和本论文算法的仿真测试结果对比表格。
从表1所示的算法检测对比结果可以发现：传统的算法也具有人脸特征的识别，但是相较于本论文所提出的改进后的算法，本论文提出的算法具有更高的人脸特征识别率，这表明了本算法具有更好的鲁棒性，神经网络模糊算法的执行上效率更高，因而本算法是具有实用价值的，是值得推广和借鉴的。
3 结束语
传统的图像识别技术，很多是基于大规模计算的基础之上的，在运算量和运算精度之间存在着不可调和的矛盾。因人工神经网络技术其分布式信息存储和大规模自适应并行处理满足了对大数据量目标图像的实时处理要求，其高容错性又允许大量目标图像出现背景模糊和局部残缺。相对于其他方法而言，利用神经网络来解决人脸图像识别问题，神经网络对问题的先验知识要求较少，可以实现对特征空间较为复杂的划分，适用于高速并行处理系统来实现。正是这些优点决定了模糊神经网络被广泛应用于包括人脸在内的图像识别。本论文对模糊神经网络在人脸图像识别中的应用进行了算法优化设计，对于进一步提高模糊神经网络的研究与应用具有一定借鉴意义。
参考文献：
[1] 石幸利.人工神经网络的发展及其应用[J].重庆科技学院学报:自然科学版,2006(2):99-101.
[2] 胡小锋,赵辉.Visral C++/MATLAB图像处理与识别实用案例精选[M].北京:人民邮电出版社,2004.
[3] 战国科.基于人工神经网络的图像识别方法研究[D].北京:中国计量科学研究院,2007.
[4] 王丽华.基于神经网络的图像识别系统的研究[D].北京:中国石油大学,2008.
[5] 范立南,韩晓微,张广渊.图像处理与模式识别[M].北京:科学出版社,2007.
[6] 金忠.人脸图像特征抽取与维数研究[D].南京:南京理工大学,1999.
神经网络的训练算法范文4
关键词：粒子群 径向基 神经网络 语音识别
中图分类号：TP391 文献标识码：A 文章编号：1007-9416（2013）04-0109-02
近年来，语音识别作为一种便捷的人机交互方式被大量研究，并在日常生活中得到广泛应用。大体上讲，语音识别就是在给定的语料库中找出与待识别词语相同的语料，其识别方法的选择对识别效果至关重要。语音识别的方法主要有3种：基于语音特征和声道模型的方法、模板匹配的方法和人工神经网络[1]。第1种方法出现较早，但由于其模型过于复杂，并未得到实际应用。第2种方法较为成熟，主要通过动态时间规整（DTW）、隐马尔可夫模型（HMM）和矢量量化（VQ）技术实现[2]。第3种方法充分利用人工神经网络较强的分类能力和输入——输出映射能力，非常适合解决语音识别这类难以用算法描述而又有大量样本可供学习的问题[3]。
因此，本文将智能领域广泛使用的RBF神经网络运用到语音识别中，针对RBF神经网络隐层基函数的中心值和宽度随机确定的缺陷，运用具有全局寻优能力的粒子群算法（PSO）进行优化，来提高网络的泛化能力和收敛速度，从而提高识别率。实验结果表明，粒子群优化的RBF神经网络用于语音识别，能够显著提升识别性能。
1 粒子群优化RBF神经网络
1.1 RBF神经网络
1.2 粒子群优化RBF网络算法
因此，RBF神经网络隐层基函数中心值和宽度的优化过程就是PSO算法依据输入样本进行聚类的过程，其基本流程为：
（1）参数初始化，包括粒子速度、位置，个体最优位置和全局最优位置；
（2）据（5）式计算惯性权重；
（3）据（3）（4）式更新粒子的速度和位置；
（4）据（6）式计算各粒子适应度值，并更新个体最优位置和全局最优位置；
（5）用全局最优粒子代替本次迭代适应度差的粒子；
（6）反复迭代，直到最大迭代次数则停止，得聚类中心。
2 PSO优化RBF语音识别系统
语音识别过程主要包括信号预处理、特征提取、网络训练及识别[6]。预处理主要对语音进行分帧、预加重和加窗处理。特征提取用于提取语音中反映声学特征的相关参数，本文采用的是过零峰值幅度（ZCPA）。网络训练是在识别之前从语音样本中去除冗余信息，提取关键参数，再按照一定规则对数据加以聚类，形成模式库。网络识别是通过已训练好的网络，计算测试样本数据与模式库之间的相似度，判断出输入语音所属的类别。粒子群优化RBF神经网络的语音识别系统原理框图如图1所示。
PSO优化RBF神经网络进行语音识别的实验步骤如下：
第1步：提取特征。
首先对用于训练和识别的各种信噪比的语音文件进行ZCPA特征提取。语音信号的采样频率为11.025kHz，每帧为256个采样点，经过时间和幅度归一化处理后，得到256维特征矢量序列。
第2步：网络训练。
网络训练的过程就是调整RBF神经网络基函数的中心和宽度以及隐层到输出层之间的连接权值。实验中，类别数为待识别的词汇数，如对10个词进行识别，则隐层节点数、输出层节点数和聚类中心均为10，如对20个词进行识别，则隐层节点数、输出层节点数和聚类中心均为20，以此类推，本文对10词、20词、30词和40词分别进行训练识别。利用PSO优化算法通过聚类获取隐层基函数的中心值和宽度，网络输出权值使用伪逆法得到。在PSO算法中，种群大小为20，最大进化迭代次数为40。
第3步：网络识别。
RBF神经网络训练好后，将测试集中的样本输入网络进行识别测试。每输入一个单词的特征矢量，经过隐层、输出层的计算后可得一个单词分类号，将这个分类号与输入词自带的分类号进行对比，相等则认为识别正确，反之，识别错误。最后将识别正确的个数与所有待识别单词数的比值作为最终的识别率。
3 实验仿真分析
本文运用matlab在PC机上仿真实现了PSO优化RBF神经网络的孤立词语音识别系统，选用在不同高斯白噪声条件下（包含15dB、20dB、25dB和无噪声），18个人分别录制40词各三次，形成实验语音数据，实验时选其中10人的10词、20词、30词、40词语音数据分别作为训练样本，另外8个人对应的10词、20词、30词、40词语音数据分别作为测试样本进行实验，得到了不同噪声和词汇量下的粒子群优化RBF神经网络的语音识别结果。
表1所示为在不同词汇量和不同SNR下，分别基于PSO优化RBF神经网络和标准RBF神经网络采用ZCPA语音特征参数的语音识别结果。由表中识别率的变化可知，基于PSO优化的RBF神经网络的识别率在不同词汇量和不同信噪比下都比标准RBF神经网络的高，正确识别出的词汇量明显增多，这充分证明改进后的RBF神经网络具有自适应性和强大的分类能力，缩短网络训练时间的同时，提高了系统的识别性能，尤其在大词汇量的语音识别中表现出更加明显的优势。
4 结语
本文采用粒子群优化算法来聚类RBF神经网络隐层基函数中心值和宽度，并将PSO改进的RBF神经网络用于语音识别中。通过仿真实验，得出了其与标准RBF神经网络在不同词汇量和不同SNR下的语音识别结果。通过分析比较，证明了PSO优化后的RBF神经网络有较高的识别率，且训练时间明显缩短，表明神经网络方法非常适宜求解语音识别这类模式分类问题。
参考文献
[1]Edmondo Trentin， Marco Gori. A survey of hybrid ANN/HMM models for automatic speech recognition[J].Neurocomputing，2001，（37）：91-126.
[2]王凯.免疫粒子群改进LBG的孤立词语音识别算法研究[J].数字技术与应用，2013，（1）：111-113.
[3]夏妍妍，黄健，尹丽华.基于径向基函数神经网络的语音识别[J].大连海事大学学报，2007，（S1）：157-159.
[4]孟艳，潘宏侠.PSO聚类和梯度算法结合的RBF神经网络优化[J].自动化仪表，2011，（02）：6-8.
神经网络的训练算法范文5
关键词：BP神经网络；电力工程；异常数据识别技术
BP神经网络是一种多层前馈神经网络，信号从输入层到隐含层，再到输出层得到期望输出。期望输出同实际值做比较，若得不到所期望的值，则误差反向传播，调节网络的权值和阈值。BP神经网络作为一种引入隐含层神经元的采用多层感知器的神经网络模型，主要由输入层、中间层和输出层3 个部分组成。其中，中间层即隐含层，可以是一层或多层结构。
1 BP神经网络概述
BP神经网络是人工神经网络的分类中的多层前馈型神经网络。BP神经网络的主要特征为传递信号向前传播，而误差反向向后传播。BP神经网络在工作时，信息从输入层通过隐含层到达输出层。输出层达不到所期望的信号，将误差反向传播，从而根据误差不断调整BP神经网络的阈值和权重，从而使BP神经网络的输出值不断逼近期望值。
2系统设计
该异常数据识别系统利用神经网络对电力系统异常进行识别，实际上是利用神经网络可以以任意精度逼近任一非线性函数的特性以及通过学习历史数据建模的特点。在各种类型的神经网络中，BP神经网络具有输入延迟，适合于电力系统异常数据识别。根据电力系统运行的历史数据，设定神经网络的输入、输出节点，以反映系统运行的内在规律，实现识别数据异常的目的。所以，利用神经网络对电力系统异常数据进行识别，主要就是要设定神经网络的输入、输出节点使其能反映电力系统运行规律。
3训练样本
在BP神经网络模型中，在选择样本时，一定要尽可能的表达出系统中全部可能发生的情况所对应的状态，这样才能表现出来动力参数与实际测量数据一一对应的映射关系。将需要进行反分析的动力参数作为因素，要在每一个因素里面的各种组合中均要做试验。假设在一组设计试验中，有n个因素，并且它自身又有l1 ，l2 ，......，ln个水平，那么在进行全面试验时，至少需要做每个水平之积次试验。当因素及其自身对应的水平数量不太多时，运用这种算法是比较准确的。但是，随着因素及其对应的水平越来越多，需要做的试验次数也要几何级数般增长。因此，在BP神经网络的学习过程中，如果选择合适、合理的方法选择样本就十分重要。
4 BP网络模型与训练算法
BP（BackPropagation，后向传播）神经网络全称又叫作误差反向传播（errorBackPropagation）网络。它是一种采用BP算法训练的多层前馈神经网络，每层网络均包含一个或多个M-P神经单元构成。M-P神经单元结构，xi表示第i个输入值，wi为该输入值的权重，θ为该神经元的阈值，y为该神经元输出值。其中，即神经元将n个维度的输入值加权相加后与神经元的阈值进行比较，然后将比较值通过激活函数f处理后进行输出。BP网络通过不同网络层间神经元的全连接构成。在网络训练学习过程中，BP算法将输入数据通过输入层进行输入，并经过隐藏层计算后由输出层进行输出。接着输出值与标记值进行比较，计算误差（代价函数）。最后误差再反向从输出层向输入层传播，反向传播过程使用梯度下降算法以目标的负梯度方向来对神经网络上的权重和阈值进行调整。
5神经网络识别实验
考察5 种不同类型的神经网络，表1 列出了Perceptron、BP、PBH、模糊ARTMAP和RBF的均方根误差与Perceptron的误分类率等信息。可以看到，Perceptron神经网络表现不佳，均方根误差在0.6~0.7 之间；误分类率在0.1~0.2 之间。Perceptron神经网络对异常数据的检测错误与误分类率较高。随着隐藏神经元数量的增加，ARTMAP与RBF网络的性能均会提高。在大多数情况下，均优于Perceptron。BP与PBH网络具有相似性能，且两个神经网络始终比其他3 种类型的神经网络表现更优。随着隐藏神经元数量的增加，两种神经网络错误与误分类率不会降低。
6狼群算法
狼群算法优化BP神经网络。狼群算法是一种群智能算法，它通过模仿狼群捕猎的行为来处理优化问题。在自然界中，狼在食物链中处于捕猎者。狼的外形神似狗和豺，动作迅速，嗅觉灵敏，有天生的捕猎能力。狼群算法最早于2007 年提出，后来有学者发现其中存在的问题，经狼群算法优化后提出了新型狼群算法（WCA），最后，2013 年根据自然界中狼群追捕猎物，捕食，以及分配食物的方式提出的基于狼群群体智能的算法（WPA）。该算法详细的将狼群内的种类分为头狼、探狼、猛狼三种，并具有围攻、召唤、奔袭、游走等行为。狼群算法同样依据自然界中“胜者为王，适者生存”的更新机制。狼群算法的加入，形成了改进的BP神经网络，防止网络陷入局部极值点，提高网络效率。
7遗传算法
遗传算法优化BP神经网络。算法主要包括三部分：初始化BP神经网络结构、遗传算法优化和BP神经网络识别。其中初始化BP神经网络结构包括：确定输入层、隐含层和输出层节点个数，以及初始化网络的权值和阈值等参数。遗传算法优化BP神经网络是将一个网络中的所有权值和阈值看作种群中的一个个体，然后通过选择、交叉和变异的操作得到最优的个体，即最优权值和阈值，并将该组权值阈值赋给BP神经网络作为初始的权值和阈值。最后的BP神经网络识别部分，是利用遗传算法优化的初始权值和阈值来训练网络，再利用训练好的神经网络进行识别。
结束语
为实现电网工程建设中对异常数据的检测，建立了分布分层的数据检测系统。其是一种使用统计预处理与神经网络分类的异常数据检测算法。通过对5 种不同的神经网络进行对比实验，可得出结论：BP与PBH网络的性能优于Perceptron、模糊ARTMAP和RBF等3 种神经网络。考虑到构建成本最终选取BP神经网络作为系统的神经网络分类器，在此基础上还进行了系统测试。结果表明，系统能够可靠地检测到异常数据，其流量强度仅为背景强度的5%~10%，证明了该系统的有效性。
参考文献
[1]李慧，陈恺妍.基于神经网络的电力计量故障诊断研究[J].计算机与数字工程，2020，48(05):1252-1257.
[2]多俊龙，王大众，崇生生.在电力通信预警中优化的BP神经网络模型研究[J].东北电力技术，2020，41(02):13-15+62.
[3]罗宁，高华，贺墨琳.基于神经网络的电力负荷预测方法研究[J].自动化与仪器仪表，2020(01):157-160.
神经网络的训练算法范文6
关键词：BP算法 训练样本 小车自动寻径
中图分类号：TP273.3 文献标识码：A 文章编号：1007-9416（2013）07-0102-02
1 引言
随着生产技术的发展和自动化程度的提高，在自动化领域中，许多复杂性操作或对人体有害的工作都由机器自动完成，为了实现这一工作，机器就必须具有智能性。
人工神经网络是由人工神经元（简称神经元）互连组成的网络，以大规模模拟并行处理为主，具有很强的鲁棒性和容错性自学习能力，是一个大规模自适应非线性动力系统；具有集体运算的能力。多层前向神经网络（BP网络）是神经网络结构形式中应用较多的自学设计方法之一。BP算法可以通过已知数据训练网络模型，应用于对未知数据的预测[3]。因此能很好的应用于小车自动寻径，使小车具有智能性。
2 BP算法神经网络
BP神经网络（Back-Propagation networks）包括三个层次：输入层、隐含层、输出层[2]。
2.1 BP算法流程简述
BP神经网络的本质是误差反向传输的多层前馈网络，BP算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，先自行对权重进行初始化，输入样本从输入层传入，经各隐层逐层处理后，传向输出层，如图1为BP神经网络模型[3]，若输出层的实际输出与期望的输出（理想输出）不符，则转入误差的反向传播阶段。
2.2 隐层神经元个数的确定
一般情况下，隐层神经元个数是根据网络收敛性能的好坏来确定的，在总结大量网络结构的基础上，在单隐层神经网络中，得出以下经验公式：
其中，为输入层神经元个数，为输出层神经元个数。
3 创建BP神经网络模型
3.1 问题描述
随机的绘制一张彩色地图，地图中有各种颜色的建筑和一条贯穿的公路（白色），引入BP神经网络，使该小车具有一定的智能，可以自动地判断前方是否为公路，进而沿着公路从地图的一端走到另一端。本次实验所用的地图如图2所示（地图及小车由本人按照一定的比例用电脑的画图工具所画）：
3.2 地图及小车图片的灰度化
由于Matlab默认为rgb模式打开图片，故为了更简单的解决问题，必须对图片进行灰度处理，处理之后地图及小车分别为520*1100和20*25维矩阵。
3.3 地图及小车图片的二值化
为了BP网络更好的收敛，需对相应图片进行二值化处理，如图3所示。由于本次实验公路为白色，小车为黑色。故将地图中除公路以外的部分的像素值置为0，公路上的像素值置为255，小车的像素值置为255。
所以，在小车的“眼里”，世界是黑白的。如下图：
3.4 小车的视野
小车必须有一定的视野，可以“看到”前方的路况，否则当小车发现情况不妙准备转弯的时候就已经撞到路边了。本次实验取的小车的视野为小车前方和左右方30像素范围，这样小车可以“预感到”自己前方和左右方向上的路况，进而及早调整方向。
3.5 训练BP神经网络
训练样本作为BP网络的输入数据集，对于网络的训练具有重要的作用[4]，本文建立单隐层BP神经网络，训练样本选取为小车在地图上某个方位的对应位置的差矩阵，共20个样本，其中10个是对的样本（即小车在公路上），10个为错的样本（即小车的车体不完全在路面上）。这样输入的样本矩阵的大小即为小车图片对应的像素矩阵的大小，为20*25，故输入层神经元个数取为500。输出层只有两种情况，在公路上为对，不在公路上为错，故输出层神经元个数为2。
由式（2）可得隐层神经元的个数为42，选取误差精度10-4，初始学习速率0.5，初始权值为（-1，1）区间内随机值。
经过245次训练以后，总体期望误差达到了给定范围，网络训练过程中的误差变化曲线[15]如图4所示。
4 实验结果
所有算法均在MATLAB R2009a中运行，微机配置为Core Processor 4000+2.10GHz，内存为2G。
用前面选出的训练样本对BP神经网络进行训练，训练之后小车即具有了一定的智能，可以识别前方和左右方的路况，实验结果表明，小车可以很好的沿着公路从地图的一侧行驶到另一侧。
5 结论
通过对BP神经网络训练后，小车可以正确地沿着公路地图的一侧行驶到另一侧，说明BP神经网络可以很好地应用于路径识别和自动驾驶领域。
参考文献
[1] 杨国才，王建峰，王玉昆.基于Web的远程自学型教学系统的设计与实现[J].计算机应用， 2000，20（4）：61-63.
[2] 安淑芝.数据仓库与数据挖掘[M].北京：清华大学出版社， 2005：100-101.
[3] 蔡自兴，徐光佑.人工智能及其应用[M].北京：清华大学出版社， 2003.
