前言：中文期刊网精心挑选了神经网络的鲁棒性范文供你参考和学习，希望我们的参考范文能激发你的文章创作灵感，欢迎阅读。
神经网络的鲁棒性范文1
【关键词】上证指数 人工神经网络 拟合度 实证分析
一、引言
随着西方发达国家股票市场的兴起，随着时代的不断进步和变迁，股票市场逐渐拓展至发展中国家和一些相对落后的国家。对于股票价格进行时间序列预测无论对于投资者，政策分析者等等都有非常重要的作用，然而股票价格是一个复杂多变，难以描述的序列，影响因素繁杂且有些难以量化，因此至今学者们仍在探索能更好的描述它的方法[1]。
近几年计算智能技术在时间序列领域逐渐流行，作为一种新兴的信息处理技术，计算智能技术现在已经成为重要的分析与预测工具。计算智能技术有普通统计方法所不能比拟的优点，它的预测更加精准，并且具有自学习、自组织、自适应的特征和简单、通用、鲁棒性强、适于并行处理的优点[2]。
在上面提到的计算智能技术中，最有名的当属人工神经网络，此模型在过去的二十年间有着很快的发展，因为其在认知的输入和输出的映射的表现公认的非常有效，甚至在面对一些难以判断的不确切输入输出关系时，仍表现出很好的拟合行，因此现在成为了时间序列非线性方法中最常被使用的到模型，当然也成为了股票价格时间序列预测模型中较为有效的并常被使用的模型之一[3]。
不论是基于哪一种数学模型，现有的拟合方法往往过于追求样本内的拟合精度，而忽略了拟合的模型在样本外的表现。在实际应用中，往往需要更加精确的样本外拟合度。因此本文基于样本外拟合的精度，分别从长期和短期两个时间维度考虑了神经网络模型预测的表现及其鲁棒性，得到了一些关于神经网络模型的结论。
二、研究模型介绍
本文将要对智能计算方法中的人工神经网络模型进行分析研究，下面就该模型的算法进行简单介绍。
神经网络是由大量的神经元按一定的拓扑结构和学习调整方法所构成的。神经元一般表现为一个多输入、单输出的非线性器件。
神经网络代表了一种新的方法体系，所以它能在实际的应用中表现一些独特的功能[6、8]。一般来说，神经网络具有如下的四个基本的特点：强大的学习能力；分布式存储信息；并行性，即并行的计算能力，可以处理快速实时的信息；非线性，即可以很好地模拟非线性系统。
神经网络可以通过自身强大的学习能力，来获取知识，神经网络性能的改善是随着时间一步步通过某种事先定义的量度来调整自身的参数的（比如权值）。一般来说，神经网络主要有监督学习、无监督学习、强化学习三种。
三、数据选取
在众多关于中国股票市场有效性的研究结果表明，中国的股票市场是一种渐进有效的市场或是一种半强有效市场，这样股票价格基本上反映过去信息和公开信息。正是在如此的假设下，我们运用统计学的方法，从股票指数（股票价格加权和）入手来分析和预测股票市场。选择从1998年12月23号开始的上证综指收盘运用神经网络模型进行了固定样本内模型和滚动样本内模型下的短期和长期的拟合预测。
四、实证结果
（一）固定模型下的神经网络模型拟合分析
对从1998年12月23号开始的上证指数收盘价运用MATLAB进行神经网络模型短期拟合预测。首先我们选取前1000个点进行样本内的拟合，对后20个点进行短期预测，并依此以步长20向前滚动，共二十期。
应用MATLAB进行求解，对样本内1000个点进行拟合，并按照拟合得到的模型对后20期以20为步长，向后滚动预测。
同样，我们选取前1000个点进行样本内的拟合，对后100个点（相当于5个月左右的数据）进行长期预测，并依此以步长100向前滚动，共二十期。
神经网络的拟合度在短期内十分精准，可以到了80%以上，有的甚至达到了95%以上，并且未出现50%以下的拟合度，然而长期来看，拟合度的差别非常大，对于趋势的判断有时很准有时完全颠倒，预测拟合度的跨度从90%到-90%。波动性非常大，可见神经网络对于达到一定长度的长期数据（五年以上）拟合的鲁棒性很差，长期来看无法适应不断变化的股市大盘。
（二）滚动模型下的神经网络模型拟合分析
短期内，神经网络模型拟合度仍然十分精准，可以到了80%以上，然而长期来看，由于样本内数据的不断更新，因此样本外的拟合精度十分稳定，表现优异，平均拟合值达到了93%除了一项为60%多，其他均达到了80%以上。说明在半年的长度范围内，人工神经网络的拟合度很好，拟合可靠性较高。
五、结论
本文通过对上证指数1998年后的数据使用人工神经网络进行了短期长期的滚动预测。发现在短期内，神经网络模型的拟合效果一直很好。而在长期来看，人工神经网络，对5年内的数据拟合度很高，然而更长的时间段内鲁棒性不高，拟合度下降很快。
参考文献
[1]顾岚.时间序列分析预测与控制[M].北京：中国统计出版社.1997.
[2]KuanC.M and White，H.Artifieial Neural Networks：AN econometric Perspective （with discussion）[J].Econometrics Reviews，1994，（13）：l-143.
神经网络的鲁棒性范文2
关键词：神经网络；滞环；变流器
1引言
如何提高工业用电的效率和减小谐波污染已倍受关注。在工业用电中，大部分电能是要经过变换才能用于生产的。由于快速功率开关性能的进一步提高，基于脉宽调制功率变换电路已经日益成为人们提高供电系统功率因数，降低谐波污染的有力工具，因而成为人们研究的热点。其中三相全控型电压源功率变换装置，主电路如图1所示。经过十余年的研究，已经开始实用化[1,2]。三相变流器的最流行的控制方式是采用双环控制。外环用于调整输出电压，快速的电流内环调节器常用来调节交流输入电流使其跟踪期望的电流轨迹，得到单位功率因数和低谐波的电流。
为提高系统的性能，采用神经网络滞环调节器[4~6]。神经网络控制作为一种极有潜力的控制手段吸引了众多的学者，因神经网络具有并行处理能力、自学习能力、容错能力，很适合于处理非线性系统的控制问题。在相对变化较慢的速度、温度、位置等物理量控制中取得成功的应用。但在速度较快的物理量的控制中，应用较少。
在电力电子学领域，神经网络多用于系统模型辨识，故障诊断等。随着DSP的运算速度的不断增加，使神经网络在快速量控制中应用成为可能。在各种变流器直接电流控制方式中，滞环控制是一种有效、简单的控制方式，两者的结合可以发挥各自的优势。滞环电流控制方式不需要系统更多的参数，运行容易，具有快速的电流响应和限幅能力[7]。但系统开关频率不固定，在严重的非平衡条件下，系统稳定性变差，产生大量的电流谐波，同时影响开关频率的变化。本文所用调节器，可以提高系统的鲁棒性。为了减少PWM技术在变换器中的损耗并获得优化的输出电流，减小EMI，采用矢量控制的基本思想[9]，给出基于滞环空间矢量控制方式的电流控制器。若使系统数字化，开关频率可由采样时间控制。
2基于神经网络的电流滞环控制器
电流滞环控制器运行时无需系统的储能器件的具体参数信息。用BP神经网络来替代传统电流滞环调节器，在滞环控制的基本控制思路上训练一个神经网络控制器来实现滞环控制控制的功能，导师信号如表1所示。基于神经网络滞环控制的系统控制结构框图如图2。三相电流的误差信号送入神经网络中，参与计算，输出开关信号S1，S3，S5，经过逻辑合成后加到主电路的驱动电路上。
图2所示神经网络调节器，该网络有3层（3-5-3结构）。节点的作用函数采用Sigmoid函数
式中是第r步迭代时第k层第i个神经元节点对于第h个样本输入时输出；为第r步时第k层第i个神经元节点对于第h个样本输入时所接收到的上1层（第k-1层）的输入总和
点的阈值。
各点的权值Wij和阈值θij通过MATLAB软件求出，通过DSP编程数字实现。Wij
图3为系统在神经网络滞环控制器作用下系统仿真与实验波形。
图3a为给出阶越给定时三相电流的响应过程，表明该调节器具有较快的响应速度。
图3b，c，d给出了正常工况时的开关波形，电流波形，系统的单位功率因数波形显示。
图3e绘出了三相电压不平衡时的三相电流。电源参数为Ea=Eb=Ec/0.85。变流器基本保持了每相电压电流的同相位。
通过波形可以看出神经网络滞环控制器较好地实现了滞环控制器所有的基本功能。电流控制鲁棒性好，电流响应快的优点，同时可以限制器件的最高开关频率，提高了滞环系统抗不平衡能力。满足系统单位功率因数和低谐波的要求，同时它还具有一个新的优点：当某个电流误差信号丢失情况下仍然能正常工作。
3反馈丢失时的控制研究
反馈信号不正常是一种较为常见系统故障。常规数字滞环控制方案下，如果检测环节有故障，某一相电流反馈信号丢失，那么系统不能正常工作，系统线电流响应仿真曲线如图4a。但在神经网络控制电路中，由于神经网络的参与，调节器对单路反馈信号丢失具有一定的抑制作用。控制器检测电流反馈信号，如果连续3个周期检测到电流反馈信号为0，那么可确认反馈信号丢失，此时将该通道电流误差设为0，参与神经网络滞环调节器的运算，输出控制信号。系统实验波形如图4(b)~(d)，系统仍可以得到较好的输入电流与输出电压波形，这主要归功于神经网络的数据并行处理能力。从图4(b)~(d)中可以看出系统的电压电流响应还是较好的，对于单输入信号丢失的稳态电流波形显示出了很强的鲁棒性。而在同样参数的常规滞环电流控制下，当Dia丢失时，系统不能稳定工作。
4电流误差增益在线修正
从控制的效果来讲，如果滞环控制的容差带越小，那么系统输入电流的谐波成分就越小，THD值越接近于零。然而控制中由于系统参数的约束，如果容差带设计过小，系统难以实现，反而使得谐波成分增加。可以就额定负载下可以实现的容差带进行分析，然后留取一定的裕量，作为额定容差带，保证系统的条件能力。在控制中选择1.2倍的额定负载时允许的容差带作为导师信号中的δ值。
假设主电路3相参数对称，输入为理想三相正弦电压源，任意时刻总有三个开关处于开状态，另三个处于关状态。上下桥臂不能同时导通。这样，变流器的开关状态便形成8个开关函数。开关函数定义为如下：
di=(i=1,3,5)=1,当Si(i=1,3,5)导通，Sj(j=2,4,6)关断。di=0，当Si关断，Sj导通。
在1个开关周期内，假设占空比为Di。di=1时，输入端向负载端输出能量，电感电流减小；di=0时，输入电感存储能量，电感电流增加，电流波形如图5。
阶段1：
具有固定滞环带的电流控制方式有一些缺点。在滞环带范围内，由峰-峰电流的波动而产生的PWM频率的变化受基波波动的控制，同时，电流误差没有严格的控制。滞环控制系统中，滞环容差带是根据系统交流电流的额定工作点定的。这样，系统在低电流工作时，电流噪声成分相对增加，系统频谱变差。因此，根据静态工作点的改变，相应改变系统的滞环容差带，可以保证系统电流频谱不随功率变化而变，这种思想较为适合负载变动频繁的工作场合。系统的静态工作点的分析可以通过检测直流输出来得到，但不是最佳的方案，因为时间工作过程中系统负载特性可能较为复杂，阻性、感性、容性是不可预测的，暂态过程中输出电流与电压的相位难以维持相同。对于高频实时控制来讲，可以通过FFT算法来分析系统的功率输出获负载特性，但应用该方案负载程度增加。本文提出一种较为简单的控制方案。
将可逆变流器的三相静态电压量变换到两相旋转dq坐标系中，有
由于滞环控制可以控制系统功率因数为1，因此经过3/2变换后，输入有功功率是与d轴电流id成正比的，iq应该为0。设为id的标幺值，取额定负载时id的标幺值为1，所以在图2所示的基本控制器中，令，其中k在实现时要加下限幅。
则输入到神经网络中的电流为
nin=ki(6)
5空间矢量调制神经网络控制器
这里Vk是变流器的电压矢量。
任意时刻变流器期望端电压Vr的相角对应于了复平面上6个区域中的1个。Vr可由给定区域内的邻近矢量来构成，从而降低电磁噪声和开关次数[8]。
通过后面的仿真和实验我们可以看到滞环神经网络控制器结构简单，由于系统属于数字化实现，最高开关频率是固定的，在这一点上使得系统参数易于设计。但滞环控制开关的状态是难以确定的。因此变流器期望电压矢量一般不是由相邻的矢量构成Vr的，任意时刻开关的状态不可预知。
在滞环控制过程中，结合空间矢量调制原理，根据系统滞环条件的需要及系统此时期望矢量的位置来修正开关波形，形成如表2所示导师信号。导师信号中z区确定如图8a所示，经过这种修正后系统稳态时电流控制器所产生的开关随时间而呈现空间矢量调制的特点，图8b所示为空间矢量滞环调节稳态工作时开关波形，可以看出稳态时开关按照规律由同一区域的开关矢量来合成。
式中Vs是电压源矢量；i*s参考电流矢量。
6仿真与实验说明
系统中的参考电流可由下面的方程得到
I*=P*/E
这里E可由整流滤波取平均值的方式得到。
参考电压Uref同输出电压Uo的差值经PI调节后，取其为电流峰值参考，再分别与三相的同步信号相乘，得到内环电流的参考信号I*，得到瞬时参考电流给定ijcom(j=a,b,c)，再与实际相电流ij相比较得到电流误差信号ij，与K相乘然后输入神经网络控制器，神经网络的输出即为开关信号算法由DSP（TiTMS320c240[9]）来实现。主要参数及检测设备如下：
7结论
本文研究了三相变流器的神经网络控制方案。①将神经网络控制技术与电力电子电路滞环控制结合起来，实现了神经网络在快速变化量控制中的应用，可以提高系统鲁棒性与控制的容错能力，在三相输入电源不平衡和某一相负载电流反馈丢失时，系统依然保持较好的控制性能；②评估系统负载特性，并根据负载的变化而改变电流误差增益，有助于提高系统电流控制性能，全程优化谐波，算法较为简单；③容差带与负载特性、开关频率有机结合，才能保证系统的调节能力；④为了减小开关频率和开关损失，采用了将空间矢量调制运用到滞环控制中的技术，由于采用数字神经网络进行调节，易于实现。
参考文献
[1]邬伟扬，郑颖楠，刘彦民（WuWeiyang，ZhengYingnang，LiuYanmin）．AC/DC功率变流技术的发展与现状（AreviewofAC/DCpowerconversiontechnique）[R]．西安：中国电力电子技术学会五届一次理事会学术报告（xi’an：DissertationofChinapowerelectroniccouncilconference），1999．
[2]WeiyangWu，YingnanZheng，etal．Anovelindireetcurrentcontrolledrealizationforthethreephasevoltagesoureereversibleconverter[C]．IPEMC’2000August2000，TsinghuaUniversityBeijing，China.
[3]KiTaePark，JunKooKang，SeungKiSul．AnalysisanddesignofthreephaseboostPWMconverteragainstpowerdisturbances[C]．1997，774-776．
[4]FumioHarashima，etal．Applicationofneuralnetworkstopowerconvertercontrol[C]．Conf.Rec.IEEE-IASAnnu.Meeting,Conf.Rxc,1989，1087-1091．
[5]KamranF．Animproveddead-beatrectifierregulatorusinganeuralnetpredictor[C]．IEEE，PESC，1994，1431-1436．
[6]MalesaniL．AnovelhysteresiscontrolmethodforcurrentcontrolledvoltagesourcePWMinverterwithconstantmodulationfrequency[J]．IEEETransationsonIA，1990，26(1)：88-92．
神经网络的鲁棒性范文3
本文研究Hopfield神经网络的特点，并结合进化算法或启发式算法，设计出一个基于Hopfield神经网络的混合分类算法，并在实际数据集进行验证，以期提出的算法既具有一定鲁棒性，又要具有较高的分类精度，并且能够充分发挥Hopfield神经网络的自联想特性，具有较好的容错性和普适性。
【关键词】
Hopfield神经网络；粒子群优化算法；自联想特性
随着信息产业的普及，数据存储的增大，数据挖掘技术作为一种前沿技术，越来越受到人们的重视。分类算法作为一种重要的数据挖掘算法，在各个领域中都有着重要的应用。
本文采用BV算法，一定程度上克服了离散型Hopfield神经网络本身所具有的局限性，并且保留了其在自联想等方面的优点，设计出带有粒子群优化过程的Hopfield分类算法（下文简称PSO-HOP算法）。
1 数据预处理
使用离散型Hopfield神经网络进行分类首先就要解决如何在神经网络中反映各个属性值及类标号的问题。
2 Hopfield训练过程
为了克服传统Hopfield的不足，本文采用了BV算法。该算法能够克服传统训练算法容量低的问题，并且保留原有算法的优点。该方法是基于局部的，而且对模式的要求较少，但是该方法要求对训练样本进行一定数量的呈现，以保证训练模式的稳定性。通过有限次数的展示后，该算法确保对于每个模式找到一个合适的权重矩阵（如果该矩阵存在）。
3 Hopfield评价方法
这里描述的Hopfield评价方法即为类标号确定方法，在前面提到的Hopfield训练过程中、后面PSO优化过程中的适应值计算以及最后对该分类算法进行测试的过程中都要采用该方法。其中主要体现了离散型Hopfield神经网络的自联想特性，使之能够从噪声数据中联想出有意义的模式。
4 PSO优化过程
虽然前文介绍的分类算法和测试算法已经能够初步地实现了分类，但是由于神经网络容易出现陷入局部最优值的情况，从而影响分类算法的精度。为此本文引入了离散型粒子群优化算法用来优化Hopfield神经网络的拓扑结构，提高分类精度。
使用离散型粒子群优化算法优化神经元分配的具体流程为：首先，初始化粒子，每个粒子包括使用个体最佳值，个体当前值，个体最佳值的位置，一个使用浮点数表示的当前位置，以及一个使用0-1变量表示的当前状态，1表示被分配神经元而0表示未被分配神经元。然后随机化用浮点数表示的当前位置。随后开始循环，每个粒子根据式（3-3）更新浮点数位置，再使用式（3-4）生成0-1当前状态，并对其进行一定的约减和增补，使之不超过最大可分配的神经元数目。再跟据属性状态，生成Hopfield神经网络，并进行训练和测试，根据测试的结果更新个体当前适应值，并比较个体当前适应值和个体最优值以及群体最优值。若个体当前适应值优于个体最优值则，更新个体最优值及其位置，若个体当前适应值优于群体最优值，则更新群体最优值及其位置，并将重新随机生成该粒子的当前位置以防止陷入局部最优值。通过这样循环下去，即可找出在当前可分配神经元数目下的最优神经网络拓扑结构。
5 算法整体流程
PSO-HOP算法的整体流程如图1所示，其中，读取分类信息是指程序读取样本的属性信息，包括属性的个数、每个属性的所有可能值以及训练样本数等。而在读取训练集和读取测试集的过程中，程序会根据分类信息以及当前神经元的分配方案将读取的数据集转换成和神经网络一样的结构并进行数据预处理以方便后面的训练和测试。
本文通过对Hopfield神经网络的改进，实现了使用Hopfield神经网络作为分类算法，设计出了PSO-HOP算法。该算法具有较高的分类精度和鲁棒性，并可以通过建模结果了解数据集的不同属性的重要程度，有助于们对于数据集的理解和研究。
【参考文献】
[1] Han J W，Micheline K.Data Mining[M].北京：机械工业出版社，2007.285-382.
[2]张青贵.人工神经网络导论[M].北京：中国水利水电出版社，2004.11-124.
神经网络的鲁棒性范文4
（江苏科技大学电子信息学院，江苏镇江212003）
摘要：在实际交通环境中，由于运动模糊、背景干扰、天气条件以及拍摄视角等因素，所采集的交通标志的图像质量往往不高，这就对交通标志自动识别的准确性、鲁棒性和实时性提出了很高的要求。针对这一情况，提出一种基于深层卷积神经网络的交通标志识别方法。该方法采用深层卷积神经网络的有监督学习模型，直接将采集的交通标志图像经二值化后作为输入，通过卷积和池采样的多层处理，来模拟人脑感知视觉信号的层次结构，自动地提取交通标志图像的特征，最后再利用一个全连接的网络实现交通标志的识别。实验结果表明，该方法利用卷积神经网络的深度学习能力，自动地提取交通标志的特征，避免了传统的人工特征提取，有效地提高了交通标志识别的效率，具有良好的泛化能力和适应范围。
关键词 ：交通标志；识别；卷积神经网络；深度学习
中图分类号：TN911.73?34；TP391.41 文献标识码：A 文章编号：1004?373X（2015）13?0101?06
收稿日期：2015?01?09
基金项目：国家自然科学基金面上项目（61371114）
0 引言
随着智能汽车的发展，道路交通标志的自动识别[1?3]作为智能汽车的基本技术之一，受到人们的高度关注。道路交通标志识别主要包括两个基本环节：首先是交通标志的检测，包括交通标志的定位、提取及必要的预处理；其次是交通标志的识别，包括交通标志的特征提取和分类。
如今，交通标志的识别方法大多数都采用人工智能技术，主要有下述两类形式[4]。一种是采用“人工特征+机器学习”的识别方法，如基于浅层神经网络、支持向量机的特征识别等。在这种方法中，主要依靠先验知识，人工设计特征，机器学习模型仅负责特征的分类或识别，因此特征设计的好坏直接影响到整个系统性能的性能，而要发现一个好的特征，则依赖于研究人员对待解决的问题的深入理解。另一种形式是近几年发展起来的深度学习模型[5]，如基于限制波尔兹曼机和基于自编码器的深度学习模型以及卷积神经网络等。在这种方法中，无需构造任何的人工特征，而是直接将图像的像素作为输入，通过构建含有多个隐层的机器学习模型，模拟人脑认知的多层结构，逐层地进行信息特征抽取，最终形成更具推广性和表达力的特征，从而提升识别的准确性。
卷积神经网络作为深度学习模型之一，是一种多层的监督学习神经网络，它利用一系列的卷积层、池化层以及一个全连接输出层构建一个多层的网络，来模仿人脑感知视觉信号的逐层处理机制，以实现视觉特征信号的自动提取与识别。本文将深层卷积神经网络应用于道路交通标志的识别，通过构建一个由二维卷积和池化处理交替组成的6层网络来逐层地提取交通标志图像的特征，所形成的特征矢量由一个全连接输出层来实现特征的分类和识别。实验中将加入高斯噪声、经过位移、缩放和旋转处理的交通标志图像以及实际道路采集交通标志图像分别构成训练集和测试集，实验结果表明，本文所采用的方法具有良好的识别率和鲁棒性。
1 卷积神经网络的基本结构及原理
1.1 深度学习
神经科学研究表明，哺乳动物大脑皮层对信号的处理没有一个显示的过程[5]，而是通过信号在大脑皮层复杂的层次结构中的递进传播，逐层地对信号进行提取和表述，最终达到感知世界的目的。这些研究成果促进了深度学习这一新兴研究领域的迅速发展。
深度学习[4，6?7]的目的就是试图模仿人脑感知视觉信号的机制，通过构建含有多个隐层的多层网络来逐层地对信号特征进行新的提取和空间变换，以自动学习到更加有效的特征表述，最终实现视觉功能。目前深度学习已成功地应用到语音识别、图像识别和语言处理等领域。在不同学习框架下构建的深度学习结构是不同的，如卷积神经网络就是一种深度的监督学习下的机器学习模型。
1.2 卷积神经网络的基本结构及原理
卷积神经网络受视觉系统的结构启发而产生，第一个卷积神经网络计算模型是在Fukushima 的神经认知机中提出的[8]，基于神经元之间的局部连接和分层组织图像转换，将有相同参数的神经元应用于前一层神经网络的不同位置，得到一种平移不变神经网络结构形式。后来，LeCun 等人在该思想的基础上，用误差梯度设计并训练卷积神经网络[9?10]，在一些模式识别任务上得到优越的性能。
卷积神经网络本质上是一种有监督的深度学习算法，无需事先知道输入与输出之间精确的数学表达式，只要用已知的模式对卷积神经网络加以训练，就可以学习到输入与输出之间的一种多层的非线性关系，这是非深度学习算法不能做到的。卷积神经网络的基本结构是由一系列的卷积和池化层以及一个全连接的输出层组成，可以采用梯度下降法极小化误差函数对网络中的权值和阈值参数逐层反向调节，以得到网络权值和阈值的最优解，并可以通过增加迭代次数来提高网络训练的精度。
1.2.1 前向传播
在卷积神经网络的前向传播中，输入的原始图像经过逐层的卷积和池化处理后，提取出若干特征子图并转换成一维特征矢量，最后由全连接的输出层进行分类识别。
在卷积层中，每个卷积层都可以表示为对前一层输入图像的二维卷积和非线性激励函数，其表达式可用式（1）表示：
式中：Yj 表示输出层中第j 个输出；Y l + 1i 是前一层（l + 1层）
的输出特征（全连接的特征向量）；n 是输出特征向量的长度；Wij 表示输出层的权值，连接输入i 和输出j ；bj表示输出层第j 个输出的阈值；f (?) 是输出层的非线性
1.2.2 反向传播
在反向传播过程中，卷积神经网络的训练方法采用类似于BP神经网络的梯度最速下降法，即按极小化误差的方法反向传播调整权值和阈值。网络反向传播回来的误差是每个神经元的基的灵敏度[12]，也就是误差对基的变化率，即导数。下面将分别求出输出层、池采样层和卷积层的神经元的灵敏度。
（1）输出层的灵敏度
对于误差函数式（6）来说，输出层神经元的灵敏度可表示为：
在前向传播过程中，得到网络的实际输出，进而求出实际输出与目标输出之间的误差；在反向传播过程中，利用误差反向传播，采用式（17）~式（20）来调整网络的权值和阈值，极小化误差；这样，前向传播和反向传播两个过程反复交替，直到达到收敛的要求为止。
2 深层卷积神经网络的交通标志识别方法
2.1 应用原理
交通标志是一种人为设计的具有特殊颜色（如红、黄、白、蓝、黑等）和特殊形状或图形的公共标志。我国的交通标志主要有警告、禁令、指示和指路等类型，一般采用颜色来区分不同的类型，用形状或图形来标示具体的信息。从交通标志设计的角度来看，属于不同类型（不同颜色）的交通标志在形状或图形上有较大的差异；属于相同类型（相同颜色）的标志中同类的指示信息标志在形状或图形上比较接近，如警告标志中的平面交叉路口标志等。因此，从机器视觉的角度来分析，同类型中同类指示信息的标志之间会比不同类型的标志之间更易引起识别错误。换句话说，相比于颜色，形状或图形是正确识别交通标志的关键因素。
因此，在应用卷积神经网络识别交通标志时，从提高算法效率和降低错误率综合考虑，将交通标志转换为灰度图像并作二值化处理后作为卷积神经网络的输入图像信息。图2给出了应用卷积神经网络识别交通标志的原理图。该网络采用了6层交替的卷积层和池采样层来逐层提取交通标志的特征，形成的特征矢量由一个全连接的输出层进行识别。图中：W1i（i=1，2，…，m1），W1（j j=1，2，…，m2），…，W1k（k=1，2，…，m（n?1））分别表示卷积层L1,L3,…,Ln - 1 的卷积核；Input表示输入的交通标志图像；
Pool表示每个池采样层的采样池；map表示逐层提取的特征子图；Y 是最终的全连接输出。
交通标志识别的判别准则为：对于输入交通标志图像Input，网络的输出矢量Y = [y1,y2 ,…,yC ]，有yj = Max{y1，y2 ,…,yC}，则Input ∈ j，即判定输入的交通标志图像Input为第j 类交通标志。
2.2 交通标志识别的基本步骤
深层神经网络识别交通标志主要包括交通标志的训练与识别，所以将交通标志识别归纳为以下4个步骤：（1） 图像预处理：利用公式Gray= 0.299R +0.587G + 0.114B 将彩色交通标志图像转换为灰度图像，再利用邻近插值法将交通标志图像规格化，最后利用最大类间方差将交通标志图像二值化。
（2）网络权值和阈值的初始化：利用随机分布函数将权值W 初始化为-1~1之间的随机数；而将阈值b 初始化为0。
（3）网络的训练：利用经过预处理的交通标志图像构成训练集，对卷积神经网络进行训练，通过网络前向传播和反向传播的反复交替处理，直到满足识别收敛条件或达到要求的训练次数为止。
（4）交通标志的识别：将实际采集的交通标志图像经过预处理后，送入训练好的卷积神经网络中进行交通标志特征的提取，然后通过一个全连接的网络进行特征分类与识别，得到识别结果。
3 实验结果与分析
实验主要选取了我国道路交通标志的警告标志、指示标志和禁令标志三类中较常见的50幅图像。考虑到在实际道路中采集到的交通标志图像会含有噪声和出现几何失真以及背景干扰等现象，因此在构造网络训练集时，除了理想的交通标志以外，还增加了加入高斯噪声、经过位移、旋转和缩放处理和实际采集到的交通标志图像，因此最终的训练样本为72个。其中，加入的高斯噪声为均值为0，方差分别为0.1，0.2，0.3，图像的位移、旋转、缩放的参数分别随机的分布在±10，±5°，0.9~1.1的范围内。图3给出了训练集中的交通标志图像的示例。图4是在实际道路中采集的交通标志图像构成的测试集的示例。
在实验中构造了一个输入为48×48个神经元、输出为50 个神经元的9 层网络。网络的输入是像素为48 × 48 的规格化的交通标志图像，输出对应于上述的50种交通标志的判别结果。网络的激活函数采用S型函数，如式（2）所示，其输出范围限制在0~1之间。
图6是交通标志的训练总误差EN 曲线。在训练开始的1 500次，误差能迅速地下降，在迭代2 000次以后是一个平稳的收敛过程，当迭代到10万次时，总误差EN可以达到0.188 2。
在交通标志的测试实验中，为了全面检验卷积神经网络的识别性能，分别针对理想的交通标志，加入高斯噪声、经过位移、旋转和比例缩放以及采集的交通标志图像进行实验，将以上测试样本分别送入到网络中识别，表2给出了测试实验结果。
综合分析上述实验结果，可以得到以下结论：（1）在卷积神经网络的训练学习过程中，整个网络的误差曲线快速平稳的下降，体现出卷积神经网络的训练学习具有良好的收敛性。
（2）经逐层卷积和池采样所提取的特征具有比例缩放和旋转不变性，因此对于旋转和比例缩放后的交通标志能达到100%的识别率。
（3）与传统的BP网络识别方法[11]相比较，卷积神经网络能够达到更深的学习深度，即在交通标志识别时能够得到更高的所属类别概率（更接近于1），识别效果更好。
（4）卷积神经网络对实际采集的交通标志图像的识别率尚不能达到令人满意的结果，主要原因是实际道路中采集的交通标志图像中存在着较严重的背景干扰，解决的办法是增加实际采集的交通标志训练样本数，通过网络的深度学习，提高网络的识别率和鲁棒性。
4 结论
本文将深层卷积神经网络应用于道路交通标志的识别，利用卷积神经网络的深层结构来模仿人脑感知视觉信号的机制，自动地提取交通标志图像的视觉特征并进行分类识别。实验表明，应用深层卷积神经网络识别交通标志取得了良好的识别效果。
在具体实现中，从我国交通标志的设计特点考虑，本文将经过预处理二值化的图像作为网络的输入，主要是利用了交通标志的形状信息，而基本略去了颜色信息，其优点是在保证识别率的基础上，可以简化网络的结构，降低网络的计算量。在实际道路交通标志识别中，将形状信息和颜色信息相结合，以进一步提高识别率和对道路环境的鲁棒性，是值得进一步研究的内容。
此外，本文的研究没有涉及到道路交通标志的动态检测，这也是今后可以进一步研究的内容。
参考文献
[1] 刘平华，李建民，胡晓林，等.动态场景下的交通标识检测与识别研究进展[J].中国图象图形学报，2013，18（5）：493?503.
[2] SAHA S K，DULAL C M，BHUIYAN A A. Neural networkbased sign recognition [J]. International Journal of ComputerApplication，2012，50（10）：35?41.
[3] STALLKAMP J，SCHLIOSING M，SALMENA J，et al. Man vs.computer：benchmarking machine learning algorithms for traf?fic sign recognition [J]. Neural Network，2012，32（2）：323?332.
[4] 中国计算机学会.深度学习：推进人工智能梦想[EB/OL].[2013?06?10].http：//ccg.org.cn.
[5] 郑胤，陈权崎，章毓晋.深度学习及其在目标和行为识别中的新进展[J].中国图象图形学报，2014，19（2）：175?184.
[6] FUKUSHIMA K. Neocognition：a self ? organizing neural net?work model for a mechanism of pattern recognition unaffectedby shift in position [J]. Biological Cybernetics，1980，36（4）：193?202.
[7] LECUN Y，BOTTOU L，BENGIO Y，et al. Gradient ? basedlearning applied to document recognition [J]. IEEE Journal andMagazines，1989，86（11）：2278?2324.
[8] LECUN Y，BOTTOU L，BENGIO Y，et al. Backpropagationapplied to handwritten zip code recognition [J]. Neural Compu?tation，1989，1（4）：541?551.
[9] CIRESAN D，MEIER U，MAsci J，et al. Multi?column deepneural network for traffic sign classification [J]. Neural Net?works，2012，32（2）：333?338.
[10] NAGI J，DUCATELLE F，CARO D，et al. Max?pooling con?volution neural network for vision?based hand gesture recogni?tion [C]// 2011 IEEE International Conference on Signal andImage Processing Application. Kuala Lumpur：IEEE，2011，342?347.
[11] 杨斐，王坤明，马欣，等.应用BP神经网络分类器识别交通标志[J].计算机工程，2003，29（10）：120?121.
[12] BUVRIE J. Notes on convolutional neural networks [EB/OL].[2006?11?12]. http：//cogprints.org/5869/.
[13] 周开利，康耀红.神经网络模型及其Matlab 仿真设计[M].北京：清华大学出版社，2005.
[14] 孙志军，薛磊，许阳明，等.深度学习研究综述[J].计算机应用研究，2012，29（8）：2806?2810.
[15] 刘建伟，刘媛，罗雄麟.深度学习研究进展[J].计算机应用研究，2014（7）：1921?1930.
神经网络的鲁棒性范文5
关键词：神经网络，内燃机性能，模型，自适应性
一、概述
内燃机是一个复杂、非线性、多变量、不易建模的庞大系统，同时又具有时滞和干扰等特点。因此，单纯依靠实验来研究，耗时多、费用大、更改实验条件不灵活。神经网络通过学习后，能从大量的性能测验数据中找出内燃机的性能参数与内燃机状态变量之间的隐含非线性映射关系，然后对这种关系进行展开分析研究，就能寻找改善内燃机性能的有效途径。
二、神经网络
人工神经网络是指利用工程技术手段模拟人脑神经网络的结构和功能的一种技术系统，是一种大规模并行的非线性动力学系统。导入一定的输入、输出信号值后，网络就会根据输入和输出，并结合设定的理想误差不断地调节自己的各节点之间的连接权值来满足输入和输出。
1、神经网络的基本要素（见图一）
1）一组连接，连接强度由各连接上的权值表示，权值为正表示激活，为负表示抑制。
2）一个求和单元，用于求取各输入信号的加权和。
3）一个非线性激活函数，起非线性映射作用并将神经元输出幅度限制在一定范围内（一般限制在（0，1）或（？1，1）之间），此外还有一个阈值。
图一
2、神经网络作用过程的数学式表达
式中，，…，为输入信号，，，…，为神经元k之权值，为线性组合结果，为阈值，为激活函数，为神经元k的输出。
3、神经网络的特点
1）可以充分逼近任意复杂的非线性关系。
2）具有并行结构和并行处理能力。
3）因为网络内的所有信息对各个神经元都是等势的，因此部分信息丢失或者一定的节点不参与运算，对结果均不会产生重大影响。这表现为其强大的鲁棒性和容错性。
4）神经元之间连接的多样性和连接强度的可塑性，使得其具有很强的自适应性，表现为：学习性、自组织能力、综合推理能力和可训练性的等4个方面。
三、神经网络在内燃机性能研究中的应用
1、内燃机性能研究
通过选择正确的样本数据和合理的神经网络模型，对网络进行训练后就能够很好的逼近内燃机的工作过程，从而对相关的性能进行研究和预测。
2、基于神经网络的内燃机故障诊断系统
在内燃机的一些重要部位安装传感器，通过传感器收集数据随故障持续发展的变化情况，并将数据同时加载到两组BP网络中，一组用于对故障的分类，另一组用于对故障严重程度的估计。网络训练后就能很好地定位故障并作出相应的预测。
3、内燃机可靠性与优化设计中的神经网络方法
先对零件进行可靠性分析，然后根据设计要求建立可靠性概率约束条件模型，最后用神经网络方法进行优化求解。
神经网络的鲁棒性范文6
关键词：BP神经网络、图像分割、特征提取
Abstract: the image recognition process including the image preprocessing, feature extraction, image understanding and analysis. Which BP artificial neural network in the image segmentation using better; In the feature extraction phase BP neural network is also very good find application, and obtain the better feature extraction results; In the image understanding and the analysis phase using neural network classifier design, can get accurate classification results.
Keywords: BP neural network, image segmentation, feature extraction
中图分类号：TP183 文献标识码：A文章编号：
引言
BP人工神经网络算法是现今应用较为广泛的多层前向反馈式神经网络算法，BP人工神经网络有较好的容错能力、鲁棒性、并行协同处理能力和自适应能力，受到了国内外众多领域学者的关注。由于神经网络高效率的集体计算能力和较强的鲁棒性，它在图像分割方面的应用已经很广泛，Jain和Karu采用了多通道滤波与前向神经网络相结合的方法实现图像纹理分割算法。神经网络算法在特征提取阶段，压缩特征数量，以提高分类速度和精度。在图像识别领域中神经网络作为分类器的研究也得到了很大的进展，尤其是其学习能力和容错性对于模式识别是非常有利的，在一定程度上提高了训练速度和识别率。Le Cun等人提出了多层特征选择(Multilayer Selection Procedure)方法用于字符识别，每一层神经网络处理较低层次的特征，获取该层特征信息并传给上一层。
BP神经网络的基本原理
人工神经网络的研究起源于对生物神经系统的研究，它将若干处理单元（即神经元）通过一定的互连模型连结成一个网络，这个网络通过一定的机制可以模仿人的神经系统的动作过程，以达到识别分类的目的。人工神经网络区别于其他识别方法的最大特点是它对待识别的对象不要求有太多的分析与了解，具有一定的智能化处理的特点。神经网络的学习过程实际上就是不断地调整权值和阈值的过程。根据有无训练样本的指导可以将神经网络的学习方式分为两种：监督学习方式和非监督学习方式，也称为有导师指导学习方式和无导师指导学习方式。监督学习方式，是在给定固定的输入输出样本集的情况下，由网络根据一定的学习规则进行训练学习，每一次学习完成后，通过对比实际的输出和期望的输出，以此决定网络是否需要再学习，如果还没有达到期望的误差，则将实际误差反馈到网络，进行权值和阈值的调整，使实际的误差随着学习的反复进行而逐步减小，直至达到所要求的性能指标为止。非监督学习方式，是在没有外界的指导下进行的学习方式，在学习过程中，调整网络的权重不受外来教师的影响，但在网络内部会对其性能进行自适应调节。
BP神经网络分类器的设计
BP神经网络是基于误差反向传播算法(Back Propagation Algorithm，BPA)的多层前向神经网络，由输入层、输出层、一个或多个隐含层所组成。BP神经网络结构确定之后，通过对输出和输入样本集进行训练，反复修正网络的权值和阈值，达到学习训练的期望误差，以使网络能够实现给定的输入输出映射关系。BP人工神经网络的学习过程分为两个阶段，第一阶段是输入己知的学习样本数据，给定网络的结构和初始连接权值和阈值，从输入层逐层向后计算各神经元的输出；第二阶段是对权值和阈值进行修改，即根据网络误差从最后一层向前反馈计算各层权值和阈值的增减量，来逐层修正各层权值和阈值。以上正反两个阶段反复交替，直到网络收敛。具体实现步骤如下：
(1) 网络的初始化：首先对输入的学习训练样本进行归一化处理，对权值矩阵W和阈值向量赋初值，将网络计数器和训练次数计数器置为1，网络误差置为0。
(2) 输入训练样本，计算输入层，隐含层以及输出层的实际输出。
(3) 计算网络输出误差。将实际的输出和期望的输出值进行对比，采用均方根误差指标作为网络的误差性能函数。
(4) 若误差还没达到期望标准，则根据误差信号，逐层调整权值矩阵和阈值向量。
(5) 若最终调整之后的网络输出达到了误差范围之内，则进行下一组训练样本继续训练网络。
(6) 若全部的训练样本训练完毕，并且达到了期望的误差，则训练结束，输出最终的网络联接权值和阈值。
BP神经网络可以逼近任意连续函数，具有很强的非线性映射能力，而且BP神经网络中间层数、各层神经元数及网络学习速率等参数均可以根据具体情况设定，灵活性较强，所以BP神经网络在许多领域中广泛应用。一般来说，神经网络方法应同传统的人工智能方法相联系的。神经网络本身结构及性能上的特点使其对问题的处理更富有弹性，更加稳健。神经网络的基本特点是采用自下而上的设计思路，使其容易确定具体的目标分割或识别算法，在增加了不确定因素的同时也产生了网络最优化的问题，这就是所谓的伪状态(pseudo-trap)。尽管在实践中并非所有的伪状态对应完全失败的结果，但是毕竟这不符合对之完美的或者说合理的期望。人工智能则一般采用自上而下的方法，偏重于逻辑推理建立系统模型。因此将神经网络同人工智能结合起来，相当于赋予神经网络高层指导的知识及逻辑推理的能力，具有潜在的优势。
输入层中间层 输出层
图1 BP人工神经网络结构
BP神经网络的训练
4.1 BP神经网络的设计
BP神经网络的设计主要包括两方面内容：一是神经网络结构的确定，特别是隐含层层数及隐含层单元数目的确定；二是高精度收敛问题，隐含层和隐含层单元数过多，将导致训练时间过长并出现过度拟和的问题，隐含层单元数过少又导致网络收敛速度慢甚至不收敛，达不到误差精度要求。在确定隐含层层数以及隐含层单元数目时，没有一个严格的理论依据指导，需要根据特定的问题，结合经验公式确定大致范围来进行逐步试算比较得到。
4.2 数据预处理
为了加快网络的训练速度，通常在网络训练前进行神经网络输入和输出数据预处理，即将每组数据都归一化变为[-1,1]之间的数值的处理过程。
4.3 神经网络的训练
%当前输入层权值和阈值
inputWeights=net.IW{1,1}
inputbias=net.b{1}
%当前网络层权值和阈值
layerWeights=net.LW{2,1}
layerbias=net.b{2}
%设置训练参数
net.trainParam.show = 1000;%限时训练迭代过程
net.trainParam.lr = 0.1; %学习率，缺省为0.01
net.trainParam.epochs = 100000; %最大训练次数，缺省为100
net.trainParam.goal = 0.001; %训练要求精度，缺省为0
[net,tr]=train(net,P,T);%调用 TRAINGDM 算法训练 BP 网络
A = sim(net,P) %对 BP 网络进行仿真
E = T - A;%计算仿真误差
MSE=mse(E)
结束语
BP网络因为具有较强的学习性、自适应型和容错性，在很多领域均已经大量运用。本文将BP人工神经网络运用于图像的识别，探索人工神经网络在图像识别领域中的重要的现实意义。研究表明，BP人工神经网络应用于图像识别在一定程度上提高了识别的效率和准确率。但是，BP神经网络算法还存在以下几点不足之处：（1）权的调整方法存在局限性，容易陷入局部最优；（2）网络的结构需要提前指定或者在训练过程中不断的修正；（3）过分依赖学习样本，由于学习样本是有限的或者学习样本质量不高，那么会导致训练达不到效果；（4）对于规模较大的模式映射问题，存在收敛速度慢、容易陷入局部极小点、判断不准确等缺陷。总之，如何解决以上问题，如何进一步提高识别精度，扩大识别范围，使之更具有更好的工程实用性，是有待进一步研究的内容。
参考文献：
[1] WE Blanz，S L Gish．A Connectionist Classifier Architecture Applied to Image Segmentation．Proc．10th ICPR，1990，272-277．
[2] Y Le Cun，L D Jackel，B Boser，J S Denker，H P Graf，I Guyon，D Henderson，R E Howard，and W Hubbard，Handwriten Digit Recognition：Applications of Neural Network Chips and Automatic Learning，IEEE Comm．Magazine．Nov．1989．
[3] A K Jain and K Karu，Automatic Filter Design for Texture Discrimination，Proc．12th Int’l Conf．NeuralNetworks，Orlando，Oct．1994，454-458．
[4] 边肇其，张学工．模式识别（第二版）[M]．清华大学出版社，北京．1999，12．
[5] 陈书海，傅录祥．实用数字图像处理[M]．科学出版社，北京．2005．
[6] 万来毅，陈建勋．基于BP神经网络的图像识别研究[J]．武汉科技大学学报（自然科学版）．2006，6．
[7] 丛爽．面向MATLAB工具箱的神经网络理论与应用（第2版）[M]．北京：中国科学技术出版社，2003．
[8] 王娟，慈林林等．特征方法综述[J]．计算机工程与科学．2005．27（12）．68-71．
[9] 贾花萍．基于神经网络的特征选择与提取方法研究[J]．网络安全．2008，7．33-35．
[10] 龚声荣，刘纯平等编著．数字图像处理与分析[M]．清华大学出版社，北京．2006．7．
