前言：中文期刊网精心挑选了梯度下降法的基本原理范文供你参考和学习，希望我们的参考范文能激发你的文章创作灵感，欢迎阅读。
梯度下降法的基本原理范文1
关键词：设备诊断；短时傅立叶变换；小波变换；Hilbert变换；盲源分离
1 设备状态监测与故障诊断的信号处理技术综述
傅立叶变换是信号变换分析的基本方法，由于其本身的局限性， 为满足信号与系统分析的实际需要，演变出了多种变换形式，并在工程实际中得到了广泛的应用，主要有： 短时傅立叶变换、小波变换、希尔伯特—黄变换、信号盲源分析等。
1.1 短时傅立叶变换的基本原理
短时傅立叶变换即加窗傅立叶变换，将传统的傅立叶变换的时域（或空域）至频域的映射分析用加窗的方式结合起来， 对局部的时间段（或空间间隔）进行频域分析。加窗傅立叶变换的思想就是在傅立叶变换的基函数e-jwt前乘上一个有限的时限函数g（t）， g（t）和e-jwt分别有时限和频限的作用：
加窗傅立叶变换部分地解决了短时信号的分析问题， 对弥补傅立叶变换的不足起了一定的作用。
1.2 小波变换的基本原理
小波变换法由20世纪80年代法国科学家Morlet和Grossman在继承短时傅立叶变换的基础上， 应用到分析地震信号时提出的， 定义如下：
小波变换继承了加窗傅立叶变换的思想， 它的窗口大小不变， 但是窗口形状可以改变， 是一种时间窗和频率窗都可以改变的时频分析方法，即在低频部分具有较高的频率分辨率和较低的时间分辨率， 在高频部分具有较高的时间分辨率和较低的频率分辨率， 因此在时频域都具有很强的表征信号局部特征的能力.
1.3 希尔伯特—黄变换的基本原理
希尔伯特一黄变换是1998年由NASA的NordenEHuang等人提出，它完全独立于傅立叶变换，能够进行非线性、非平稳信号的线性化和平稳化处理，被认为是近年来对以傅立叶变换为基础的线性和稳态谱分析的一个重大突破。HHT方法包含两个主要步骤：l）对原始数据先通过经验模态分解方法EMD，把数据分解为满足希尔伯特变换要求的n阶本征模式函数（IMF）和残余函数r（t）之和；2）对分解出的每一阶IMF做希尔伯特变换，得出各自的瞬时频率，做出时频图。
对任一信号s（t），首先确定所有的极值点，然后将所有极大值点和所有极小值点分别用一条包络线连接起来，使两条曲线间包含所有的信号数据。把上下包络线的平均值记作m，s（t）与m的差记作h，则：s（t）-m= h，将h视为新的s（t），重复上述操作，直到当h满足一定的条件（如m变化足够小）时，记：c1= h，将c1视为一个IMF，再作：s（t）-c1= r，将r视为新的s（t），重复以上过程，依次得到第二个IMFc2，第三个IMFc3…。当r满足给定的终止条件（如分解出的IMF或残余函数r足够小或r成为单调函数）时，筛选过程终止，得分解式：，其
中，r代表信号的平均趋势。对每个IMF分别作希尔伯特变换后得：
称其展开式为希尔伯特谱。
1.4 盲源分离的基本原理
盲源分离是从20世纪90年代迅速发展起来的信号处理技术。盲源分离问题一般可以表述为： 在传输信道特性未知的情况下， 从一个传感器阵列或转换器的输出信号中分离或估计出源信号。
盲源分离的基本思路是寻求一个分离矩阵w，观测信号经过w变换后得到输出矢量， 即：，如果能够实现（I为单位阵）则，从而实现了恢复源信号的目标。尽管现在有许多有效的 BSS 算法， 但这些算法的本质都是首先应用信息理论、统计理论和矩阵理论的相关知识建立一个以分离矩阵W为变元的目标函数（ 代价函数）J（W）， 如互信息量最小化、信息传输准则的熵最大化等， 如果某个W使得 J（W）达到最大或最小值， 该W即为所求的解W。其次寻找一种有效的优化算法求解， 如一般的梯度下降法、随机梯度法、自然梯度法、Newton 法以及遗传算法等。
2 基于信号处理的设备故障诊断技术在工程中的应用
设备故障诊断不断吸取现代科学技术发展的新成果， 基于信号分析处理的设备故障诊断技术从理论到实际应用都有了迅速的发展。随着信息技术的进一步推广与深入，人们对故障机理、故障信号处理技术、故障诊断的智能化与远程化、故障诊断装置的研究进入了一个全新的发展阶段。例如：短时傅立叶变换在大型水轮发电机组振动分析中的应用，小波变换在信号消噪及信号奇异点检测处理中的应用，希尔伯特黄变换在真空泵故障诊断中的应用，盲源分离在齿轮箱故障诊断中的应用等。
参考文献
[1]朱家富，傅立叶变换在工程应用中的演变，2009（2）。
[2]曲丽荣，短时傅立叶变换在数字信号处理中的应用，2007
[3]王 静， 毋茂盛， 孙玉强.小波变换及其应用，2002（5）
梯度下降法的基本原理范文2
关键词：小波神经元网络；隶属度；短期负荷预测；电力系统
ABSTRACT：Wavelet neural network (WNN) possesses more degree of freedom and better adaptivity than multi-layer FP neural network. To better reflect the influence of climate factors on load and improve the precision of load forecasting， the Morlet wavelet is chosen to establish a wavelet neuron network， the back propagate algorithm is adopted to train the WNN network， a new method of analyzing clustering by self-study membership is used to train the samples. The load data and climatic data of Wuhan power network in recent years are applied in modeling and load forecasting. The forecasting results show that the established WNN model possesses better convergence and the forecasting precision can be improved by choosing training samples with analyzing clustering by self-study membership.
KEY WORDS：Wavelet neural network；Membership；Short-term load forecasting；Power system
1 引言
短期负荷预测是负荷预测的重要组成部分，是电力系统运行调度中的重要内容。国内外已提出了多种短期负荷预测方法，如多元回归、ARMA模型、人工神经元网络方法等。可归类为：①利用负荷的自身发展规律，如ARMA模型[1]等；②负荷发展规律与气象因素相结合，如ANN(Artificial Neural Network)方法[2]；③其他方法，如小波分解法[3-5]、模糊聚类法[6]及混沌算法[7]。
人工神经网络以其强大的多元性映射能力能够准确捕捉并学习负荷值与天气之间的非线性关系，使考虑气象因素的电力系统短期负荷预测成为可能。近年来它一直受到密切关注，且已成为解决电力负荷预测问题的有效计算工具。小波在分析非固定信号和构造非线性函数模型方面具有卓越性能，因此结合了小波基函数的小波神经元网络(WNN)比一般神经网络具有更多的优越性。
为更好地反映气象因素对负荷的影响及提高负荷预测的精度，本文构建了一种小波神经元网络负荷预测模型，以Morlet小波取代Sigmoid函数，采用误差反传学习算法来训练网络，采用自学习隶属度分析聚类方法来选择训练样本。
2 小波及小波变换
基本小波或母小波定义为满足相容性条件(如式(1)所示)的平方可积函数φ(t)∈L2(R)(L2(R)为二尺度空间)
式中 a、b为实数，且a≠0，称φab(t)为由母小波 (t)生成的依赖于参数a、b 的连续小波，也称为小波基。设反映负荷变化规律趋势的函数为f(t)∈L2(R)，定义其小波变换wf(a，b)为
3 小波神经元网络
3.1 基本原理
小波神经元网络是基于小波分析的具有神经元网络思想的模型，即采用非线性小波基取代常用的非线性Sigmoid函数，通过线性叠加所选取的非线性小波基来拟合负荷历史数据序列。负荷曲线y(t)可采用小波基φab(t)进行如下拟合：
式中
为负荷曲线y(t)的预测值序列； Wk、bk、ak分别为第k个权重系数和第k个小波基的平移因子与伸缩因子；n为小波基个数。
在小波神经元网络中，小波神经元负责对输入信号进行预处理，再将其传递到多层感知器。采用神经元网络学习算法训练网络，在迭代过程中调整网络的各个参数和小波系数，使输出误差最小化。
3.2 网络结构
图1为4层小波神经元网络，图中输入层有I个神经元，xi为其第i个输入量；小波变换层有J个神经元， 、vj分别为其第j个输入量和输出量
隐层有K个神经元，yk为其第k个输出量；输出层有1个神经元，输出结果为Om，代表预测日第m个预测点的负荷值
式中 Ψs，t，j为小波变换函数； Wij、Wjk和Wk分别为输入层与小波层、小波层与隐层、隐层与输出层之间的连接权值。
考虑到Morlet小波的简明表达方式，选择Morlet小波作为网络隐含层的变换基函数
式中 xz =(x-tj)/sj ，sj 为小波神经元j的放缩系数，tj 为小波神经元j的平移系数。
神经元学习算法用于修正sj和tj以及网络输出线性组合的权值Wij、 Wjk和Wk，通过最小化误差能量函数优化这些网络参数。简化式(7)、(8)，取g(x)=x，小波神经元网络的输出Om可表示为
式中 D为训练样本数目； 为第d个样本的第m个期望输出值。
转贴于 3.3 小波神经元网络的误差反传学习算法
为使误差Em最小，采用梯度下降法学习函数作为小波神经元网络的学习法则。该学习过程与普通神经元网络的算法相同。根据式(5)-(7)和式(8)，可得到Em的负梯度值，由此推出与该WNN每个参数有关的局部误差函数。如由局部误差函数值构造出梯度矢量，该WNN参数即可用梯度下降法更新确定。对于式(11)的Em，对于第d个样
由于小波基函数对放缩系数和平移系数特别敏感，因此小波基节点数应足够大，以确保神经元网络的稳定性。此外，本文模型的网络参数初值选取如表1所示。
4 小波神经元网络预测模型的建立
4.1 采用改进隶属度分析聚类法选择训练样本
为避免气象突变、日期、星期类型的不同导致负荷模式的不同，从而显著增加神经元网络的训练时间并影响预测精度，需从历史数据中选取与预测日的特征量最为接近的历史日的数据作为训练样本，聚类分析是选择样本的有效手段。
在短期负荷预测的数据聚类中主要考虑的聚类特征指标有：最高温度、最低温度、平均温度、风力、可见度、湿度、天气类型、舒适度指数以及日期、星期等。这些因素对负荷变化的影响程度不同，其中最高温度、最低温度的变化对负荷变化的影响最大，且各因素的取值范围与正常变化范围也不同。本文采用自学习加权隶属度函数来进行模糊聚类分析。
假设有K个负荷日，特征量的个数为M，第k个负荷日的第j个特征量表示为ykj，将其作如下归一化处理
各特征量的隶属度函数表达式为
式中 μkj为第k个负荷日的第j个特征变量的隶属度值；gj为预测日(即聚类中心)的第j个特征变量；
设置阈值λ来确定训练样本，λ越大符合选择条件的训练样本数越少。采用监督式学习来决定权值wj。定义目标函数为
式中 nL为学习的样本数目；yi＝Li/L0；L1为历史日i的负荷总量；L0为目标日的负荷总量；ti为历史日i与目标日的相似度值，即隶属度值。采用梯度下降法来调整权值使式(22)达到最小值。
4.2 WNN的构建与训练
本文构建的WNN网络有55个输入神经元(如表2所示)，112个小波层神经元，30个隐含层神经元，1个输出神经元。
需指出的是，隐含层神经元最适宜的数目取决于误差检验，WNN网络通过未参加训练的某一阶段的历史数据来检验误差。训练中取近60天的历史数据运用上述基于隶属度分析的聚类方法来选取小波神经元网络的训练样本(10个)和检验样本(5个)。通过误差检验来确定隐含层神经元的数目。
5 算例
基于本文的模型原理和建模步骤，采用C++语言编写出小波神经元网络负荷预测程序。利用湖北省武汉市1999年5月-12月的历史气象和负荷数据进行预测：①WNN网络与BP网络的性能比较(10个样本批量训练，单点输出条件下)见表3；②采用本文模型对武汉市电网负荷进行预测，将其预测结果与使用普通BP神经元网络的结果进行比较。表4为采用小波神经元网络方法对1999年5月21日-1999年5月27日的负荷进行预测的平均相对误差与普通BP网络的比较，结果表明本文预测算法稳定实用，能够改善预测精度。
6 结论
本文探讨了小波神经元网络用于解决短期负荷预测的能力。研究表明恰当地选择训练样本和合理地选择网络结构是影响WNN网络预测精度的主要因素。小波神经元网络具有比BP网络更快的收敛速度，改进隶属度聚类方法的应用可改善负荷大波动日的预测精度。
[1] 施泉生(Shi Quansheng)．短期负荷预报模型库的研究及应用(A study and apply on model system of short-term load forecasting)[J]．系统工程理论与实践(System Engineering Theory and Practice)，1996，16(7)：99-104．
[2] Park D C，El-Sharkawi M A，Marks R J II et al．Electric load forecasting using an artificial neural network[J]．IEEE Transactions on Power Systems，1991，6(2)：442-449．
[3] 邰能灵，侯志俭，李涛，等(Tai Nengling，Hou Zhijian，Li Tao et al)．基于小波分析的电力系统短期负荷预测方法(New principle based on wavelet transform for power system short-term load forecasting)[J]．中国电机工程学报(Proceedings of the CSEE)，2003，23(1)：45-50．
[4] 冉启文，单永正，王骐，等(Ran Qiwen，Shan Yongzheng，Wang Qi et al)．电力系统短期负荷预报的小波-神经网络-PARIMA方法(Wavelet-neural networks-PARIMA method for power system short term load forecasting)[J]．中国电机工程学报(Proceedings of the CSEE)，2003，23(3)：38-42．
[5] 谢宏，陈志业，牛东晓(Xie Hong，Chen Zhiye，Niu Dongxiao)．基于小波分解与气象因素影响的电力系统日负荷预测模型研究(The research of daily load forecasting model based on wavelet decomposing and climatic influence)[J]．中国电机工程学报(Proceedings of the CSEE)，2001，21(5)：5-10．
[6] 姜勇(Jiang Yong)．基于模糊聚类的神经网络短期负荷预测方法(Short-term load forecasting using a neural network based on fuzzy clustering)[J]．电网技术(Power System Technology)，2003，27(2)：45-49．
梯度下降法的基本原理范文3
论文摘要:近几十年里，数字信号处理技术取得了飞速发展，特别是在自适应信号处理方面，通过内部参数的最优化来自动调节系统特性并以其计算简单，收敛速度快等许多优点而被广泛使用。本文主要介绍了几种常用的自适应算法，如：LMS，RLS，NLMS等。分别就几种算法在算法原理，算法性能分析和计算机仿真等方面来说明各种算法的优越性。通过围绕算法的优缺点进行比较，得出一些重要结论。最后对自适应信号处理的一些应用作了介绍和分析，并对其进行了仿真。
Abstract：In recent decades， digital signal processing technology has made rapid development， especially in adaptive signal processing. The adaptive signal processing algorithm can adjust the internal parameters of filters to optimize system characteristics automatically. For its simple computational complexity， fast convergence speed and many other advantages， adaptive filer has been widely used.
This paper introduces several commonly used algorithms， such as: LMS， RLS， NLMS， etc.. Through the principle of adaptive algorithm analysis and simulation， we illustrate the various aspects of the adaptive algorithm’s superiority. And through the comparing of their advantages and disadvantages， we could draw some important conclusions for different algorithm.
Keywords: Adaptive signal processing， Adaptive filter
1引言
自适应信号处理是信号处理领域的一个非常重要的分支。作为自适应信号处理基础的自适应滤波理论是对信号处理研究的一个重要方法，本文亦将它作为研究的手段。自适应信号处理经过近40年来的发展，随着人们在该领域研究的不断深入，其理论和技术已经日趋完善。尤其是近年来，随着超大规模集成电路技术和计算机技术的迅速发展，出现了许多性能优异的高速信号处理专用芯片和高性能的通用计算机，为信号处理，特别是自适应信号处理的发展和应用提供了重要的物质基础。另一方面，信号处理理论和应用的发展，也为自适应信号处理的进一步发展提供了必要的理论基础。自适应信号处理已经在诸如噪声对消，信道均衡，线形预测等方面得到广泛的应用。
本文主要研究的是自适应信号处理中一些基本的算法，如：LMS，RLS，NLMS等。在学习和总结前人工作的基础上，对各种算法进行了详细的推导，分析了它们的特点及性能，诸如稳态特性，收敛条件及参数的取值。对其中的两个基本算法LMS和RLS算法在收敛性和稳定性进行了分析比较，并用matlab仿真得到验证。最后对自适应处理的一些应用作了简要说明，如：噪声对消，信道均衡，线性预测及陷波器等，并对其进行了仿真。
1.1 研究的目的和意义
常规的信号处理系统，利用自身的传输特性来抑制信号中的干扰成分，对不同频率的信号有不同的增益，通过放大某些频率的信号，而使另一些频率的信号得到抑制。由于其内部参数的固定性，消除干扰的效果受到很大的限制。通常许多情况下，并不能得到信道中有用信号和干扰信号的特性或者它们随时间变化，采用固定参数的滤波器往往无法达到最优滤波效果。在这种情况下，可以用自适应处理系统，来跟踪信号和噪声的变化。
自适应系统可以利用前一时刻已经获得的滤波器参数等结果，自动的调节现时刻的滤波器参数，以适应信号和干扰未知的或随时间变化的统计特性，从而实现最优滤波。正是由于它在设计时需要很少或者无需任何关于信号和干扰的先验知识就可以完成的优点，所以发展很快，并得到广泛的应用。
1.2 自适应系统的组成
自适应系统和常规系统类似，可以分为开环自适应和闭环自适应两种类型。开环自适应系统主要是对输入信号或信号环境进行测量，并用测量得到的信息形成公式或算法，用以调整自适应系统自身；而闭环自适应系统还利用系统调整得到的结果的有关知识去优化系统的某种性能，即是一种带“性能反馈”的自适应系统。
下图a表示一个开环自适应系统，控制该系统的自适应算法仅由输入确定。图b则表示一个闭环自适应系统，控制该系统响应的自适应算法除了取决于输入外，还依赖系统输出的结果。
1.3基本自适应算法
这里主要介绍LMS，RLS，NLMS三种基本算法。
LMS算法是最被广泛应用的滤波器演算法，最大的特点就是计算量小，易于实现。基于最小均方误差准则，LMS算法使滤波器的输出信号与期望输出信号之间的均方误差最小。运算过程不需要对相关函数及复杂的反矩阵做运算，所以经常拿来用作比较的基准。
LMS算法为了便于其实现，采用误差输出模的瞬时平方值(即瞬时功率) 的梯度来近似代替均方误差 的梯度。实际上我们可以直接考察一个由平稳信号输入的自适应系统在一段时间内输出误差信号的平均功率，即把平均功率达到最小作为测量自适应系统性能的准则，这就是RLS算法。换句话说，LMS算法是将输出误差信号的平均平方值 最小化，而RLS算法是将输出误差信号平方值总和最小化。虽然RLS算法复杂度和阶数平方成正比，但是由于它的收敛速度快，所以仍然受到广泛的应用。
为克服常规的固定步长LMS自适应算法在收敛速率，跟踪速率与权失调噪声之间的要求上存在的较大矛盾，许多学者提出了各种各样的改进型LMS算法。比如归一化LMS，基于瞬变步长LMS以及基于离散小波变换的LMS自适应滤波算法。这里我们讨论归一化的LMS算法，即NLMS算法。
以上这些算法主要特点是不需要离线方式的梯度估值或者重复使用样本数据，而只需在每次迭代时对数据作“瞬时”梯度估计。因此自适应过程中的迭代比较简单，收敛速度比较快。
1.4 Matlab语言介绍
本文的算法仿真采用了MATLAB语言。MATLAB是Mathworks公司于20世纪80年代推出的数值计算软件，近些年来得到了广泛的应用。MATLAB的全称是Matrix Laboratory，意思是矩阵实验室。它是以矩阵运算为基础的新一代程序语言。与Fortran和C相比，MATLAB语句显得简单明了，更加符合人们平常的思维习惯。同时，MATLABB有着良好的数据可视化功能，能将数字结果以图形的方式表现出来，让人们一目了然。这些特点使得MATLAB从众多数值计算语言中脱颖而出，并正以相当快的速度在科学研究和工程计算中得到应用和普及。
MATLAB有着非常强大的数值计算能力，它以矩阵为基本单位进行计算，数域扩展到复数，这一特点决定了MATLAB有着非凡的解决数值问题的能力。绘图方面，MATLAB的绘图语句简单明了，功能齐全。它能够在不同坐标系里绘制二维、三维图形，并能够用不同颜色和线型来描绘曲线。正是由于MATLAB这些特点，从而使它适合与进行自适应算法仿真。
2 基本自适应算法的分析与Matlab仿真
2.1最小均方误差(LMS)自适应算法
2.1.1 LMS自适应滤波器基本原理
SHAPE \* MERGEFORMAT
图2.1.1 LMS自适应滤波器原理框图
图2.1.1中， 表示时刻 的输入信号， 表示时刻 的输出信号， 表示时刻 的参考信号或期望响应信号， 表示时刻 的误差信号。误差信号为期望响应信号 与输出信号 之差，记为 。自适应滤波器的系统参数受误差信号控制，并根据 的值而自动调整，使之适合下一时刻 的输入 ，以使输出信号 更加接近期望信号 ，并使误差信号 进一步减小。当均方误差 达到最小值时， 最佳地逼近 ，系统已经适应了外界环境。
2.1.2 E[e2(n)]与权值W的关系
LMS自适应滤波器通过算法，当 最小时，滤波器已经调节出适合现在外部环境的滤波器权值W。
(1)我们可以先推导出 与加权系数W的关系式。
可以从上式看出均方误差 是加权系数 的二次函数，它是一个中间上凹的超抛物形曲面，是具有唯一最小值的函数。即 与 的关系在几何上是一个“碗形”的多维曲面。为了简单，设 是一维的，则与 的关系成为一个抛物线。调节加权系数 使均方误差最小，相当于沿超抛物形曲面下降到最小值。连续地调节加权系数使均方误差最小，即寻找“碗”的底点。碗底： ，即 点。
2.1.3 LMS算法推导
最小均方差（LMS）算法，即权系数递推修正达到最佳权系数 是依据最小均方算法。最陡下降法（Steepest Descent Method）是LMS算法的基础，即下一时刻权系数矢量 应该等于“现时刻”权系数矢量 加上一项比例为负的均方误差函数的梯度 ，即
式（2.1.3.1）
其中 为
式（2.1.3.2）
为控制收敛速度与稳定性的数量常数，称为收敛因子或自适应常数。式（2.1.3.1）中第二项前的负号表示当梯度值为正时，则权系数应该小，以使 下降。根据式（2.1.3.1）的递推算法，当权系数达到稳定时，一定有 ，即均方误差达到极小，这时权系数一定达到所要求的最佳权系数 。LMS算法有两个关键：梯度 的计算以及收敛因子 的选择。按（2.1.3.2）计算 时，要用到统计量G，P，因此有很大困难，故通常用一种粗糙，但却有效的方法，就是 用 代替，即
式（2.1.3.3）
式（2.1.2.3）的含义是指单个误差样本的平方 作为均方误差 的估计值，从而使计算量大大减少。从而最终可以推出权系数迭代的LMS算法为：
式（2.1.3.4）
为输入样本向量，只要给定系数迭代的初值 ，根据上式可以逐步递推得到最佳权系数，并计算出滤波器误差输出。下图为LMS算法的流程图：
SHAPE \* MERGEFORMAT
2.1.4 LMS算法的参数分析
LMS算法所用到计算式如下：
系统输出：
误差估计：
权值更新：
其中 为信号输出， 为输入向量， 为误差值， 为权值向量， 为期望值， 为步长。在LMS算法中步长值 的取舍问题非常重要，直接影响了算法的收敛速度。 值是用来调整加权参数的修正速度，若 值取的过小，收敛速度就会过于缓慢，当取的过大时，又会造成系统收敛的不稳定，导致发散。所以选取最佳的 值是LMS算法中一个重要的问题。具体收敛条件可由下面的式子分析得出：
可以以得出收敛条件 及
其中 是输入相关矩阵 的最大特征值。
2.1.5 LMS算法的仿真分析
图(2.1.5.1)
上面为输入信号与输出信号图示。输入信号采用正态随机信号加上高斯白噪声。可以看出输出信号经过一段时间基本达到跟踪，滤波的效果。
图(2.1.5.2)
图(2.1.5.3)
梯度下降法的基本原理范文4
关键词：涡轮增压系统；故障诊断；BP神经网络；RBF神经网络；Elman神经网络
中图分类号：U472 文献标识码：A
在现代生产过程中，柴油机作为常见的机械设备之一，广泛应用于动力发电、工程机械等各种领域，其动力性和可靠性的好坏直接影响着整个系统的工作状况。因此，对柴油机进行故障诊断和状态监测，及时发现并排除故障，对增加柴油机工作状态下的安全性与可靠性，减少经济损失，避免事故发生具有重大的意义。传统的柴油机故障诊断与处理方法包括油法、振动噪声法等，但都是以定期保养和事后维修为主，这些方法缺乏事故预见能力、成本高、效率低[1]。随着计算机技术、信号分析处理技术、人工智能的迅猛发展，柴油机故障诊断技术的水平也在不断地提高。以非线性并行分布处理为主的神经网络为柴油机故障诊断技术的研究开辟了新的途径[2]。经过对柴油机的故障资料进行分析，柴油机的涡轮增压系统发生的故障较多，本文只研究柴油机涡轮增压系统故障的诊断，利用MATLAB神经网络工具箱，分别基于BP、RBF和Elman网络进行柴油机的故障诊断，并对三种网络方法诊断结果的可靠性和适用性进行比较和分析。
1 涡轮增压系统的故障分析
根据对柴油机工作过程的分析和实际运行经验，可以确定涡轮增压系统的出现的工作故障的原因和部位主要有：增压器效率下降、空冷器传热恶化、透平保护格栅阻塞、透平通流部分、空气滤清器阻塞、空冷器空气测流阻塞增大和废热锅炉流阻增大。其中后三项故障可以直接由部件特性参数诊断得出，系统的工作状况和前四项故障原因作为网络输出变量由建立的神经网络进行故障诊断，确定柴油机涡轮增压系统是否处于安全运行中。柴油机涡轮增压系统工作状况下可以得到的征兆变量包括排气总管温度、扫气箱压力、平均燃烧最大爆发压力、扫排气道压损系数、增压器转速、压气机出口温度、扫气箱温度、空冷器压损系数、滤网压损系数、废气锅炉压损系数和柴油机工作负荷参数，共11项可以作为网络的输入变量。
根据某型号柴油机技术规范要求，可以得到柴油机无故障时的数据，如下所示[3,4]。
气缸排气温度： 30K
扫气箱压力： 0.06MPa
最大爆发压力： 1MPa
滤网压损系数： 0.1
增压器转速： 1500r/min
空冷器压损系数： 0.1
废气锅炉压损系数： 0.1
扫排气道压损系数： 0.06
压气机出口温度： 30K
扫气箱温度： 40K
其中，由于滤网压损系数、空冷器压损系数和废气锅炉压损系数可以作为部件特性系数，直接进行诊断，所以，排气总管温度、扫气箱压力、最大爆发压力、增压器转速、扫排气道压损系数、压气机出口温度、扫气箱温度和柴油机负荷作为网络的输入变量。由神经网络诊断出的数据参数上下偏差超过以上数据时，则认为柴油机有故障。
2 神经网络模型
2.1 BP神经网络
BP学习算法的基本原理是梯度最快速下降法，通过梯度搜索使网络的实际输出值和期望输出值的误差均方值为最小。BP神经网络是误差反向传播算法的学习过程，如图1所示，输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求；传递到输出层各神经元的信息，完成学习的正向传播处理过程，由输出层向外界输出信息处理[5,6]。
图1 BP神经网络结构
2.2 RBF神经网络
RBF神经网络属于前向神经网络类型，如图2所示。第一层为输入层，由信号源结点组成；第二层是隐含层，隐含层中神经元的变换函数是非线性函数，传递函数为radbas；第三层为输出层，传递函数为线性函数purelin,对输入模式作出响应[7]。
RBF神经网络的基本原理是前馈式神经网络，它具有最佳逼近性能和全局最优特性，并且结构简单，训练速度快，在模式识别、非线性函数逼近等领域的神经网络模型方面应用广泛[8]。
2.3 Elman神经网络
Elman神经网络是一个具有局部记忆单元和反馈连接的局部前向回归网络，主要结构是前馈连接，包括输入层、隐含层、承接层和输出层，其中承接层从隐含层接收反馈信号，用来记忆隐含层神经元的输出值，经过延迟和存储，在输入到隐含层中，这样对历史数据具有敏感性，增强了网络的动态信息处理能力[9]。
图2 RBF网络结构
3 网络设计
3.1 样本数据选取与处理
确定正确的训练样本集是神经网络能够准确故障诊断的一个关键环节，柴油机涡轮增压系统的每一种故障都对应着一个样本，样本的目标值取0,0.5和1来表示诊断出故障的严重程度。确定训练样本，分别取满负荷运行、90%负荷运行、70%负荷运行和半负荷运行四种状况下的数据集，现抽取其中的9组数据作为训练样本，3组数据作为测试样本。由于原始数据幅值不同，甚至相差很大，直接在网络中使用学习速率会变得很慢，无法反应出小的测量值变化，所以要先将训练样本进行归一化处理，处理后的数据对于网络更容易训练和学习[10]。归一化函数如下所示：
Xi =(xi-A)/B
式中：Xi表示归一化后的测试数据，xi表示原始的测试数据，A表示相应的无故障情况下的基准值，B表示最大偏差值的绝对值。
3.2 建立网络并故障诊断
3.2.1 BP神经网络
根据试凑法，选取隐含层节点数为12，第一层传递函数使用tansig函数，第二层传递函数使用logsig函数，训练函数为trainlm函数，训练次数3000，训练目标0.01，学习速率为0.1。
net=newff(minmax(P),[12,5],{'tansig','logsig'},'trainlm');
net.trainParam.epochs=1000;
net.trainParam.goal=0.01;
LP.lr=0.1;
net=train(net,P,T);
如图3所示, 经过32次训练后，网络的性能达到了要求。
图3 BP网络训练结果
利用训练好的BP网络对测试样本进行测试，测试代码为yi=sim(net,pi) i=0,1,2测试结果为：y1=0.0000 0.9999 0.0000 0.0036 0.0000;y2=0.21050.0000 0.5245 0.0000 0.0059y3=0.0000 0.0014 0.0000 1.0000 0.0000测试结果表明，经过训练后，网络可以满足柴油机涡轮系统故障诊断的要求。
3.2.2 RBF神经网络
由于样本数目比较小，将径向基分布常数设定为1.2，由此，利用MATLAB创建一个RBF神经网络如下：spread=1.2;net=newrbe(P,T,spread);经过训练后，对策是样本进行测试，测试结果如下：y1 = 0.0000 1.0550 -0.189 -0.0758 0.0147;y2 =0.0000 -0.0018 0.5196 0.0055 -0.0087;y3 = 0.0000 0.0202 -0.0111 0.9804 0.0028测试结果表明，网络成功诊断出了所有故障。
3.2.3 Elman神经网络
创建单隐层的Elman神经网络，最影响函数性能的是隐含层节点数，通过考虑网络的速度与性能，将隐含层节点数定为15，创建网络如下所示：net=newelm(minmax(P),[15,5],{'tansig','logsig'})net.trainParam.epochs=500;net.trainParam.goal=0.01;net=train(net,P,T);
如图4所示，经过训练和对数据测试后，结果如下所示：y1 = 0.0232 0.8539 0.0050 0.2311 0.0021;y2 = 0.0112 0.0291 0.4829 0.0468 0.0447;y3 = 0.0129 0.2031 0.0146 0.7644 0.0204
图4 Elman神经网络训练结果
测试结果虽然误差较大，但可以测试样本的故障诊断结果。
4 结语
(1)采用神经网络建立故障诊断模型，能够客观的反映柴油机是否故障及严重情况，三种网络均能够满足故障诊断的要求；(2) BP网络具有很强的非线性映射能力，在柴油机故障诊断中应用很成功，但由于BP网络是前向的神经网络，所以收敛速度比较慢，而且有可能收敛到局部极小点；RBF神经网络收敛速度快，当函数的扩展速度spread越大，函数拟合就越平滑，如果数值过大，会使传递函数的作用扩大到全局，丧失了局部收敛的优势，所以在网络设计中需要尝试确定最优解；Elman网络的训练误差曲线比BP网络要平滑，收敛速度很快，能准确的识别所有故障类型，但相对于BP网络和RBF网络，Elman网络的识别误差更大，但并没有影响所建立模型的应用。(3) 由于样本量比较小，对于和训练数据相差很大的数据，所建立的网络可能无法正确诊断。在实际应用中要采用大容量的训练样本，并对样本数据进行分析和检查，如利用小波方法处理非正常的高峰值波动数值等[11]。
参考文献
[1]张蕾. 融合技术在柴油机故障诊断中的应用[J]. 小型内燃机与摩托车，2002，31（3）：33-36.
[2]汪云，张幽彤.神经网络在电控柴油机实时的故障诊断[J].汽车工艺与材料，2001，（1）：38-40.
[3]马旭凯，谷立臣，李世龙. 基于SOM神经网络的柴油机故障诊断[J]. 机械制造与研究，726-731.81-83.
[4]丁艳君，吴占松．锅炉烟气排放检测软件传感器[N]. 清华大学学报（自然科学版），2002，42（12）：1636-1638.
[5]李玉峰，刘玫.基于动量BP网络的柴油机故障诊断[J].控制工程，2007.
[6]傅荟璇，赵红等.MATLAB神经网络应用设计 [M].北京：机械工业出版社，2010.
[7]朱大奇，史慧．人工神经网络原理及应用[M]. 北京：科学出版社，2006.
[8]Luce H，Govind R．Neural network pattern recognizor for detection of failure modes in the SSME[J].AIAA90-1893.
梯度下降法的基本原理范文5
作者简介:苏义鑫（1965-），男，湖北仙桃人，教授，博士生导师，主要研究方向：智能控制; 沈俊（1982-），男，湖北汉川人，硕士研究生，主要研究方向：计算机控制、信息系统集成; 张丹红（1968-），女，湖北汉川人，教授，主要研究方向：计算机控制、现场总线技术; 胡孝芳（1984-），女，湖北巴东人，硕士研究生，主要研究方向：计算机控制、信息系统集成。
文章编号:1001-9081（2011）07-1793-04doi:10.3724/SP.J.1087.2011.01793
（武汉理工大学 自动化学院，武汉 430070）
（）
摘 要:提出了一种基于神经网络与改进粒子群算法的地震预测方法，该方法采用前向神经网络作为地震震级的预测模型，引入改进的粒子群算法对前向网络的连接权值进行修正。为了设计在全局搜索和局部搜索之间取得最佳平衡的惯性权重，基于粒子动态变异思想对粒子群优化算法进行改进，提出了一种动态变异粒子群优化算法，并将其应用于地震震级预测神经网络模型优化。在仿真实验中,将所提出的方法与另外两个采用不同算法的前向网络预测方法进行了比较。结果表明所提出的优化算法收敛速度最快，所得模型的预测误差最小，泛化能力最强，对地震的中期预测有很好的参考作用。
关键词:地震预测；前馈神经网络；粒子群优化算法；BP算法
中图分类号:TP311文献标志码:A
Application of neural networks and improved
PSO algorithms to earthquake prediction
SU Yi-xin, SHEN Jun, ZHANG Dan-hong, HU Xiao-fang
（College of Automation,Wuhan University of Technology,Wuhan Hubei 430070, China）
Abstract: This paper proposed an earthquake prediction method based on neural networks and an improved particle swarm optimization algorithm. In this method, a feed forward neural network was applied to predict the level of earthquake, and a modified particle swarm optimization algorithm was applied to optimize the neural network model. In order to get weights of the optimal balance between the global search and local search, a Dynamic Mutational Particle Swarm Optimization （DMPSO） algorithm was designed by using the ideology of dynamic mutation. This algorithm was used to adjust weights of the feed forward neural network. The simulation results of the proposed method were compared with the simulation results of two feed forward networks with different training algorithms. The comparison results show that the prediction model with DMPSO has fastest convergence rate, the smallest prediction error and strongest generalization ability. In conclusion, the model with DMPSO is a good reference to the middle earthquake prediction.
Key words: earthquake prediction; Feed Forward Neural Network （FFNN）; Particle Swarm Optimization （PSO）algorithm; Back Propagation （BP） algorithm
0 引言
凭借人类现有的技术水平，很难深入到地球内部去设置各种仪器直接对震源进行观测，而仅仅通过在地球表面各地设置的各种疏密不均的观测站也难以获得准确完备的观测资料，所以很难了解清楚地震的孕育细节、发震构造、震源机制以及地震之间的关系。由于引发地震的相关性因素很多，导致大地震的孕育和发生是一个非常复杂的过程，地震活动存在着有限、离散、点集、信息非完备性、高度非线性、不可逆性以及难于用动力学方程描述等特点。以人类现有的认知水平，想找到地震发生机理的精确数学模型相当困难。如今随着人工智能技术的飞速发展，一些先进的控制技术和算法越来越多地应用于地震预测模型，使地震预测精度有了很大提高。其中比较常见的有神经网络（Neural Network，NN）［1］、自回归（Auto Regressive，AR）模型［2］、遗传算法（Genetic Algorithm，GA）［3］、支持向量机（Support Vector Machine, SVM）算法［4］等。
神经网络因其具有良好的非线性拟合能力使之在目前的地震预测建模中使用最广泛，但由于神经网络所使用的训练算法收敛速度慢且极容易陷入局部极小，而且泛化能力也比较差，结果导致预测精度不高。AR模型是一种线性预测的数理统计方法，它通过模型外推达到预测地震的目的，然而AR模型所要求的时间序列应具有等时性，在建模时首先要进行数据的平稳性检验，地震测试数据的极度非线性不一定满足平稳性条件,从而大大降低了AR模型的地震预测能力。遗传算法训练的神经网络可以提高分类正确率以及加快网络收敛速度，然而遗传算法的选择、复制、交叉、变异等一系列遗传操作使神经网络的训练时间随着问题复杂程度呈指数级增长，导致算法在接近最优解时收敛缓慢甚至出现收敛停滞现象。SVM算法虽然具有明确的表达式和较好的稳定性，在精确性和效率方面也比神经网络有明显的优势，但由于SVM算法的应用研究起步较晚，技术尚不成熟，而且其预测结果与神经网络一样存在奇异值，导致相对误差较大，影响预测精度。
本文对粒子群优化（Particle Swarm Optimization，PSO）算法中的惯性权重w进行了优化处理，并将此经过优化处理的算法运用于对地震震级预测的前向神经网络模型之中。
1 震级预测前向神经网络模型
目前地震预测研究主要有三种不同的思路：从地质结构上判断地震、从统计概率中推算地震、从震前“异象”中得出地震先兆［8］。研究已发生的大地震的地质构造特点虽有助于今后判定何处具备发生大地震的地质背景，但有些地震发生之前当地的地质构造往往不明朗；运用概率统计的方法是把地震问题归结为数学问题，因需要对大量地震资料做统计，研究的区域往往过大所以判定地震发生的地点有困难；通过前兆研究地震的最大困难是观测中常常遇到各种天然的和人为的干扰，而且所谓前兆与地震的对应往往是先验性的，而且目前根本没有找到一种普遍适用的可靠前兆。本文的方法是把以上三种不同研究思路结合起来，从大量资料中提取出具有代表性的多个预报因子并建立冗余度很强的前向神经网络模型。这种做法克服了单纯采用某一种思路研究的局限性，使得预测模型的建立更合理,数据资料搜集更完备,预测模型结果更准确。
通过分析大量现有地震资料，提取出地震发生之前的8个起决定意义的预报因子，建立起以这些预报因子为输入向量，实际震级输出为目标向量的非线性模型。这8个起决定作用的预报因子分别为：地震累计频度、累计释放能量、b值、异常地震群个数、地震条带个数、活动周期、相关区震级、地震断层个数。本文提出采用三层前向神经网络（Feed Forward Neural Network, FFNN）来搭建这个非线性模型。设定前向网络的输入变量有8个，分别是8个预报因子，输出变量有1个，为地震震级输出。根据输入输出变量个数选定前向网络的输入神经元个数为8个，输出神经元个数为1个，根据经验公式选定隐含层神经元个数为15个，网络的隐含层传递函数设置为tan-sigmoid函数，输出层传递函数设置为log-sigmoid函数［5］。该前向网络结构如图1所示。
图1 前向神经网络预测模型
2 改进的PSO算法设计
2.1 PSO算法
PSO算法基本原理：在N维搜索空间中的一个没有重量和体积的粒子，在搜索空间中以一定的速度飞行，该飞行速度由粒子个体的飞行经验和群体的飞行经验进行动态调整［9］。其算法如下：
用S表示种群的数量，用N表示粒子向量的维数，Xi（t）（Xi1（t）,Xi2（t）,…,XiN（t））为粒子i的当前位置，Vi（t）（Vi1（t）,Vi2（t）,…,ViN（t））为粒子i的当前飞行速度，Pi（t）（Pi1（t）,Pi2（t）,…,PiN（t））称为到t时刻止粒子i的个体最优位置。
其中，Pg（t）（Pg1（t）,Pg2（t）,…,PgN（t））称为到t时刻止粒子群的全局最优位置。对于最小化问题，目标函数值越小，对应的适应度越好。
设f（X）为最小化的目标函数，到t时刻止粒子i的个体最好位置为Pi（t），则t+1时刻止粒子所经历的个体最好位置Pi（t+1）由式（1）决定：
Pi（t+1）Pi（t）, f（Xi（t+1））≥f（Pi（t））
Xi（t+1）, f（Xi（t+1））
每个粒子的速度和位置更新方程如下：
Vij（t + 1）wVij（t） + c1R1（t）［Pij（t）-Xij（t）］+
c2R2（t）［Pgj（t）-Xij（t）］（2）
Xij（t+1）Xij（t）+Vij（t）（3）
其中：i表示粒子序号，j为粒子向量中元素的序号， i∈［1,S］， j∈〖1,N〗；Vij（t）∈［－Vmax,Vmax］，Xij（t）∈［－Xmax,Xmax］；c1,c2为学习因子；w为惯性权重。本文中取c1c22；R1（t）～U（0,1）,R2（t）～U（0,1）是两个服从均匀分布的相互独立的随机函数。
2.2 对PSO算法的改进
PSO算法中当惯性权重w较大时,算法具有全局搜索能力；当w较小时，算法具有局部搜索能力［6］。为了设计在全局搜索和局部搜索之间取得最佳平衡的惯性权重w，可以设法使粒子在朝全局最优解不断接近过程中w线性地衰减,从而使算法在初期具有较强的全局搜索能力，而在晚期又具有较强的局部发掘能力。基于此,本文提出对惯性权重w作如下修改：
wwmax－（wmax－wmin）×（4）
其中，wmax为惯性权重最大值，wmin为惯性权重最小值，tmax为算法最大迭代次数， t为算法当前迭代次数。
按照式（4）对惯性权重w的改进方法虽然提高了算法收敛速度，但在实验中发现若只是令w呈线性地衰减，仍然容易使PSO算法陷入局部最优［10］。最明显的缺陷是当某一粒子在迭代中连续多次被选为全局最优点时，粒子群就会迅速收敛于该点，从而使粒子群丧失全局搜索能力。为此，提出一种基于动态变异思想的修改惯性权重w的方法：当某个粒子连续多次被选为全局最优点时，采用式（5）动态修改惯性权重w。
ww×en, rand（n）
w, rand（n）0.5
w/en, rand（n）>0.5 （5）
式（5）中等式右边的w是根据式（4）计算后得到的值，n为全局最优点连续为同一粒子的次数，rand（n）是介于0～1的随机数。该方法的具体思想是把迭代中的粒子数按随机函数rand（n）在数值0.5邻域范围内的取值大小随机地分为三部分：当rand（n）0.5时,粒子惯性权重w 将按指数速度衰减,这部分粒子将以很小的移动速度向目前的全局最优点Gbest收敛，从而弥补因部分变异粒子跳出该区域而造成搜索点减少的问题。采用这种动态改变惯性权重w的方法既能使粒子扩大搜索范围从而减少陷入局部最优的情况发生，使粒子能及时跳出局部最优,继续全局搜索，又能使粒子在靠近全局最优解时更好地收敛。
把基于以上这种粒子动态变异思想的改进粒子群优化算法称为动态变异粒子群优化算法（Dynamic Mutational Particle Swarm Optimization, DMPSO）。其算法具体执行过程为：粒子在正常寻优情况下采用式（4）修改惯性权重w；当全局最优点连续被选为同一粒子时则对基于式（4）计算出的w值采用式（5）进行修改。
2.3 对DMPSO算法的测试
利用典型函数Schaffer 函数和Rosenbrock 函数测试DMPSO算法。取种群个数50，最大迭代次数5000，每个函数优化30次，学习因子c1c22，两种典型函数都取2维测试。测试结果见表1、表2。测试结果表明，相比PSO算法，DMPSO算法在收敛速度方面有很大的进步，平均适应度方面也有了很大的改善，从对测试函数的测试结果来看,DMPSO算法取得了很好的效果。
表1 Schaffer函数的测试结果
表2 Rosenblock函数的测试结果
3 DMPSO算法对神经网络的优化
DMPSO算法对前向网络进行优化就是以整个前向网络的所有连接权值与阈值数目作为每个粒子位置向量的维数，每个粒子向量的元素对应前向网络的权值和阈值，从而形成前向网络的权值、阈值与粒子向量的函数映射。把整个权值、阈值空间作为粒子群的搜索空间，粒子的适应度函数为该前向网络的均方误差。
DMPSO算法流程如下：
1）初始化粒子种群规模N1和粒子的位置和速度向量。每个粒子向量维数为以下4个量之和：输入层与隐含层间的连接权值个数、隐含层与输出层间的连接权值个数、隐含层的阈值数、输出层的阈值数；
2）初始化每个粒子的个体极值Pi（0）（i1,2,…,N1）和种群最优值Pg（0）；
3）根据式（6）、（7）计算每个粒子的适应度：
Eik（t）∑N2 k1 （dik（t）－yik（t））2 （6）
MSEi（t）∑N2k1Eik（t）（7）
其中：N2为样本集个数，dik（t）为样本集中第k个样本的期望输出值，yik（t）为前向神经网络对第k个样本的实际输出值。
先输入一个粒子，对每一个样本分别计算前向神经网络的实际输出值，按照式（6）计算出所有样本的适应度。然后继续输入其他粒子，逐步计算出所有粒子的适应度。比较每个粒子的适应度，以最小均方差作为评价标准来更新粒子的个体极值Pi（t）和全局最优值Pg（t）；
4）对种群进行适应度评价，判断算法是否已经达到最大迭代次数或规定的最小误差标准，如果条件满足则转步骤⑦，否则转步骤⑤；
5）根据式（4）和（5）更新惯性权重w，根据式（2）、 （3）来更新粒子的速度和位置；
6）迭代次数加1，转步骤③；
7）算法结束，生成最优解。当前种群全局最优解Gbest即为网络连接权值和阈值的最优解。
4 震级预测模型的仿真研究
4.1 数据处理
本仿真实验用到的训练样本和测试样本取自我国云南地区1982―2003年间6.0级以上地震的记录资料［7］，见表3。本文选取序号为1～10的地震数据构建前向网络的训练样本，选取序号为11～17的地震数据作为网络震级预测有效性的测试样本。由于前向网络的激活函数输出范围是［0,1］，所以利用归一化处理使样本数据归一到0～1，可以更好地适应网络的输出，同时减小权值的调整幅度。样本数据按下式统一进行归一化处理：
y（x－MinValue）/（MaxValue－MinValue）
其中x，y分别为转换前、后的值，MaxValue、 MinValue分别为样本数据的最大值和最小值。表4为归一化处理后的训练样本数据，表5为归一化处理后的另外7组检验前向网络震级预测是否有效的测试数据。
表3 滇西地区1982―2003年间6.0级以上地震资料
4.2 仿真结果
图2中三条曲线分别是BP算法、PSO算法以及DMPSO算法对前向神经网络进行训练的误差变化趋势图。在图3中，纵坐标采用了对数刻度，三种算法训练的网络分别称为BP、PSO-FFNN和DMPSO-FFNN。训练结束以后，为了检验网络学习性能和比较三种算法的泛化能力，选用表5给出的另外7组经过归一化处理后的震例实测数据对训练后的网络进行测试。表6是7组测试样本分别对BP网络、PSO-FFNN网络以及DMPSO-FFNN网络进行测试的测试结果。
表4 10组网络训练样本数据（已归一化处理）
表5 7组网络测试样本数据（已归一化处理）
表6 三种算法训练网络的测试误差
图2中给出了分别采用三种训练算法进行训练后前向神经网络的输出误差曲线。
图2 三种算法的训练误差曲线
从图2中可以看出，梯度下降法收敛速度比较慢，前向网络经过大约185次训练后目标误差才达到精度要求。PSO算法相对梯度下降法有比较明显的优势，收敛速度更快，经过大约151次迭代即到达最小误差，通过与另外7组测试样本的误差作对比分析，PSO算法训练的前向网络比梯度下降法训练的网络预测精度更高，而且还具备较强的泛化能力。DMPSO算法的收敛速度比梯度下降法和PSO算法都要快速，网络只需经过大约103次训练目标误差就能达到要求，而且通过分析测试样本误差表6，DMPSO算法比BP算法和PSO算法具有更高的预测精度以及更强的泛化能力。
5 结语
地震给人类带来了深重的灾难，为了能尽量减小灾害损失，地震的提前预报至关重要。本文提出了一种基于前向神经网络与改进粒子群算法相结合的地震预测方法。前向神经网络作为地震震级预测的模型，而改进的粒子群优化算法用来训练前向网络。为了设计在全局搜索和局部搜索之间取得最佳平衡的惯性权重w，基于粒子动态变异的思想本文对粒子群优化算法进行了改进，提出了一种动态变异粒子群优化算法。与BP网络和采用基本粒子群算法训练的前向网络相比较，仿真曲线表明，该改进的粒子群优化算法所训练的DMPSO-FFNN网络对地震震级的预测有更高的精确度，更好的泛化能力，能更加有效地预测地震，使地震灾害损失降到最低。
参考文献:
［1］ 王炜,蒋春曦.BP神经网络在地震综合预报中的应用［J］.地震,1999,19（2）:118-126.
［2］ 秦长源,张淑亮.AR模型预测太原盆地地震活动的趋势［J］.地震研究,1997,20（4）:4-9.
［3］ 陈一超,曾三友,张好春等.基于遗传神经网络的地震预测研究［J］.计算机应用与软件,2008,25（4）:77-85.
［4］ 武安绪,李平安,鲁亚军,等.基于支持向量机的多维地震时间序列建模［J］.东北地震研究,2006（4）:4.
［5］ 杨居义,易永红.基于BP神经网络的地震预测研究［J］.微电子学与计算机,2008,25（10）:11-15.
［6］ 高海兵,高亮,周驰等.基于粒子群优化的神经网络训练算法研究［J］.电子学报,2004,32（9）:15-19.
［7］ 张立,平建军,苏有锦.云南地区综合地震前兆信息量及其短期映震能力分析［J］.地震研究,2006, 29（10）:26-29.
［8］ 王凤,黄力宇,张宇翔.基于Matlab的BP预测模型在地震前兆预测中的应用研究［J］.华北地震科学,2009,27（1）:48-52.
梯度下降法的基本原理范文6
关键词： 神经网络；信息融合；智能家电；故障测控
中图分类号：TP399文献标识码：A文章编号：1009-3044(2007)15-30824-02
Fault Detection and Control System on Intelligent Household Electrical Appliance based on Information Fusion and BP Algorithm
HUANG Xin，LIU Guo-liang
(Network and Embeded System Research Center, Chongqing Communication Institute, Chongqing 40035, China)
Abstract:According to the maintenance mode and requirement, a fundamental frame of fault detection and control system of intelligent household electrical appliance based on neural network and information fusion is presented. The system not only can be satisfied the needs of different intelligent-household-electrical appliance which needs different guarantee of QoS, but also can be put into practice effectively. The level and efficiency of fault diagnosis and maintenance can be enhanced and the cost can be economized by using the system. The products are more competent. It is useful to put the artificial intelligence into the maintenance of electrical household appliance as well.
Key words:neural network; information fusion; intelligent household electrical appliance; fault detection and control system
1 引言
近年来，虽然我国家电维修行业取得了巨大的发展，但仍然面临如下问题：①由于家用电器的社会拥有量非常巨大，导致大量故障家电得不到及时维修；②由于大量新技术被广泛运用到各种新型家电设备中，对维修人员的素质提出了更高的要求；③由于家电本身是一种相当复杂的机电一体化设备，所以家电故障诊断与维修是个费时费力的工作。
随着计算机网络技术和家用电器技术的不断扩展，消费电子、计算机、通讯一体化趋势日趋明显，基于家庭网络的智能化信息家电产品已经开始步入社会和家庭。这为家电的在线测控提供了可能。
另一方面，人工智能技术也在迅速的发展，特别是人工神经网络和信息融合技术在故障测控领域的应用，为设备故障测控的智能化提供了可能性，也使得测控技术进入了新的发展阶段。
因此有必要对现有的家电维修方式进行改进，基于神经网络和信息融合技术的智能家电故障测控系统正是为了解决这一问题。一方面可以提高我国家电企业故障诊断与维修的水平和效率，节省检测和维修成本并使产品具有更大的竞争力。另一方面，对将人工智能技术引入到家电维修行业进行有益的探索。
2 BP神经网络算法
在众多神经网络模型中，应用最广泛的是BP网络。BP网络所使用的训练算法是误差反向传播学习算法(Error Back-Propagation)，即BP算法[1]。该算法的学习过程由正向传播和反向传播组成。在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层。每一层神经元的状态只影响下一层神经元的状态。如果输出层得不到期望的输出，则转入反向传播，将误差信号沿原来的连接通道返回，通过修改各层神经元的权值，使得误差信号最小。
基于BP算法的神经网络模型获得了广泛的应用，在故障测控中，引入该算法，一方面可以适应测控环境的动态变化，另一方面可以提高效率。
3 信息融合
人类能够利用自己五官所具有的听觉、视觉、味觉、触觉等功能获得对事物的各个不同侧面(或角度)的具有不同度量特征的信息，人脑再根据己有的知识对这些信息综合分析，从而更全面地认识事物。
信息融合的基本原理就是模仿人脑的这个过程，得到一个对复杂对象的一致性解释或结论。信息融合比较确切的定义可概括为：充分利用多个传感器在空间或时间上的冗余或互补信息，依据某种准则来进行融合，以获得被测对象的一致性解释或描述，从而取长补短，精确地反映被测对象的特征，消除信息的不确定性，提高系统的可靠性[2,3]。
由于智能家电故障测控系统是一个多信息源、多特征参数的复杂系统，将信息融合技术引入到该系统中，可以大大提高故障诊断的准确性。
4 智能家电概念
智能家电指的是将微电脑和通信技术融入到传统的家用电器中，使之智能化并具有网络终端功能，可以随时随地地获取与处理信息的消费电子产品。其重要特征是可以传递数字信息[4,5,6]。正是由于这一重要特征，使得基于网络环境的故障测控成为可能。
5 智能故障测控系统
与传统的故障测控方式相比，智能故障测控方式具有以下优点。
(1)能够模拟人脑的逻辑思维过程，可以解决需要进行复杂推理的复杂测控问题。
(2)可以存贮和推广领域专家宝贵的经验和知识，更有效地发挥各种专门人才的作用，使一般的维修人员也可以掌握复杂设备的故障测控知识。
(3)智能故障测控系统在某些方面比人类专家更可靠，更灵活，可以在任何时候，任何条件下提供高质量的服务，不受外界的干扰。
(4)智能故障测控系统便于用户对知识库的修改和完善。先进的智能故障测控系统还具有学习的功能，能够在测控过程中自动完善知识库，提高系统的测控能力。
因此，智能故障测控系统是测控技术的重要发展方向。
6 技术方案
6.1 系统总体目标
考虑到当前的经济技术条件，基于神经网络和信息融合技术的智能家电故障测控系统的总体目标为：①作为一种有效的工具，能帮助维修人员迅速提高维修水平和工作效率；②可实现家用电器的自适应控制；③具有自学习和自判别能力；④提供辅助决策建议。例如，监测电冰箱的各项工作指标，通过压缩机上的震动传感器随时掌握电冰箱的工作情况，在得到即将出现故障信号时就可以在线对其进行智能诊断，并自动对其进行处理。
6.2 系统总体框架
基于神经网络和信息融合技术的智能家电故障测控系统的总体框架如图1所示。该系统主要由测控中心、BP神经网络模块库、信息融合模块库和现场网络四部分构成。
图1 系统的总体框架
6.2.1 测控中心
根据BP神经网络模块和信息融合模块，对现场设备采集到的数据进行处理，视处理结果而作出相应的动作。例如在线控制、电话通知用户或向智能家电生产厂商汇报等。
6.2.2 BP神经网络模块库
根据不同的智能家电，基于改进的BP神经网络算法训练得到的故障测控模块集，负责进行相应智能家电的故障测控。例如，当空调出现故障后，就调用空调测控模块（基于改进的BP算法）进行测控；当电视机出现故障后，就调用电视机测控模块（基于改进的BP算法）进行测控。
6.2.3 信息融合模块库
根据不同的智能家电，基于不同的信息融合规则而建立的信息融合模块集，负责进行相应智能家电的故障融合。例如，当空调出现故障后，就调用空调信息融合模块；当电视机出现故障后，就调用电视机信息融合模块。
6.2.4 现场网络
主要通过家庭网络将各种智能家电连接起来，一方面完成现场数据的采集、计量，另一方面负责将采集结果上传到测控中心。
6.3 系统的实现
系统的实现主要包括两个方面，一方面是对BP算法进行改进，另一方面是满足不同的智能家电需要不同的QoS(服务质量)保障要求。
6.3.1 对BP算法进行改进
为了满足家用电器故障测控系统的实时性要求，所以有必要对传统的BP算法进行改进（传统的BP算法收敛速度慢）。
基本的BP算法根据梯度法、即最速下降法来解决使误差函数(E(W))达到最小这一问题，权向量按照误差函数的负梯度方向来修正，直到函数E(W)达到最小值。因此，权向量的迭代公式为：
W(k+1)=W(k)+ηG(k)
其中η为学习率，表示学习的步长（在变步长算法中η可以调整）；G(k)为函数E(W)的负梯度，即：
G(k)=-E(W)/W
但是，常规的BP算法收敛速度慢是一个比较突出的问题，为了加快BP算法的收敛速度，引入动量因子α，从而将权向量迭代修正规则改进为：
W(k+1)=W(k)+ηG(k)+αΔW(k)
式中：
ΔW(k)=W(k)-W(k-1)。
ΔW(k)记忆了上一时刻权向量的修正方向。动量因子α的取值范围为0
6.3.1 满足不同智能家电需要不同的QoS(服务质量)保障要求
考虑到家庭网络中智能家电设备的多样性，不同的设备就需要不同的QoS(服务质量)保证；例如：电视机的实时性要求比电话机高，电话机的实时性要求比电冰箱高。另一方面，不同的家电设备其故障参数也不尽相同。为了保证智能家电的QoS要求，采取了以下措施。
网络模型的确定以家庭网络中各种家用电器的故障现象X=(x1,x2,x3,…,xn)作为输入，故障原因Y=(y1,y2,y3,…,ym)作为输出，以不同的故障原因导致的故障现象为训练样本进行学习，从而建立故障现象与故障原因之间的映射关系。采用改进的BP算法进行训练，直到得到期望的输出为止。进而将该训练后得到的BP网络模型保存到BP神经网络模块库中。如此反复训练，获得所有智能家电的BP神经网络训练模块，均保存到BP神经网络模块库中。
信息融合模块库的建立以智能家电故障权值(故障出现的统计概率)乘以由传感器实时检测到的故障概率作为判断概率，判断概率越大，说明出现故障的可能性就越大；由于有实时概率的校正，所以比单独使用统计概率具有更大的准确性。对每种智能家电都进行这样的处理，最后得到多种智能家电的信息融合模块集。
智能家电的识别由于家庭网络中有多种智能家电，对不同的智能家电就需要进行区分。我们给每一个智能家电一个标号，例如：1表示电视机，2表示空调等。因此，只要我们在发送信息时，在标识位填入相应的标号即可识别不同的智能家电。
优先级的确定：一个故障现象可能是由多种故障原因所引起，但每一种故障原因发生的概率是不一样的，为了加快确定引起故障现象的原因，我们把不同故障原因定义不同的优先级，优先级的数值越大，表明发生故障的概率越大，并且每一个优先级对应一个给定的权值。
例如：以空调故障为例，当“房间温度均偏高”故障现象发生时，可定义：
优先级0：表冷器结霜，造成堵塞 ；（出现的概率最小）
优先级2：通过空气处理设备的风量过大，热交换不良；
优先级3：喷水堵塞；
优先级4：冷冻机产冷量不足。（出现的概率最大）
6.4 工作过程
现场网络首先对智能家电参数进行采集、预处理，然后上传到测控中心，测控中心首先判断是哪一个智能家电发生故障，再根据BP神经网络和信息融合模块库调用相应的经过训练的模块，并且根据判断概率(故障权值乘以故障出现的统计概率)进行相应的处理。根据处理结果做出相应的动作反应。例如，若即将出现故障或故障较轻，就可以自动地、在用户不知情的情况下对智能家电进行在线维护；若故障严重，在线修复成为不可能，就可以电话通知用户或者通过Internet通知生产厂家。
6.5 技术带来的好处
(1)节省维修费用。采用该系统后，智能家电维修大多数情况下是在线进行的，维修人员不必亲自上门服务。进而降低成本，节省维修费用。
(2)有利于改善产品质量。在测控中心，对各种智能家电以及各种故障一目了然，可以通过跟踪最常见故障，找出原因，进而改善产品质量。
(3)方便用户。传统情况下，一旦家电出现故障，用户要么将家电搬到维修中心，要么叫维修人员上门服务，这样对厂家对用户都不方便，并且用户随时都要关心自己家中的家用电器使用情况，无形之中增加了心理负担。现在用户只管放心地使用家电而不必关心家电的使用情况，因此对于用户来说增加不多的费用却带来了高档次的服务和方便的使用。
7 结束语
该系统设计方案将神经网络和信息融合技术应用于家庭网络中的智能家电故障测控系统，切实可行。依托该系统，可全面提高故障诊断与维修的水平和效率；不但方便用户使用，而且降低企业维修成本并快速改善产品质量，进而提高其在国内国际中的竞争力。
参考文献：
[1] 王永庆. 人工智能原理与方法[M]. 西安：西安交通大学出版，2001.
[2] 权太范. 信息融合神经网络[M]. 北京：国防工业出版社，2002.
[3] 李山林, 阎福旺, 袁延艺. 信息融合技术[M]. 北京：海洋出版社，2005.
[4] 吴莘. 利用通信手段进行智能家电远程控制的探讨[J]. 贵州科学, 2002,(4):107-109.
[5] 黄孝建. 社区宽带业务与网络[M]. 北京:北京邮电大学出版社,2002.
[6] 戴琼海. 宽带信息网络[M]. 北京：清华大学出版社，2002.
[7] 王波，卿晓霞. 智能建筑导论[M]. 北京：高等教育出版社，2003.
[8] 刘国良，乐琦. 基于Internet的智能家电故障测控系统[J]. 微处理机,2005,(6).