前言：中文期刊网精心挑选了神经网络常用算法范文供你参考和学习，希望我们的参考范文能激发你的文章创作灵感，欢迎阅读。
神经网络常用算法范文1
1基于贝叶斯算法的BP神经网络
1.1贝叶斯算法基于贝叶斯算法的BP神经网络是基于贝叶斯定理而发展出来的用于解决统计问题的方法，即任意一个待求量都可以看作是一个随机变量，因此可以通过概率分布来对待求量进行描述，这个概率是在抽样前就有的关于待求量的先验概率分布。贝叶斯理论正是在没有样本信息时，只根据先验概率分布来求解待求量。而在有样本后，则可根据总体、样本和先验信息的联合分布来对未知量进行判断。后验分布π（θ|x）是反映人们在抽样后对随机变量θ的认识，其与先验分布即样本x的差异是由于样本出现后人们对θ的调整，即后验分布π（θ|x）为抽样信息对先验分布π（θ）调整的结果[6]。
1.2贝叶斯算法BP神经网络基于贝叶斯算法的BP神经网络是一种以神经网络基本原理为构架，通过引入贝叶斯推理有效地控制网络模型的复杂度，进而更好地解决非线性问题及其不确定性[7]。在BP神经网络中，训练样本集为D（xm，Om），xm为输入信号，Om为输出节点，在一定的网络结构A与网络参数W下，可以得到网络的输出由网络的输入D唯一的确定。网络训练的目标函数为误差函数ED（D|W，A），则有。采用贝叶斯算法BP神经网络步骤如下：（1）确定网络结构A，初始化超参数α，β，对网络参数W进行赋值。（2）以最终目标函数为M（W）最小为原则，对BP神经网络进行训练，寻找最优可能网络参数W。（3）寻找最优可能参数α，β。（4）采用不同初始网络参数寻找最优网络参数。（5）对不同网络结构A，寻找最优网络参数。
2贝叶斯算法的BP神经网络量化结果分析
2.1训练样本与测试样本在对管道进行磁化的过程中，最常用的方法是沿管道轴向进行磁化，提取缺陷处沿轴向变化的漏磁场与沿周向变化的漏磁场，缺陷的长度信息主要由沿轴向变化漏磁场反应，缺陷的宽度信息主要由沿周向变化的漏磁场反应，而缺陷的深度信息则是由这两个量共同反应[9]。本文采用实验的方法获取网络所需样本，这里以对陡壁缺陷的分析为例，研究贝叶斯算法的BP神经网络对陡壁缺陷量化的有效性。分别制作缺陷长度为3，3.5，4，4.5，5，5.5倍管道壁厚，宽度为0.5，1，1.5，2倍管道壁厚，深度为0.1，0.15，0.2，0.25倍管道壁厚，共得到96组测量结果，取其中80个缺陷特征作为网络的训练样本，剩余的16个缺陷特征作为测试样本。
2.2长度的量化采用统计分析的方法选取与缺陷长度关系密切的特征量作为神经网络的输入信号，将缺陷长度作为网络的输出信号来对网络进行训练。所选取主要特征有漏磁场轴向分量的静态阈值截取长度、一阶微分信号极小值的位置与周向变化漏磁场动态阈值截取长度。分别对基本的BP神经网络与贝叶斯算法的BP神经网络进行训练，当均方误差小于10-3时停止训练，得到两种网络的训练与学习过程如图1所示。比较两种算法训练过程可以看出贝叶斯算法的BP神经网络总共进行了331次训练，而基本的BP神经网络总共进行了1789次训练，可见贝叶斯算法的BP神经网络的收敛速率更快。用16组测试数据对两种网络长度的量化误差进行比较，得到量化后缺陷最大相对误差与最小相对误差如表1所示，对应贝叶斯算法BP神经网络量化的缺陷如表2所示。从表2中可以看出，采用贝叶斯算法的BP神经网络量化得到的缺陷长度与设计值的误差明显小于基本的BP神经网络，最大相对误差仅为0.05%。
2.3宽度的量化与缺陷长度的量化相似，采用统计分析的方法选取与缺陷宽度关系密切的特征量作为神经网络的输入信号，将缺陷宽度作为网络的输出信号来对网络进行训练。所选取主要特征有轴向变化漏磁场峰谷值、周向变化漏磁场波形面积、波形能量、静态阈值截取长度。分别对基本的BP神经网络与贝叶斯算法的BP神经网络进行训练，当均方误差小于10-3时停止训练，得到两种网络的训练与学习过程如图2所示。比较两种算法训练过程可以看出贝叶斯算法的BP神经网络总共进行了269次训练，而基本的BP神经网络总共进行了2248次训练，可见引入贝叶斯算法后的BP神经网络的收敛速率大幅提升。与之前相同，用16组测试数据对两种网络宽度的量化误差进行比较，得到量化后缺陷误差如表3所示，贝叶斯算法BP神经网络量化达到误差的缺陷见表4。在对缺陷宽度进行量化的过程中，尽管量化得到的最大相对误差仍较大，采用贝叶斯算法的BP神经网络量化得到的缺陷宽度与设计值的误差明显小于基本的BP神经网络。
2.4深度的量化在对缺陷的深度进行量化时，采用统计分析的方法选取了缺陷的长度、宽度以及轴向变化漏磁场的两个峰谷值、波形面积、周向变化漏磁场峰值、峰谷值作为神经网络的输入信号，将缺陷深度作为网络的输出信号来对网络进行训练。对基本的BP神经网络与贝叶斯算法的BP神经网络进行训练，得到两种网络的训练与学习过程如图3所示。贝叶斯算法BP神经网络总共进行了4152次训练，基本的BP神经网络总共进行了8763次训练，尽管引入贝叶斯算法BP神经网络的训练过程仍旧较长，但比基本BP神经网络的收敛速率有所提升。用16组测试数据对两种网络深度的量化误差进行比较，得到量化后缺陷误差如表5所示，贝叶斯算法BP神经网络量化达到误差的缺陷见表6。从对缺陷深度量化结果可以看出，采用贝叶斯算法的BP神经网络对缺陷深度进行量化，得到的缺陷深度与设计值的误差小于基本的BP神经网络。
3结束语
神经网络常用算法范文2
关键词：声音识别；粒子群优化；BP神经网络；MFCC；差分MFCC
中图分类号：TP311.5文献标识码：A文章编号：16727800（2013）004012002
基金项目：浙江省科技厅公益性项目（2011C31045）
0引言
人工神经网络作为一种最近几十年才兴起的意在模仿人类大脑结构和功能的智能信息处理系统，由于它具有良好的自适应、联想记忆和并行处理等特点已经在很多领域有着广泛的应用。将神经网络应用于声音信号的处理，可以解决高维空间和非线性模式等方面的识别问题，适用于对多个信号、特征量维数多的复杂声音的识别。而BP神经网络作为一种常用的多层神经网络，具有很好的泛化能力，并且隐含层的个数越多，系统的预测误差就越小，但同时在运行系统时所需要花费的时间也较多。本文结合声音信号的特点对常用的BP神经网络进行分析，针对常用的多层BP神经网络所具有的学习记忆不稳定以及收敛速度慢等方面的缺点，选用三层的BP神经网络来对声音信号进行识别处理，同时选用粒子群算法对BP神经网络进行优化处理。
1异常声音识别系统总体设计
异常声音识别系统主要包括声音信号采集模块、声音信号MFCC和差分MFCC特征量提取模块和基于神经网络的特征量识别模块3部分。其中声音信号采集模块主要是通过高灵敏度监控拾音头来对声音信号进行采集；声音信号MFCC特征量提取模块主要是对采集到的声音信号先进行预处理，然后再对信号进行MFCC特征量的提取；基于神经网络的MFCC特征量识别模块主要是先用样本MFCC特征量对神经网络进行训练，保存训练好的权值和阈值，然后再通过现场采集的声音信号的MFCC特征量和差分MFCC特征量进行在线测试，最后给出识别结果。
2异常声音信号采集及MFCC特征量和差分MFCC特征量提取
本实验所使用的数据来自于各种影视剧剪辑所得和人工现场实时采集。将数据库的异常声音分成两组，其中一组是训练样本，另外一组是测试样本。在用训练样本训练好神经网络后，在现场播放测试样本。
MFCC（Mel频率倒谱系数）就是根据人们耳朵听到的声音音调的高低和它的频率没有成线性正比关系的特点，用Mel频率尺度来模拟人耳的听觉特点。提取MFCC特征量的具体步骤如下：
（1）先对采集到的声音信号进行预处理，主要是分帧加窗处理。由于声音信号是一种非平稳信号，一般要通过加窗分帧进行处理。声音信号的分帧主要是加权处理许多可以移动的具有固定长度的窗口，此处采用的窗口是汉明窗，窗函数表示如下：
3改进的神经网络
3.1BP神经网络
BP神经网络包括输入层、隐含层和输出层3部分。输入层通常表示各种声音信号的特征向量，输出层表示各种声音的类型。而隐含层就是学习输入层传递的信息，保存神经网络的连接权值和每个节点的阈值。隐含层一般分为单隐含层和多隐含层，隐含层数越多，网络拓扑结构越复杂；虽然这时系统的输出值更加接近真实值，但运行系统所要花费的时间也会大大增加。一般情况下单隐含层都能满足系统要求，因此本系统采用的是单隐含层。隐含层的节点数m通常按如下关系选择：
m=[KF（]k*l[KF）]（5）
其中k是输入层的节点数，l是输出层的节点数。
3.2粒子群算法
从表1中可以看出，使用MFCC_D特征量来识别8种异常声音比单独使用MFCC的识别率要高，同样PSO优化后的BP神经网络比没有优化的神经网络要高。
5结语
本文提出了基于PSO优化的BP神经网络的异常声音识别系统的设计，同时采用12阶MFCC和12阶差分MFCC来识别声音。经过实验验证该系统的识别率明显高于文中讨论的其它方法。由于本文讨论的声音都是在理想环境下获得的，在今后的研究中，要尝试在不同噪音背景下对所获得的声音进行处理。
参考文献：
＼[1＼]阎平凡，张长水.人工神经网络与模拟进化计算＼[M＼].北京：清华大学出版社，2001.
＼[2＼]武宁，肖星星，冯瑞.家用机器人的说话识别系统＼[J＼].计算机工程，2012（2）.
＼[3＼]栾少文，龚卫国.公共场所典型异常声音的特征提取＼[J＼].计算机工程，2011（7）.
神经网络常用算法范文3
摘要:
针对水文时间序列的非平稳性特征，以长江三峡宜昌站1904～2003年年平均流量为例，分别建立了小波分析(WA)与BP神经网络和径向基函数神经网络(RBF)耦合的预测模型，探究了两种组合模型的预测效果，并与传统的单一人工神经网络模型对比;并采用5种常见的预测性能评价指标分析预测效果。结果表明:组合模型预测成果的精度较单一模型显著提高;组合和单一模型中RBF网络模型均优于BP网络模型;小波径向基函数神经网络组合模型具有较优的预测精度和泛化能力，是提高预测精度的有效方法，在径流预测中具有可行性。
关键词:
ATrous小波分析;BP神经网络;径向基函数神经网络;预测模型;水文预报
中长期水文预报是根据已知水文与气象要素信息对未来一定时期内的水文状态作出定性和定量的预测。目前，通常预报的水文要素有流量、水位、冰情和旱情等［1］。水文时间序列预测对防汛、抗旱、水资源开发利用等具有重大的实用意义，然而水文系统是一个高度复杂的非线性系统，在由降雨经过蒸散发、下渗、截留、填洼形成径流的过程中，还受到流域地形地貌、气候变化、人类活动等因子的干预，因此，水文时间序列表现出极大的复杂性，给预测带来一定困难。传统的中长期水文预报大多采用回归分析法和时间序列分析方法［2］。常用的回归分析法主要有一元线性回归分析法、多元线性回归分析法、逐步回归分析法、最小二乘回归分析法、聚类分析法和主成分分析法等［2］，其因建模简单、易于实现的优点成为了径流中长期预报应用最早也是最广的方法［3］，但回归分析法中存在因子个数合理性的选择、预报成果取均值而忽略了极大与极小值情况等问题;时间序列分析法常用自回归序列(AR)模型、滑动平均序列(MA)模型、自回归滑动平均序列(ARMA)模型、求和自回归滑动平均序列(ARIMA)混合模型、门限自回归序列(TAR)模型等［4］。
该方法能够很好地分析和处理具有季节性、趋势性的水文预报问题，但在建模过程中存在模型参数估计和合理定阶等问题［2］。随着计算机技术的发展，一些智能新方法被广泛应用于中长期水文预测中，主要包括模糊分析、人工神经网络、灰色系统分析、混沌理论、投影寻踪、小波分析等方法［5］，然而目前还没有一种水文预报模型能够对所有水文序列具有完全适应性。近年来，小波分析和人工神经网络组合模型成为中长期径流预测的研究热点［6－7］。利用小波变换可将径流序列的趋势项、周期项和随机项成分较好地分离，为克服水文时间序列成因复杂、难以详尽表述其变化规律等困难提供了一种便利的分析技术［8］，再将不同频率下的小波变换成分输入神经网络进行预测，能够较好地提高预测精度。只有选择合适的小波神经网络组合模型的结构，才能得到精度更高的预报结果。本文提出将小波分析与不同类型的神经网络组合，分别建立小波分析与加动量的BP神经网络相结合、小波与RBF网络相结合的径流预报模型，对两种组合模型及传统单一的神经网络模型的模拟效果进行对比分析。
1模型结构及原理
1．1小波分析对水文时间序列进行小波分析时，使用连续小波变换或离散小波变换得到的小波变换系数冗余，因此常用快速的小波变换算法计算，不涉及具体的小波函数，主要有Mallat算法和ATrous算法。相比原始时间序列，Mallat算法重构后的时间序列因其二进抽取、插值处理，容易出现相位失真［9－11］，并会发生一定的偏移，而ATrous算法为无抽取离散小波变换，具备平移时不变性的特性，它只是对滤波器组进行内插补零，其每级分解系数和原始时间序列的长度保持一致，因此本文小波分析采用ATrous算法。
1．2BP神经网络BP神经网络的拓扑结构图如图1所示［12］。BP神经网络预测模型，运用了神经网络可以任意逼近非线性函数的特性，输入与输出间的复杂关系表示具有非线式的特点，其适用性明显高于一般显式线性预测模型［12］。水文时间序列是受多因子复杂影响的一种非稳定性的时间序列，并非可用单一的线性或非线性函数计算所得。BP神经网络相当于一个“黑箱”模式，不需要知道输入与输出数据间的函数关系，仅通过对输入输出数据进行训练学习，获得误差达到最优的一种映射关系，就可将训练好的模型用于预测，它具有自学习、计算简单、容错性较好、泛化能力较强的特点。
1．3径向基函数神经网络径向基函数神经网络(RBF，RadialBasisFunc-tion)是一种能够以任意精度逼近任意非线性函数的神经网络结构，具有单隐层的3层向前网络［12］，其中隐层函数为径向基函数。RBF神经网络仅对输入空间的某一局部区域存在少数的神经元，用来决定网络的输出，且RBF网络中的重要参数中心向量和宽度向量是根据样本集中的训练模式来试算确定或者初始化的，因此，RBF神经网络具有避免陷入局部极小值的解域中的优点。RBF神经网络的拓扑结构图如图2所示［12］。
2预测性能评价指标
为了对预测模型的适应性进行分析，需用预测成果的精度来度量。本文采用常用的3种误差评定方法和预测值的相对误差小于10%和20%的合格率，来评价模型的预测精度［13－14］。NMSE和MRE反映出实测值和预测值之间的偏差，NMSE和MAE越小，表明预测值越接近于实测值，即预测的效果越好。DVS以百分比形式表示正确预测目标值变化方向，其值越大，表明预测效果越好。以预测值相对误差满足小于10%和小于20%的合格率来反映预测值与实测值之间的逼近程度，其值越大，预测效果越好。
3模型仿真
长江宜昌水文站是长江上游出口的唯一控制站，且三峡工程位于其上游约44km处，对宜昌站年径流量的预测具有重要的实践意义。本文利用宜昌站1904～2003年为期100a的实测年均流量资料，采用MATLAB编程，利用小波神经网络组合模型对其预测，选取两种不同神经网络模型对比分析。
3．1小波变换本文选取宜昌站100a年均径流量，利用ATrous算法进行分解尺度为3的小波变换，求取径流序列的细节系数W1、W2、W3和近似系数C3，用作神经网络输入。小波分析成果见图3。
3．2基于小波变换的BP模型构建一个3层双隐层的BP神经网络模型，可以以任意精度逼近给定的非线性函数，而双隐层可以提高模型的逼近精度。小波BP网络模型即将BP神经网络模型中对径流量直接输入预测替换为对小波变换系数的预测。小波分析将具有复杂非稳定性特征的径流量分解成不同频率的高频细节序列和低频概貌序列，因此可以更好地利用神经网络模拟成因复杂、具有时－频特征的径流量序列的形态变化特征和趋势。构建一个4－10－8－1结构的3层双隐层BP模型，隐含层函数选用transig，输出层函数选用purelin，采用有动量加自适应lr梯度下降法选择参数，设置最大训练次数为5000、训练要求精度0．00001、学习速率0．01。利用Matlab软件进行网络训练，对预测结果进行反归一化处理，得到最终预测结果，成果见表1。
3．3基于小波变换的RBF模型与小波BP网络模型类似，将归一化后的前90a的年均径流量小波变换系数作为RBF网络模型训练样本的输入，Q(t+T)作为训练样本输出，预见期为2a，后10a的资料作为测试。不同于BP神经网络的初始权值选取对于网络训练的精度影响很大这一特点，RBF神经网络只需用试错法调整参数SPREAD。在Matlab平台上，调用RBF模型，调用方式为net=newrb(P，T，GOAL，SPREAD，MN，DF)，SPREAD为径向基层的扩展速度常数，其取值会影响神经网络的运算速度和精度［10］。通过试算得SPREAD的最优解为67．3。将训练好的模型用来预测后10a的年均径流量，成果见表1。
3．4单一人工神经网络模型直接将实测的年均径流量作为模型的输入，预见期为2a。因径流的成因复杂及形成过程具有较多干扰因素，单一的人工神经网络模型不一定能较好地模拟其内部的变化特征，本文分别采用单一的BP神经网络和RBF网络对后10a的年均径流量进行预测，预测成果见表1。
4模型适用性分析
根据三峡宜昌站100a径流量资料，建立不同组合的小波神经网络模型，利用Matlab软件平台对模型进行网络学习，分别调试不同模型得到最优预测径流量，成果见表1。为了判断4种预测模型的预测结果是否保持实测序列的主要统计特性和变化特征，采用以下5种常见的预测性能评价指标验证模型的适用性，成果详见表2。(1)由宜昌站1994～2003年年均流量的预测值与实测值比较计算得NMSE、MRE、DVS、合格率e＜10%和合格率e＜20%的5种误差评定参数。从预测整体NMSE和MRE上看，小波人工神经网络组合模型预测精度明显高于传统单一的人工神经网络模型，而组合模型中，小波RBF网络模型预测效果更优，单一神经网络模型中RBF网络预测精度也高于BP网络。这表明，组合模型用于长江径流预测是合理可行的，具有较好的预测精度和泛化能力，是提高模型预测精度的有效方法。但BP神经网络存在收敛速度较慢、易陷入局部极值、易发生“过拟合”或“欠拟合”情形等缺陷［15］，而RBF神经网络以对点径向对称且衰减的非负非线性函数为传递函数［16］，能够避免BP网络产生的缺点，具有更好的逼近能力。(2)小波RBF神经网络DVS表明，预测目标值方向的正确率高达88．89%，单一的BP网络的DVS指标却只有33．33%。这表明，小波神经网络组合模型较单一神经网络模型能更准确地预测目标值变化方向，RBF神经网络在模式识别能力方面也优于BP神经网络。(3)多数小波神经网络组合模型成果的预测相对误差小于10%，而单一神经网络合格率则只接近半数，其中无论组合模型还是单一模型，RBF模型预测值的合格率都要高于BP神经网络模型。由表2可知，4种模型预测精度基本达到(合格率e＜20%)，即人工神经网络由于其较强的非线性映射能力、鲁棒性、容错性和自适应、自组织、自学习等特性［17］，对于水文径流量预测具有可行性，而进行小波分析处理后再建立神经网络模型能提高预测的精度，选择合适的神经网络模型则能优化预测成果。
5结语
笔者提出小波分析与不同人工神经网络耦合的预测模型。组合模型可将高度复杂的非稳定年径流序列分频率提取的成分输入人工神经网络进行预测，巧妙地避开了单一预测模型预测精度不高的问题;而不同的小波神经网络组合模型则进一步探讨了小波分析和不同人工神经网络耦合的密切程度，得到预测精度较高的小波神经网络模型的组合结构。本文以宜昌水文站100a实测年均径流量序列为例，进行实例对比验证。对比分析模型模拟成果表明，小波神经网络组合模型对径流预测的适应性强于人工神经网络模型，而小波RBF网络模型比小波BP网络模型具有更优适应性，小波RBF网络模型能更好地揭示水文随机序列的变化特性且提高了预测精度和速率，为水文工作提供了有效可行的预报方法，对水文资料的预测和插补延长具有实际意义。
参考文献:
［1］包为民．水文预报［M］．北京:中国水利水电出版社，2009．
［2］宋一凡，郭中小，卢亚静．基于遗传算法优化的小波神经网络在中长期水文预报中的应用———以三门峡为例［J］．中国水利水电科学研究院学报，2014，12(4):337－343．
［3］宋荷花，胡国华，李正最．湘江流域中长期水文预报［D］．长沙:长沙理工大学，2008．
［4］钟登华，王仁超，皮钧．水文预报时间序列神经网络模型［J］．水利学报，1995，(2):69－74．
［5］王丽学，杨军，孙靓，等．基于灰色系统与RBF神经网络的中长期水文预报［J］．人民长江，2015，46(17):15－17．
［6］BatesJM，GrangerCWJ．Thecombinationofforecasts［J］．Opera-tionalResearchQuarterly，1969，20(1):451－468．
［7］王文圣，丁晶，李跃清．水文小波分析［M］．北京:化学工业出版社，2005．
［8］LiZuoyong．Progressofstudyonhydrologywaterresourceandwaterenvironment［J］．JournalofSichuanUniversity:EngineeringScienceEdition，2002，34(2):1－4．
［9］孙延奎．小波分析及其应用［M］．北京:机械工业出版社，2005．
［10］李贤彬，丁晶，李后强．基于子波变换序列的人工神经网络组合预测［J］．水利学报，1999，(2):1－4．
［11］MATLAB中文论坛．MATLAB神经网络30个案例分析［M］．北京:北京航空航天大学出版社，2010．
［12］杨淑莹．模式识别与智能计算:Matlab技术实现［M］．北京:电子工业出版社，2008．
［13］汪丽娜，陈晓宏，李艳．不同径流尺度的小波神经网络预测［J］．华南师范大学学报:自然科学版，2013，45(2):104－106．
［14］SL250－2000水文情报预报规范［S］．
［15］崔东文，金波．改进BP神经网络模型在小康水利综合评价中的应用［J］．河海大学学报:自然科学版，2014，42(4):306－313．
［16］黄剑竹．改进RBF－Adadoost模型及其在年径流预测中的应用［J］．人江，2015，45(1):32－36．
神经网络常用算法范文4
关键词:负荷预测;神经网络;唐山电网;电力系统;电力负荷
中图分类号:TM714文献标识码:A文章编号:1009-2374 (2010)13-0124-02
一、预测意义
唐山是具有百年历史的沿海重工业城市,是河北省经济中心,同时也是中国经济发展前景最好的城市之一。特别是最近几年,随着国家产业结构与河北战略布局的调整,重大项目纷纷在唐山兴建,预计在未来几年唐山地区经济仍将快速增长。根据唐山电网用电情况统计数据,唐山电网2001年用电量158.266亿千瓦时,2008年用电量538.509亿千瓦时,平均年增长17.9%。综合考虑唐山地区经济发展与用电量增长因素,预计未来几年唐山电网电力负荷将保持较高的增长。中长期电力负荷预测是电力系统规划的基础,它在电力系统规划、新发电厂和发配电系统的建立过程中起到重要的指导作用。为了满足唐山电网负荷不断增长的需要,增加供电可靠性,对该地区进行科学合理的电力系统规划势在必行。因此,对唐山电网中长期的电力负荷进行预测具有重要意义。
二、预测方法选择
目前,电力负荷预测的研究已经十分成熟,许多方法和模型被引用到电力负荷预测中,其中比较常用的预测方法有以下几种:回归分析法、时间序列法、指数平滑法、神经网络法、灰色模型法、优选组合预测法、小波分析预测技术等。以上负荷预测的方法都有自身的优缺点以及适用范围。电力系统专家经过长期负荷预测实践,建议中长期电力负荷预测使用时间序列法与灰色模型法。由于未来几年唐山市将投产几个重大项目,唐山电网负荷将呈现不规则的跳跃式增长。因此,按照常规的预测方法对唐山电网的用电负荷进行预测将无法获得较满意的数据拟合度。神经网络算法能够实现较复杂的非线性映射,对大量的非结构性、非准确性规律具有自适应能力,应用于电力系统负荷预测,能够得到比传统预测方法更好的效果。因此,本文尝试使用神经网络算法预测唐山电网的用电负荷。
三、预测模型的建立
(一)确定神经网络输入量
输入层是神经网络结构的第一层次,该层次输入量的确定关系到神经网络训练的效率。特征量取得太少,则不能起到区分判断作用;取得太多则影响网络的训练速度。因此,合理地选择输入量,能提高网络的训练速度和预测精度。为了简化模型的结构,提高预测的精度,本文综合考虑中长期电力负荷预测的相关因素以及唐山电网的用电特点,确定以下五种影响电力负荷的经济因素作为神经网络的输入量即:“唐山地区的生产总值(GDP);第一产业用电量占总用电量的比重;第二产业用电量占总用电量的比重;第三产业用电量占总用电量的比重;生活用电量占总用电量的比重。”
(二)构造神经网络结构
本文应用的神经网络是由输入层、输出层和隐含层三层网络结构构成。理论研究已证明对于任何在闭区间上连续的函数,只要隐含层神经元数目足够多,就可以用只含一个隐含层的网络结构以任意精度来逼近,所以本文隐含层只取一层。第一层为输入层,神经网络的输入神经元为五种影响唐山电网用电负荷的经济因素,因此该层的神经元个数为5个;第二层是隐含层,隐含层神经元数根据下式求得:
或或h=lg2n (1)
其中k为样本数,n为输入层神经元数,m为输出神经元数,h为隐含层神经元数,a为1～10之间的常数。第三层是输出层,因为输出结果只有一个指标即唐山电网某年的用电量,所以输出神经元的个数是1。从而确定本文的神经网络结构为5×3×1。
(三)神经网络的训练算法
由于标准BP算法中,人为凭经验选取学习率和动量因子,往往会对网络学习速度产生较大影响,甚至会因为学习率选取不当而导致学习中发生振荡而不能收敛,这些缺点将影响整个预测的精度。本文采用改进的批处理式Vogl快速算法,进行网络训练。在网络训练过程中根据训练的实际情况自适应改变学习率η及动量因子α的大小:当前的误差梯度修正正确,则增大学习率,加入动量项;否则减少学习率,甩掉动量项。这样初始η值就可以相对随意的选取,避免上述缺点。自适应改变η及α的修正公式如下:
(2)
上式中ΔE=E(J)-E(J-1),表示神经网络前后相邻两次学习过程中误差函数的变化量。φ略大于1,β略小于1。E (J)为神经网络第J次训练过程中的误差函数:
(3)
式中:pt',和Ot分别表示神经网络对应于第t个输入向量的期望输出和实际输出。
(四)预测实施
唐山电网2001～2008年用电量、生产总值以及各产业用电占比情况的历史数据见表1:
表12001～2008年唐山电网用电情况统计
年份 生产总值
/万元 用电量
/亿千瓦时 一产用电
/% 二产用电
/% 三产用电
/% 生活用电
/%
2001年 9150473 158.266 3.8 83.4 5.5 7.2
2002年 9993543 180.420 3.3 84.6 5.5 6.6
2003年 11022878 233.638 2.2 87.7 4.8 5.3
2004年 17616311 290.260 1.7 89.1 4.5 4.7
2005年 20276374 358.800 2.4 89.1 4.0 4.5
2006年 23621410 432.752 2.1 89.3 4.2 4.5
2007年 27794190 520.020 1.3 90.5 4.1 4.1
2008年 36132447 538.509 1.2 90.0 4.4 4.4
根据2001～2008年唐山电网用电量的历史数据,分别使用时间序列法、灰色预测模型与神经网络算法对唐山电网的用电量进行预测。使用2001～2006年的历史数据预测2007年、2008年的用电量,并将预测结果与真实数据做对比,以分析三种预测方法的误差。通过
Matlab软件计算,三种预测方法的预测结果及误差情况,见表2:
表2用电量预测值及误差表
序号 年份 用电量 灰色模型 时间序列法 神经网络
预测值 误差 预测值 误差 预测值 误差
1 2007年 520.020 501.1 3.64% 487.9 6.41% 531.7 2.25%
2 2008年 538.509 512.4 4.85% 503.9 6.75% 559.4 3.88%
通过上表我们可以看出以上三种预测方法的误差除了时间序列法的误差较高外,都在允许的范围内。灰色模型与神经网络算法都可以较准确的预测出唐山电网的用电量。相比而言,神经网络算法预测对于历史数据的拟合度更高,神经网络算法更适用于唐山电网中长期的电力负荷预测。因此,本文使用神经网络算法对唐山电网未来五年的用电负荷进行预测,通过Matlab软件计算,预测结果见表3:
表3唐山电网用电负荷预测
序号 年份 年用电量(亿千瓦时) 年最大负荷(MW)
1 2009 584.282 7637.677
2 2010 625.182 8172.314
3 2011 665.819 8703.514
4 2012 725.077 9478.127
5 2013 781.633 10217.42
四、结论
本文研究了神经网络算法在唐山电网中长期电力负荷预测中的应用。研究结果表明,应用神经网络算法比时间序列法、灰色模型有更高的预测精度,神经网络算法可以较准确的预测唐山电网中长期的电力负荷。
参考文献
[1]于之虹,郭志忠.数据挖掘与电力系统[J].电网技术,2001,25(8).
神经网络常用算法范文5
Abstract： In the view of the shortage of the Wavelet Neural Network Algorithm， adapt Adaptive Inertia Weight Particle Swarm Optimization Algorithm（AIW-PSO） as a study algorithm， build the AIW-PSO Wavelet Neural Network Model to predict the Shanghai stock Index.， and make a comparison between the results of improved algorithm prediction model with results of traditional Wavelet Neural Network Model. The results show that the AIW-PSO Wavelet Neural Network Prediction Model has better prediction results on the Shanghai Stock Index.
关键词： 自适应惯性权重粒子群优化算法；小波神经网络；上证指数预测
Key words： Adaptive Inertia Weight Particle Swarm Optimization；Wavelet Neural Network；Shanghai Stock Index Prediction
中图分类号：F832.5；F224 文献标识码：A 文章编号：1006-4311（2014）08-0006-03
0 引言
股票市场预测是一个非线性函数值估计和外推问题，随着股市预测问题的复杂性增高，仅仅依靠传统的预测方法或是单一的人工智能模型已经不足以达到人们所期望的要求。近年来，学者们试图将多种股市预测技术结合，使它们优劣互补，从而达到更加理想的股市预测效果。殷光伟、蔺玉佩[1]应用小波理论对混沌模型预测的结果予以重构，实现对原始收益率的预测，结果有了更高的精度。王刚[2]等利用小波将股指数据进行去噪处理，然后利用BP神经网络进行预测分析，试验结果精准度相对于BP神经网络方法更高、效果更好。刘海珗[3]等将AR模型、RBF和GRNN神经网络模型进行比较，结果表明若神经网络选择恰当的学习算法时，对上证指数预测结果会更优越。肖冬荣等[4]采用PSO算法训练神经网络对股市进行预测，实证结果表明改进算法易实现且预测精度高。文献[5、6]提出了将遗传算法与BP神经网络相结合对股市价格进行预测，实证仿真结果证实该改进模型的优越性。Yoshinori[7]等将小波系数作为特征量输入于多阶段模糊推理系统中，并价格涨落进行预测。Taeksoo[8]等利用遗传算法和神经网络将小波系数加权后作为特征量预测汇率，效果同样相对较好。而随着小波神经网络快速发展，这些年来其优越的性能使其得到了广泛的应用，但其学习算法的一些缺陷对其在股市预测中的应用得到了限制。而本文所提出的一种自适应粒子群优化算法寻优等能力突出、简单易实现等优势会克服原有缺陷，而将AIW-PSO算法与小波神经网络结合后的新技术将会成为一种全新的、更优越的股票市场预测方法。
1 自适应惯性权重粒子群优化算法
自从粒子群算法被提出以来不少学者也是提出各种各样的改进算法来克服其收敛快、容易陷入局部极小值等缺点。如通过产生多子群、增加自适应变异、鱼群算法中聚群行为、混沌理论等去改进粒子群，但在这么多改进算法中必然会存在一些如相互结合的算法之间的性能相互抵消及相互影响等情况，从而导致改进算法在做预测时的结果出现一种“假”的精度高等现象。故本文结合文献[9、10]中所提出的一种自适应惯性权重粒子群优化算法，选择该方法作为小波神经网络的学习算法，来指导小波神经网络的模型拟合。
由PSO算法的基本原理中粒子的位置和速度方程可知，其中ω是为非负数的惯性权重，它使粒子保持运动惯性，使其具有扩展收缩空间的趋势，有助于新区域的搜索。设ωmax为最大惯性权重，ωmin为最小惯性权重，k为当前迭代次数，kmax为算法迭代总次数，则自适应惯性权重ω的方程如下：
ω=ωmax-k（ωmax-ωmin）/kmax
根据个体粒子的寻优能力，给出自适应惯性权重来调整全局搜索能力和局部开发能力。每一维每个粒子在每次迭代时都有不同的惯性权重，这对于提高收敛精度上有较好的效果。而实际应用中常将惯性因子ωmax和ωmin分别设为0.9和0.4。
2 基于AIW-PSO小波神经网络预测模型
由上述AIW-PSO算法原理及算法流程，本小节试图将AIW-PSO算法的寻优机制作为学习策略添加到小波神经网络训练过程中，构建AIW-PSO小波神经网络，令小波神经网络和AIW-PSO算法相互取长补短。对于小波神经网络结构问题，输入层节点数为m，隐含层节点数为n，输出层节点数为k，则优化维度D=n×m+k×n+n+n。假设1：输入层到隐含层的权值矩阵为Wkj，隐含层和输出层的权值矩阵Wji；假设2：小波基函数平移系数bj，向量为B1=（b1，b2，…，bj）；小波基函数伸缩系数aj，向量为B2=（a1，a2，…，aj）；故单个粒子在维度上的顺序编码为包括以上假设1和假设2中的矩阵和向量中的所有元素的一行或一列的向量x=（W11，…，Wkj，W11，…，Wji b1，…，bj，a1，…，aj）。
优化单隐层小波神经网络结构的主要步骤和基本流程为：
步骤1：对小波神经网络的权值、小波基函数平移系数和伸缩系数进行结构编码，使其对应于AIW-PSO算法中的个体；
步骤2：将权值和小波基函数平移系数和伸缩系数的取值区间赋予AIW-PSO算法的种群，随机初始化种群；
步骤3：结合问题，设定网络类型、结构、小波基函数及初始化各项参数，生成新的网络模型；
步骤4：分别将种群的维度信息解码为网络模型各项参数，对网络进行仿真输出，计算均方误差MSE作为算法的适应度；
步骤5：按照AIW-PSO算法的寻优方式进行迭代，直到某一个体的适应度满足要求，或达到最大迭代步数则终止算法；
步骤6：将算法的最优解解码给小波神经网络，得到经过优化后的WNN模型，进行预测。
AIW-PSO算法训练小波神经网络模型的基本流程如图1所示。
3 应用分析
股票指数时间序列是一个很不稳定的动态变化过程，其影响因素众多，其中包括如宏观、微观、政治、经济等因素。如何在上述众多的影响因素中选取主要影响指标作为上证指数预测模型的输入变量将会是一个十分关键的问题。根据文献中和现实股票市场情况，输出变量选为第t 日的收盘价，而影响指标选取为上证指数第t-1日的开盘价、最低价、最高价、收盘价和交易量信息共五个。实验数据选取多少应看所预测的指数。过多会增加收集，过少则可能导致结果偏差。故本文所采集的数据是从2010年8月6日至2011年8月6日的一年的共243组上证指数序列，其中前195组用来训练，后48 组用来预测。为了消除数据之间的影响，本文利用归一化函数将原始数据的序列归一化到[-1，1]之间，再利用反归一化函数将模拟结果还原到上证指数的时间序列。本文选取的WNN隐含层激励函数为最常用的具有良好的时频局部性的Morlet小波，而各层神经元数根据预测的上证指数和影响指标个数设为：输入层为5，输出层为1。根据经验公式及反复测试后隐含层小波基函数个数取10，此时AIW-PSO算法中粒子维度D为80，粒子个数S=40，粒子个体参数初始为（-1，1）的数值，常数c1=c2=2，本文中常将粒子最大速度Vmax初始化为0.5，粒子位置的最大值Xmax 确定为1，最大迭代次数kmax为500。
为了而体现改进算法预测的优越性，固将AIW-PSO小波神经网络预测模型与传统小波神经网络预测模型进行对比。两种预测模型程序在matlab2012a工具环境下分别进行5次测试，测试结果如表1所示。
由实验各项结果可知，基于小波神经网络的模型结果不太稳定，波动较大，MAPE值在1.53%-9.03%之间。为了体现AIW-PSO小波神经网络的优越性，在此我们取该模型最好的预测结果，即预测误差百分比MAPE为1.53%，此时训练样本的均方误差MSE指标为0.0163，测试样本的预测结果见图2。对于AIW-PSO小波神经网络预测模型预测结果来说，无论是在预测结果稳定性和预测精度方面都较小波神经网络有明显提高，5次测试中MAPE值都在0.99%-1.25%之间，足以说明该预测模型的优越性，测试样本的预测结果见图3。
4 结语
用自适应惯性权重粒子群优化算法训练小波神经网络能够起到很好的网络权值和系数优化效果，而两种算法预测模型结果对比分析表明，本文所建立AIW-PSO小波神经网络预测模型无论是在测试MAPE、预测稳定性、预测精度上都相对传统小波神经网络优越。说明AIW-PSO小波神经网络预测模型具有更加优越的性能，将会是成为股市预测的一种新型混合算法预测工具。
参考文献：
[1]殷光伟，郑丕谔.基于小波与混沌集成的中国股票市场预测[J].系统工程理论方法应用，2004，13（6）：554-547.
[2]王刚，许晓兵.基于小波分析与神经网络时间序列的股票预测方法[J].金融经济，2013，4（12）：161-162.
[3]刘海珗，白艳萍.时间序列模型和神经网络模型在股票预测中的分析[J].数学的实践与认识，2011，3（2）：14-19.
[4]肖冬荣，杨子天.基于粒子群训练的神经网络股票预测模型[J].统计与决策，2009，12（2）：20-22.
[5]孟祥泽，刘新勇，车海平，袁著祉.基于遗传算法的模糊神经网络股市建模与预测[J].信息与控制，1997，13（10）：388-392.
[6]欧阳林群.GA神经网络在证券市场预测中的应用研究[J].湖北武汉理工大学学报（信息与管理工程版），2006，28（11）：160-163.
[7]Yoshinori K， Shozo.T. Prediction of Stock Trends by Using the Wavelet Transform and the Multi-stage Fuzzy Inferenle System Optimized by the GA[J]. IEICE Trams Fundamentals， 2000， 83（2）： 357-366.
[8]Taeksoo S，Ingoo H. Optimal signal multi-resolution by genetic algorithm to Support Artificial neural network for exchange rate forecasting[J]. Expert System with Applications， 2000， 18（4）： 257-269.
神经网络常用算法范文6
随着科技的不断进步，国内外各领域专家学者相互努力共同打造了智能机器人。模糊神经网络理论通过自身所拥有的归纳等能力，有效地帮助了人们更好地控制机器人。使其具备自我学习和联想能力，通过蚁群算法优化的模糊神经网络理论能够更好地控制特种机器人，有效地应对工作中随机出现的变化问题。
关键词：
特种机器人；蚁群算法；人工智能控制；模糊神经网络
1创建机器人的数学模型
任何机械物体的运动都需要理论与实践的支持，而特种机器人的研究也是如此，对特种机器人进行操控就需要对它的各个运动构件的方位、位置、速度等建立一个合理有序的关系。而机器人的空间坐标、运动等可以通过数学模型来呈现。
1.1特种机器人的空间坐标
首先，描述特种机器人的空间坐标，可以用X,Y,Z轴方向的向量表示。其次，对于机器人的运动和操作，方位的准确明了非常关键。而特种机器人的方位也可用坐标系来表示。设一直角坐标系{B}与此刚体固接，坐标系{B}的三个主轴方向的单位矢量XB、YB、ZB相对于坐标系{A}的方向余弦组成的3×3矩阵称为ABR旋转矩阵：ABR=[AxBAyBAzB]=r11r12r13r21r22r23r31r32r33333333333333333333（1）式中，R的上标A和下标B表示R是{B}相对于{A}的关系；r为矢量矩阵的单位向量。而刚体{A}的位姿可通过上述所说的坐标系{B}在坐标系{A}中的各个方位和位置来阐述，进而{B}的原点根据其在坐标系{B}、{A}中的方位，分别表示了刚体在其中的位置和方向，式（2）表示{B}的位置矢量，用ABR和APBORG来描述坐标系{B}，其中APBORG是确定坐标系{B}的位置矢量，建立公式（2）：{B}={ABR，APBORG}（2）
1.2机器人运动方程
连杆坐标系、动力学方程、运动学方程都是操控机器人运动所需要的。特种机器人中的机械臂系统是一种涉及各杆、各关节、机械臂末端相对于绝对坐标的位姿、运动等的多刚体系统。其中，连杆坐标系的建立则为更好地操控机器人，使其高效长久地运动、工作做出了巨大的贡献，图1则为连杆坐标图。虽然建立了连杆坐标系，但是其中的杆与杆的关系则要建立一个齐次变换阵来连接。通过这个矩阵，机器人末端连杆在笛卡尔坐标系里的位置和位姿便可得出。
1.3机器人动力学方程
机械臂系统的运动学模型建立以后，还需建立动力学模型来控制。而动力学解决的问题是2种相对问题：若已知关节的施加力或力矩，求其速度、位移、加速度等；反之，则求力或矩阵。牛顿的欧拉方程等都是为了更好地操控特种机器人而建立的动力学。
2模糊神经网络理论研究
机器人系统功能多且复杂，对于各种生产运作过程中出现的一些问题很难控制。对此，模糊控制和神经网络相结合而成的模糊神经网络具备了解决一些问题的特别优势。模糊控制系统主要通过语言的描述控制机器人的运动，而语言描述能够充分地将专家的经验、知识转化为控制规则，模糊控制器由以下几个高功能的部分构成。
2.1神经网络理论
用于控制特种机器人的神经网络是根据人类大脑的思维模式和构造而设计，其中，神经元是大脑组织、信息处理的基本单位，而人工制作的神经网络则会根据企业、国家、个人的不同需求进行设计和分类，前馈网络和递归神经网络是其中的两大类。前馈网络不但层次感强，其常用的感知器、BP网络也能非常有针对性地解决一些问题；递归神经网络包含积分、反馈等功能，反馈机制是其在信息传输中的一大特点。
2.2模糊神经网络控制系统系统的输入及各种运作
实验证明：模糊系统与神经网络之间具有很多相似点，可以相互转化。模糊神经网络系统使其对数据的计算等更快并且更加正确，通过模糊控制也使其自身的容错力增强。模糊神经网络（FNN）模型的设计经过专家利用各种经验和知识的打造，能够更好地通过BP网络、建立样本等方式控制特种机器人的运作。
3蚁群算法优化训练的模糊神经网络
特种机器人控制蚂蚁算法是模仿生物界中蚁群通过交流、协作、共同搜寻获取实物活动的仿生优化算法。在蚂蚁工作的过程中，他们通过一种“信息素”交流。
3.1蚁群算法的本质
蚂蚁算法是通过分析、实践、探索蚂蚁群体活动得出的，是一种随机算法。蚂蚁算法分适应阶段和调解阶段，在这2个阶段中他们不断地优化自身的机构、积累需要的信息、寻求最佳解。蚂蚁算法中的人工蚂蚁不但有自组织性，还有协作、竞争的关系，在这过个程中，需要不断地协作、改进、更新。
3.2蚁群算法优化模糊神经网络
蚂蚁算法具有全局优化的特点，可以有效地训练FNN，避免了BP的缺陷。它在模糊控制系统和神经网络系统结合后，不但提高了整体优势，也增加了一些功能和特点。这些优化的改变，使某些工作的计算更加便捷。同时BP的缺陷及一些神经网络系统无法解决的问题，它也能很好地解决。而蚂蚁算法通过蚂蚁群体机智有效的协作，总结并融合了一些思想，通过这些思想，特种机器人能够自我选择方便、快捷、有效的工作路径[1]。蚂蚁算法为进一步控制特种机器人提供了更加合理有效的措施，也优化了各种运作系统。
3.3蚁群算法优化的结果
通过各种实验结果表明，蚂蚁算法优化的模糊神经网络系统更加稳定，也更加高效快速。通过实验比较发现：在普通的模糊神经网络中，把基本臂和期望主臂的轨迹长度比较后发现，被蚂蚁算法优化的模糊神经网络控制系统运行的轨迹更短效果更好更明显。
4结语
随着人类文明的发展，机械的运用与不断的创新随处可见，这个时代对特种机器人的需求也在不断增加。而国内外对特种机器人的研发也在不断地创新和投入，对此，涌现了大批的类型、功能不一的特种智能机器人。被蚂蚁算法优化过的系统很好地解决了一些问题，能够全面地优化各个方面，这种算法，为人类更好地发展特种机器人研究机器人做出了巨大的贡献。
参考文献：
