前言：中文期刊网精心挑选了神经网络优化方法范文供你参考和学习，希望我们的参考范文能激发你的文章创作灵感，欢迎阅读。
神经网络优化方法范文1
关键词： BP神经网络； Gauss变异； 学习率； 冲量系数； 动态调整
中图分类号： TN911?34 文献标识码： A 文章编号： 1004?373X（2014）06?0012?03
0 引 言
神经网络是一个黑箱模型，它具有很强的适应能力和学习能力，在人工智能、自动控制、模式识别、信号处理、预测及评价等方面都有着越来越广泛的应用[1?3]。目前已经提出了多种训练算法和网络模型，其中应用最广泛的是前馈型神经网络。前馈型神经网络训练中使用最多的方法是误差反向传播（Back Propagation，BP）学习算法。BP算法系统地解决了多层网络中隐含神经元连接权的学习问题，使BP 网络成为应用最为广泛的一种神经网络模型。但是BP网络也有一些不足[4?5]。比如：收敛速度太慢问题、局部极小点问题、网络瘫痪问题、稳定性问题、步长问题等，极大地影响了神经网络的进一步应用。很多学者对BP 网络进行了深入研究并提出了许多改进的模型[6?9]，这些改进模型的收敛速度比标准梯度法快数十倍，但它们仍都不是普遍适用的，都有着各自的优势或缺陷。本文结合BP网络的训练过程，提出一种改进的BP网络训练方法，将Gauss变异与改进的BP算法相结合，对学习率参数和冲量系数进行动态调整，使得权值能很好的调整。避免了传统的BP 算法容易陷入局部极小的问题，同时可以提高BP 算法的训练速度，降低收敛时间。
1 BP神经网络
BP 神经网络是一种单向传播的多层前馈网络[1]，它包含输入层、中间层（隐层）和输出层，是目前应用较多的一种模型。该算法在层次型网络结构上采用误差逆传播学习方式，学习过程由正向传播和误差逆传播组成。算法的主要思想是把学习过程分为两个阶段：第一阶段是正向传播过程，输入信息从输入层经中间层逐层计算各神经元的实际输出值，每一层神经元的状态只对下一层神经元的状态产生影响；第二阶段是反向传播过程，若在输出层未能得到期望的输出值，则逐层递归计算实际输出与期望输出之间的差值，根据此误差修正前一层权值使误差信号趋向最小。它通过连续不断地在相对于误差函数斜率下降的方向上计算网络权值和偏差变化而逐渐逼近目标。每一次权值和误差的变化都与网络误差的影响成正比。
假设神经网络输出层有m个神经元，若输出层第j个神经元与中间层第i个神经元之间权值为[wij]，中间层第i个神经元的输出为[Oi]，阈值为[bj]，则输出层第j个神经元的输入总和为其上层各单元加权和：
输出实际值为：
若输出期望值为[yj]，则网络关于第p个样本的误差函数定义为：
而将网络关于整个样本集的全局误差函数定义为：
BP算法采用梯度下降法调整权值，每次调整的量为：
式中：[δj=f（netj）（yj-Oj）]；[α]为学习率，它决定每一次训练中的权值变化大小。
BP算法主要的优点是简单、易于实现。但是BP 算法有两个致命的缺陷：首先最大的缺陷是BP算法很可能陷入局部极小值，因为通常的误差曲面都是凸凹不平的，会有多个极值点；另一个缺陷是收敛速度慢，当采用梯度下降法时步长不容易确定，步长太长则达不到精度，甚至会发散；太小则迭代步骤增加，收敛速度慢。鉴于此，目前对BP算法的改进主要集中在两个方面：其一是避免陷入局部极小值，一旦陷入要想办法逃出；其二是改进迭代算法，加快收敛速度。
2 Gauss变异与改进的BP算法相结合
BP算法的不足在一定程度上都与每次权值修改程度大小有关。如果每次训练，权值都能向全局极小值方法进行修改，那么上述问题都能得到解决。可用遗传算法对BP算法中的学习率进行动态调整。初始时将学习率设大一些，加快算法的收敛。后期将学习率设小一些，以便可以找到全局极小值点。为了使算法的整体性能更高，采用将改进的BP算法和遗传算法相结合。
2.1 改进的BP算法
BP网络的训练过程是根据样本集对神经元之间的连接权进行调整的过程。其次，BP网络执行的是有导师训练。所以，其样本集是由形如：
（输入向量，理想输出向量）
的向量对构成的。BP网络接收样本的顺序会对训练的结果有很大的影响。它更“偏爱”较后出现的样本。如果每次循环都按照[（X1，Y1）]，[（X2，Y2）]，…，[（XS，YS）]所给定的顺序进行训练，在网络“学成”投入运行后，对于与该样本序列较后的样本较接近的输入，网络所给出的输出的精度将明显高于与样本序列较前的样本较接近的输入对应的输出精度。所以算法应该避免“分别”、“依次”的出现。因此，不再“分别”、“依次”根据[（X1，Y1）]，[（X2，Y2）]，…，[（XS，YS）]对权值向量[W（1）]，[W（2）]，…，[W（M）]进行调整，而是用[（X1，Y1）]，[（X2，Y2）]，…，[（XS，YS）]的“总效果”去实施对[W（1）]，[W（2）]，…，[W（M）]的修改。获取样本集“总效果”的最简单的办法是取：
式中：∑表示对整个样本集的求和；[Δpw（k）ij]代表神经元i到神经元j的连接权[w（k）ij]关于样本[（Xp，Yp）]的调整量。
权值的本次修改要考虑上次修改的影响，以减少抖动问题。引入冲量系数[β]，以将上次权值的调整量，进入当前权值的修改过程，平滑学习路径。考虑上次修改的影响，本次权值的修改公式为[1]：
式中：[Δwij′]为上一次的修改量；[Oi]表示第i个神经元的输出；[β]为冲量系数，通常取0～1之间的小数。因为[β]值较大时，虽能加快训练速度，但影响精度及收敛性，太小又起不到影响本次权值修改的作用。因此，[β]的取值视具体问题由试验确定。
上述算法较好地解决了因样本的顺序引起的精度问题和训练的抖动问题。但是，该算法的收敛速度还是比较慢的。为了解决收敛速度问题，可以给每一个神经元增加一个偏移量来加快收敛速度。
2.2 Gauss变异调整学习率参数和冲量系数的基本思想
BP算法中，如果学习率步长、冲量系数不变，那么到后期可能由于步长太大从而不能继续进行优化。所以步长应该进行动态调整。当权值进行调整时，可用Gauss变异生成两个小的随机数，并将这两个小的随机数作为学习率参数和冲量系数。
2.3 整体算法流程
为了避免让算法陷入局部极小值点，将遗传算法中群体的概念应用进来。生成N个个体，每个个体执行算法，算法运行完成后，选取最好个体中的误差作为最小误差。
每个个体执行的算法如下：
3 实验及实验结果分析
为了说明Gauss变异的有效性，将本文中的改进算法与不加入Gauss变异和群体概念的改进BP算法在收敛速度方面进行比较。采用Balance?scale数据集进行了算法验证，该数据集的训练样本特征为4个，目标输出类型有3种，本文采取200个4维样本向量构造标准样本空间，输出为2维向量进行训练，其收敛曲线对比如图1所示。
图1 训练收敛曲线对比图
图1显示的是迭代1 000次，算法的收敛速度。为了有可比性，初始权值设为固定值。从图1中可以看出，加入Gauss变异后收敛速度大大提高。运行了几个例子，都能得到这一结论。但对于不同的例子，产生的Gauss随机数不能直接赋给学习率参数和冲量系数，还要根据不同的实际，对随机数乘上不同的权值。这个权值是个经验值，需要进行若干次实验来确定一个比较优的值。
另外，用此算法对一个数据集进行分类，采用breast?cancer?wiscon数据集，训练样本和测试样本根据Cross?validation[10]进行划分。每个分区轮流作为测试样本进行测试。由于breast?cancer?wiscon数据集比较简单，分类属性只有两个值，所以只将分类属性的值变换成0或1。BP网络的输出如果在[0，0.5]之间，则将属性的值定为0；否则为1。算法参数设置如表1所示。
表1 算法参数设置
实验结果如表2所示。
表2 实验结果
从以上实验结果可以得知，用Gauss变异动态调整学习率参数和冲量系数，可以加快算法的收敛速度，并且可以得到比较好的分类结果。但是，Gauss函数自变量和随机数权值应取多大需要进行若干次实验，才能确定一个比较好的值。
4 结 语
本文结合BP网络的训练过程，提出一种改进的BP网络训练方法，将Gauss变异与改进的BP算法相结合，对学习率参数和冲量系数进行动态调整，使权值得到很好的调整。实验结果表明，此方法避免了传统的BP 算法容易陷入局部极小的问题，在训练时间和收敛速度方面均表现出更优的性能，具有比较好的实用性。
参考文献
[1] 蒋宗礼.人工神经网络导论[M].北京：高等教育出版社，2001.
[2] 张毅，杨建国.基于灰色神经网络的机床热误差建模[J].上海交通大学学报，2011，45（11）：1581?1585.
[3] 黄伟，何眸，夏晖.基于小波神经网络的IP网络流量预测[J].计算机科学，2011，38（10）：296?298.
[4] 田景文，高美娟.人工神经网络算法研究与应用[M].北京：北京理工大学出版社，2006.
[5] KUMAR S. Neural networks [M].北京：清华大学出版社，2006.
[6] YU X H， CHEN G A， CHENG S X. Dynamic learning rate optimization of the back propagation algorithm [J]. IEEE Transactions on Neural Networks， 1995： 6（3）： 669?677.
[7] ROYCHOWDHURY P， SINGH Y P， CHANSARKAR R A. Dynamic tunneling technique for efficient training of multilayer perceptions [J]. IEEE Transactions on Neural Networks， 1999： 10（1）： 48?55.
[8] 陈玉芳，雷霖.提高BP网络收敛速率的又一种算法[J].计算机仿真，2004，21（11）：74?79.
神经网络优化方法范文2
[关键词]小生境遗传算法神经网络股票预测
一、引言
股票和股票市场对国家企业的经济发展起到了积极的作用，如可以为投资者开拓投资渠道，增强投资的流动性和灵活性等。但股票价格的形成机制是颇为复杂的，股票价格既受到多种因素，诸如:政治，经济，市场因素的影响，亦受技术和投资者行为因素的影响，个别因素的波动作用都可能会影响到股票价格的剧烈波动。因此，股票价格和各影响因素之间很难直接建立明确的函数关系表达式。针对这一情况，将可有效处理非线性问题的神经网络引入到股票价格的预测中来，但神经网络收敛慢,易陷入局部极小点，出现振荡，鲁棒性差。所以有的学者用遗传算法(GA)来优化神经网络，这种神经网络可能获得个别的甚至局部的最优解,即GA早熟现象。本文引进能较有效地保持种群多样性的小生境遗传算法(NGA),采用NGA优化与用GA优化的BP网络权值进行对比,证实了NGA的判别准确性和寻优能力。
二、小生境遗传算法优化的神经网络
1.BP神经网络
反向传播(BP)算法又称为误差逆传播校正方法，它是1974年P.Werbos(哈佛大学)提出的。BP算法用来训练多层前馈神经网络,属于监督学习算法。BP网络具有结构清晰，易实现，计算功能强大等特点。因而是目前最常见，使用最广泛的一种神经网络。但是在实际应用中，传统的BP算法存在以下问题:收敛速度慢;若加快收敛速度易产生振荡；存在局部极小和平台问题;泛化能力差;隐节点数和初始值的选取缺乏理论指导;未考虑样本选择对系统学习的影响等。所以很多学者提出许多改进的方法，用小生境遗传算法优化神经网络权值的神经网络来预测股票价格。
2.小生境遗传算法
小生境遗传算法(IcheGeneticalGorihm)的基本思想是:首先比较任意两个个体间的距离与给定值的大小，若该距离小于给定值，则比较其适应值大小。对适应值较小的个体施加一个较强的惩罚，极大地降低其适应值。也就是说，在距离L内将只有一个优良个体，从而既维护了群体的多样性，又使得各个体之间保持一定的距离，并使得个体能够在整个约束空间中分散开来。
3.神经网络连接权的优化
用小生境遗传算法可以优化神经网络连接权，神经网络结构，学习规则等，这里我们对神经网络的连接权进行优化，具体步骤如下：
（1）随机产生一组权值分布，采用某种编码方案对该组中的每个权值(或阈值)进行编码，进而构造出一个码串(每个码串代表网络的一种权值分布)，在网络结构和学习规则已确定的前提下,该码串就对应一个权值和阈值取特定值的一个神经网络。
（2)对所产生的神经网络计算它的误差函数，从而确定其适应度函数值，误差越大,则适应度越小。
（3)选择若干适应度函数值最大的个体,直接遗传给下一代。
（4)利用交叉和变异等遗传操作算子对当前一代群体进行处理，产生下一代群体。
（5)重复（2）（3）（4），使初始确定的一组权值分布得到不断地进化,直到训练目标得到满足为止。
这种由小生境遗传算法训练神经网络的方法也可以称做混和训练法。将基于小生境遗传算法的遗传进化方法和基于梯度下降的反传训练相结合,这种训练方法吸取两种方法的各自特点，所以收敛速度快。
三、股票价格预测仿真
根据经验选取输入预测日前四天开盘价、收盘价归一化后做为作为输入量，输出为第五天收盘价归一化数值。所以，本文采用神经网络结构为(8,5,1),即网络的输入层6个节点,隐含层9个节点,输出层1个节点。本文选择了“XDG新梅（600732）”从2006年3月14日到2006年7月1日数据进行了仿真。利用MATLAB6.5编程，取70组训练样本和30组测试样本。如图（1）表示用遗传算法和小生境遗传算法对神经网络的权值进行优化时，误差曲线变化;从图中可以看出，小生境遗传算法收敛速度要快;图（2）表示股票预测值和实际值比较，从图中可以看出，遗传算法和小生境遗传算法对神经网络的权值的模型进行股票价格的预测，都能预测出股票走向趋势，但是，后者的预测精度显然要比前者高。
四、结束语
股票市场的不确定因素太多，股票的价格更是多种因素影响的集合体，是典型的非线性动力学问题。股票价格的中长期准确预测很难。本文建立了用小生境遗传算来优化神经网络模型来预测股票价格，结果表明，这种方法比单用遗传算法优化的神经网络收敛速度快，预测精度高。对于股票价格预测具有较好的应用价值。
参考文献:
[1]龙建成李小平:基于神经网络的股票市场趋势预测[J].西安电子科技大学学报(自然科学版.2005.3（32）:460-463
[2]王波张凤玲:神经网络与时间序列模型在股票预测中的比较[J].第27卷第6期武汉理工大学学报·信息与管理工程版.2005.9（27）:69-72
神经网络优化方法范文3
关键词： 网络异常检测； BP神经网络； 遗传算法； 异常流量
中图分类号： TN711?34； TP393 文献标识码： A 文章编号： 1004?373X（2016）03?0090?04
Network anomaly detection method with improved BP neural network based on GA
CUI Baocai
（Tianjin Electronic Information College， Tianjin 300350， China）
Abstract： Since the conventional BP neural network algorithm is easy to fall into local optimal solution， and the established network abnormal flow detection model has low detection efficiency and poor accuracy， an improved BP neural network algorithm based on GA is proposed， by which the network abnormal flow detection model was established. The conventional genetic algorithm in the search process often influences on the search effect because of the high fitness individual， so it is necessary to improve the conventional genetic algorithm. The hybrid encoding mode is used to optimize and correct the parameters of crossover operator， mutation operator， crossover probability and mutation probability. The experiment study for network abnormal flow data in KDD CUP99 database is conducted， and the research results show that the detection performance of the proposed method is better than that of the conventional algorithm. The improved genetic algorithm is used to synchronous optimization the network， weight and threshold of BP neural， and can avoid the problem causing by the blind selection of BP neural network structure parameter， and avoid that the BP neural network is easy to fall into the local optimal solution.
Keywords： network anomaly detection； BP neural network； genetic algorithm； abnormal flow
0 引 言
网络异常流量类型多样复杂，异常可能来自Alpha Anomaly异常流量、DDos异常流量、Port Scan异常流量、Network Scan异常流量、Worms异常流量以及Flash Crowd异常流量等。在大型Internet供应商以及企业网络中对异常进行检测具有非常大的难度。常规异常检测具有检测率低、误报率高等问题，因此本文对网络异常流量检测方法进行深入研究[1?3]。
近年来，人们常常利用BP神经网络建立网络异常流量检测模型，但是由于BP神经网络算法存在容易陷入局部最优解，训练时间长，效率低等问题，因此本文提出一种利用遗传算法对BP神经网络进行改进的方法以提高BP神经网络算法性能[4?5]。
1 遗传算法优化BP神经网络模型
1.1 遗传算法优化BP神经网络
使用遗传算法对BP神经网络算法进行优化可以描述为：
式中：[E1]是BP神经网络训练输出与实际样本的总体误差；[yi（t）]是期望的输出；[yi（t）]是BP神经网络的实际输出。
BP神经网络的实际输出[yi（t）]表示为：
式中：[f]是输出神经元的激励函数；[g]是隐含层神经元的激励函数；[wij]是BP神经网络输入层和隐含层节点之间的连接权值；[vit]是隐含层与输出层节点之间的连接权值；[ξi]是过程神经元的阈值；[ηt]是输出神经元的阈值。
权值的修正值可以用如下方法表示：
式中：[α]是动量因数；[n]是迭代次数；[η]是自适应学习率；[g（n）]是误差函数对权值的梯度。
建立遗传算法优化BP神经网络的检测模型过程如下：
步骤1：建立BP神经网络，设定BP神经网络的初始结构参数和函数等；
步骤2：使用遗传算法对BP神经网络进行参数优化，生产初始种群，通过种群优化、交叉、变异等操作对BP神经网络的权值、阈值等进行优化；
步骤3：使用遗传算法得到的最优权值、阈值等参数更新BP神经网络，使用训练数据对模型进行训练，完成检测模型的建立。
建立遗传算法优化BP神经网络的检测模型流程如图1所示[6?7]。
1.2 遗传算法改进方法
常规遗传算法在搜索过程中，往往会由于出现影响生产适应度高的个体而对遗传算法搜索过程产生影响的现象发生，因此需要对常规遗传算法进行改进。本文使用的方法是通过混合编码方式进行改进，同时对交叉算子、变异算子、交叉概率[Pc]以及变异概率[Pm]等参数进行优化修正。
（1） 混合编码方案
二进制编码解码的优点是操作简便、易于实现等；实数编码方法的优点是针对连续参数优化问题的精度高、直观等。因此本文将两种编码方式进行结合，发挥其各自优点，实现对遗传算法的改进。通过此种方法改进后，遗传操作速度加快、全局搜索范围增加，同时也提高了优化的精度等。
（2） 适应值函数选取
寻找使得所有进化过程网络误差平方和最小的网络权值即为遗传算法的搜索目标。遗传算法通常的进化方向是向着适应值增加的方向发展，因此，本文通过优化得到的权值、阈值，计算得到对应神经网络的误差平方和，适应误差的倒数为适应度函数。各个个体的适应值可以表示为：
网络的目标函数表示为：
式中：[qijk]是使用第[j]个训练数据样本进行输入时，第[k]个节点的输出；[pjk]是期望网络的输出；[n]是训练数据样本数量；[m]是BP神经网络的输出层神经元个数；[L]为种群规模数；[i=1，2，…，L。]
（3） 选择算子
本文使用的选取方法为排序法。排序法思想是把个体适应度的不同转换为排序序列，适应度较大的个体被选取的概率就越大，适应度较小的个体被选取的概率就越小。针对个体按照其适应度完成升序的排序，之后按下面方法对个体的选取概率进行计算：
式中：[Pmax]是最优染色体选取概率；[n（i）]是种群中第[i]个染色体适应值的排序。
对个体使用比例选择法进行选取。对每个个体累计选取概率[qi（i=1，2，…，L）]进行计算，在[（0，qL）]区域内生产一个随机序列[rj（j=1，2，…，L），]该序列为升序排序，如果[qi-1
（4） 交叉算子
交叉算子对于确保优良性能得以遗传具有重要作用。本文使用的方法是在二进制的编码过程中，使用单点交叉法，随机抽取2个父代串中的交叉点并交换对应子串，在交叉点的第[k]位进行交叉操作的方法为：
在进行实数编码时，使用算数交叉法，即通过两个个体组合成新的染色体。两个个体[Xli]和[Llj]是通过种群随机抽取的，交叉算子为：
式中：[Xli]和[Xlj]是交叉前的一对个体；[Xli]和[Xlj]是交叉后的一对个体；[c]是0～1的随机数。
本文使用的这种交叉方法因为能够得到多种组合，所以使得两个个体的信息得到充分交换对找到全局的最佳值是有利的[9]。
（5） 变异算子
保证种群多样性的一个主要方法就是通过变异操作。本文在二进制编码过程中使用基本位变异操作，实数编码过程使用非均匀变异操作。非均匀变异操作中使用的新基因值[x′k]为：
式中：[Δ（t，Ukmax-ηk）]是[0，Ukmax-ηk]范围内的随机数；[Δ（t，ηk-Ukmin）]是[0，ηk-Ukmin]范围内的随机数。
（6） 确定交叉和变异概率
交叉概率[Pc]以及变异概率[Pm]对遗传算法的优化性能具有至关重要的作用。本文使用自适应交叉概率和变异概率以不对适应值高的个体进行破坏的同时确保种群的多样性：
式中：[λ1，][λ2，][λ3，][λ4]为0～1的常数；[fmax]是种群中适应值的最大值；[f]是种群中适应值的平均值；[f]是较大的交叉互换适应值；[f]是变异个体的适应值。
当种群陷入局部最小值时可以将交叉概率[Pc]以及变异概率[Pm]适当增加；当种群在解空间比较分散时，可以将交叉概率[Pc]以及变异概率[Pm]适当减小；另外，对于适应度较高的个体，应减小交叉概率[Pc]以及变异概率[Pm；]对于适应度较低的个体，应增加交叉概率[Pc]以及变异概率[Pm，]这样交叉概率[Pc]以及变异概率[Pm]会跟随种群个体的适应度改变而变化[10]。
2 实验分析
本文使用Mitlincoln实验室的KDD CUP99数据库中的网络异常流量数据进行实验研究。主要选取常见的Alpha Anomaly异常流量、DDos异常流量、PortScan异常流量、NetworkScan异常流量、Worms异常流量以及FlashCrowd异常流量数据各100条。对各种流量数据样本随机抽取50条作为训练样本，另外50条用于对检测模型进行性能测试[11]。
网络异常流量类型与主要流特征对应关系如表1所示[12]。
为了对比本文研究的GA改进BP神经网络网络异常流量检测方法的性能，使用常规BP神经网络建立同样的检测模型。使用Matlab建立两种方法的检测模型，神经网络采用3层结构，由异常类型及异常类型对应的特征流决定了神经网络的输入层有6个神经元，输出层也有6个神经元，设定学习速率为0.1。常规BP神经网络使用随机函数对权值、阈值进行初始化设定，而本文研究的遗传算法优化BP神经网络则使用经过训练得到的最佳个体对权值、阈值进行初始化设定[13]。
两种算法的网络误差平方和响应曲线如图2所示。
可以看出，本文研究的方法通过对个体交叉概率和变异概率进行调节，相比常规BP神经网络能够使用更短的速度达到误差要求，迭代步数更少，训练速度更快，效率更高。
针对上述测试数据，使用两种方法进行测试。使用误报率和检测率对网络异常检测方法的检测性能进行评价：
[误报率=被误报为异常的正常样本数量正常样本总数×100%] （13）
[检测率=检测出异常样本数量异常样本总数×100%] （14）
使用两种算法建立的检测模型的检测率和误报率对比如表2所示。
从测试结果可以看出：本文研究方法针对6种异常流量的平均检测率为95.3%，平均误报率为4.7%；而常规BP神经网络算法建立的检测模型的平均检测率仅为81.8%，平均误报率为18.2%。本文研究方法的检测性能要明显优于常规算法，说明本文提出的改进型遗传算法对BP神经网络的结构、权值以及阈值进行同步优化，避免了盲目选择BP神经网络结构参数带来的问题，避免了常规BP神经网络容易陷入局部最优解的问题。
3 结 语
由于网络异常流量类型多样复杂，在大型Internet供应商以及企业网络中对异常进行检测具有非常大的难度，而常规异常检测具有检测率低、误报率高等问题，因此本文对网络异常流量检测方法进行深入研究。针对BP神经网络算法存在容易陷入局部最优解，训练时间长，效率低等问题，本文提出一种利用遗传算法对BP神经网络进行改进的方法以提高BP神经网络算法性能。本文将二进制编码和实数编码两种编码方式进行结合，发挥其各自优点，实现对遗传算法的改进。通过此种方法改进后，遗传操作速度加快、全局搜索范围增加，同时也提高了优化的精度等。通过遗传算法对BP神经网络的权值、阈值进行优化，加快了BP神经网络的学习速率，提高训练效率，极大改进了BP神经网络的逼近能力以及泛化能力。
参考文献
[1] 王涛，余顺争.基于机器学习的网络流量分类研究进展[J].小型微型计算机系统，2012（5）：1034?1040.
[2] 姚宏林，韩伟杰，吴忠望.基于模糊相对熵的网络异常流量检测方法研究[J].信息安全与技术，2014（8）：16?18.
[3] 赵鑫.基于NetFlow的网络流量异常检测技术研究[D].保定：河北大学，2014.
[4] 李洪洋.浅析网络异常流量分析检测研究与实现[J].网络安全技术与应用，2013（10）：63?64.
[5] 燕发文，黄敏，王中飞.基于BF算法的网络异常流量行为检测[J].计算机工程，2013（7）：165?168.
[6] 彭基伟，吕文华，行鸿彦，等.基于改进GA?BP神经网络的湿度传感器的温度补偿[J].仪器仪表学报，2013（1）：153?160.
[7] 行鸿彦，邹水平，徐伟，等.基于PSO?BP神经网络的湿度传感器温度补偿[J].传感技术学报，2015（6）：864?869.
[8] 何嘉.基于遗传算法优化的中文分词研究[D].成都：电子科技大学，2012.
[9] 夏玫.BP神经网络泛化能力改进研究[D].太原：太原科技大学，2009.
[10] 周凌翱.改进BP神经网络在模式识别中的应用及研究[D].南京：南京理工大学，2010.
[11] 吴小花.网络异常流量识别技术的研究[D].长春：长春工业大学，2013.
神经网络优化方法范文4
关键词：公交客流 数据修正 径向基神经网络
中图分类号：TP311.13 文献标识码：A 文章编号：1007-9416(2012)02-0117-01
1、引言
公交优化调度是智能公交系统的重要组成部分，也是提高城市公共交通运行效率的重要手段。近些年来，我国在公交调度方面进行了大量的研究，提 出各种各样的优化调度模型。而这些模型都是建立在公交客流数据的基础上的，公交客流数据的准确性直接影响到公交调度优化结果。因此，为了提高公交客流数据准确性，本文提出基于RBF神经网络的公交客流修正方法，以便为公交优化调模型提供科学的数据基础。
2、径向基神经网络理论
2.1 径向基神经网络结构
径向基函数神经网络(Radial Basic Function,RBF)是多维空间插值的传统技术，由Powell 于1985年提出，并于1989年论证了RBF神经网络对非线性连续函数的一致逼近性能。RBF神经网络属于前向神经网络类型，由三层结构组成。第一层为输入层，由信号源点结点组成；第二层为隐藏层，隐臧结点由所描述的问题决定；第三层为输入层，主要功能为响应输入模式。
2.2 径向基神经网络的学习算法
RBF神经网络学习算法的主要问题是求解3个有效参数，分别为基函数中心，方差和隐含层到输出层的权值。因为RBF基函数中心选取方法不同，RBF网络有多种学习方法。本文根据所要解决的问题，选用自组织选取中心的RBF神经网络的学习方法。该方法分别由无导师学习过程和有导师学习阶段两部分组成。具体学习算法这里不再赘述。
3、基于径向基神经网络客流连续化方法
公交客流数据包括乘客到达率，下车率，断面通过率等。本文以乘客到达率作为公交客流数据的具体例子，对其进行基于径向基神经网络修正。其它客流数据连续化处理方法相同。单位时间内到达的乘客人数定义为乘客到达率，但按照定义方法求得的到达率为离散点，不能反映出其随时间连续变化的规律。为了得到更满意的结果，故本文采用以上介绍的径向量神经网络进行连续化处理。
具体的处理步骤如下：
(1)首先把统计时段的中间点取值为该时段的平均值。
(2)如果计算时，初始时刻到达率出现负值，则将初始时刻的平均值取半作为实际计算值。因为首发和末发时段一般呈现上升和下降的趋势，如果变化率较大，采用径向基神经网络进行处理时，有可能使初始时刻和最后时刻的到达率出现负值。
(3)运用matlab神经网络工具箱中newrb()函数构建径向基神经网络，sim()进行预测仿真，得出具体的曲线。
4、实例应用
如表1所示，为江苏省镇江市19路车某个工作日江苏大学中门站7：00～8：00的上车人数。
由表1计算结果可知江苏大学中门站7：10～7：20的乘客到达率为2.9人/min，而7：00～7：10到达率却是1人/min，7∶20～7∶30的A1站到达率为2.4人/min。因此，该站在7∶10～7∶20到达率应为单调递升，主要表现为7∶10附近的到达率要小于2.9人/min，7∶20附近的到达率要大于2.9人/min。所以如果7∶10～7∶15时段到达率选用2.9人/min，则必将降低公交调度优化结果的准确度。因此，为了克服上述问题的不足，得到更佳理想的结果，本文采用以上所述方法对其修正，结果如图1所示。
5、结语
本文根据城市公交客流数据所存在的问题，采用RBF神经网络对其进行科学修正，以便为公交调度优化模型提供更加准确的数据源。并以镇江市19 路公交车江苏大学中门站某个工作日的客流量数据计算实例，结果表明该方法科学可行，具有更加广阔的适用面。
参考文献
[1]杨庆芳,魏领红,扬兆升.公交线路调度优化模型研究[J].合肥工业大学学报,2009,32(11):1643～1645.
神经网络优化方法范文5
关键词：电阻点焊；神经网络；消音锯片
0序言
电阻点焊过程是一个高度非线性，既有多变量静态叠加又有动态耦合，同时又具有大量随机不确定因素的复杂过程。这种复杂性使得传统方法确定最佳工艺参数存在操作复杂、精度低等缺陷。
本文通过深入研究提出了一种神经网络优化消音锯片电阻点焊工艺参数方法。以试验数据为样本，通过神经网络，建立焊接工艺参数与焊接性能之间的复杂模型，充分发挥神经网络的非线性映射能力。为准确预测点焊质量提高依据。在运用试验手段、神经网络高度非线性拟合能力结合的方式，能在很大程度上克服传统方法的缺陷，完成网络的训练、检验和最优评价，为电阻点焊过程的决策和控制提供可靠依据。
1原理
人工神经网络是用物理模型模拟生物神经网络的基本功能和结构，可以在未知被控对象和业务模型情况下达到学习的目的。建立神经网络是利用神经网络高度并行的信息处理能力，较强的非线性映射能力及自适应学习能力，同时为消除复杂系统的制约因素提供了手段。人工神经网络在足够多的样本数据的基础上，可以很好地比较任意复杂的非线性函数。另外，神经网络的并行结构可用硬件实现的方法进行开发。目前应用最成熟最广泛的一种神经网络是前馈多层神经网络（BP），通常称为BP神经网络。
神经网络方法的基本思想是：神经网络模型的网络输入与神经网络输出的数学关系用以表示系统的结构参数与系统动态参数之间的复杂的物理关系，即训练。我们发现利用经过训练的模型进行权值和阈值的再修改和优化（称之为学习）时，其计算速度要大大快于基于其他优化计算的速度。
BP神经网络一般由大量的非线性处理单元——神经元连接组成的。具有大规模并行处理信息能力和极强的的容错性。每个神经元有一个单一的输出，但可以把这个输出量与下一层的多个神经元相连，每个连接通路对应一个连接权系数。根据功能可以把神经网络分为输入层，隐含层（一或多层），输出层三个部分。设每层输入为ui(q)输出为vi(q)。同时，给定了P组输入和输出样本 ，dp（p=200）。
（6）
该网络实质上是对任意非线性映射关系的一种逼近，由于采用的是全局逼近的方法，因而BP网络具有较好的泛化的能力。
我们主要是利用神经网络的非线性自适应能力，将它用于消音锯片的电阻点焊过程。训练过程是：通过点焊实验获得目标函数与各影响因素间的离散关系，用神经网络的隐式来表达输入输出的函数关系，即将实验数据作为样本输入网络进行训练，建立输入输出之间的非线性映射关系，并将知识信息储存在连接权上，从而利用网络的记忆功能形成一个函数。不断地迭代可以达到sse（误差平方和）最小。
我们这次做的消音金刚石锯片电焊机，通过实验发现可以通过采用双隐层BP神经网络就可以很好的反应输入输出参数的非线性关系。输入神经元为3，分别对应3个电阻点焊工艺参数。输出神经元为1，对应焊接质量指标参数。设第1隐含层神经元取为s1，第2隐含层神经元取为s2。输入层和隐含层以及隐层之间的激活函数都选取Log-Sigmoid型函数，输出层的激活函数选取Pureline型函数。
2点焊样本的选取
影响点焊质量的参数有很多，我们选取点焊时的控制参数，即点焊时间，电极力和焊接电流，在固定式点焊机上进行实验。选用钢种为50Mn2V，Φ600m的消音型薄型圆锯片基体为进行实验。对需要优化的参数为点焊时间，电极力和焊接电流3个参数进行的训练。最后的结果为焊接质量，通常以锯片的抗拉剪载荷为指标。
建立BP神经网络时，选择样本非常重要。样本的选取关系到所建立的网络模型能否正确反映所选点焊参数和输出之间的关系。利用插值法，将输入变量在较理想的区间均匀分布取值，如果有m个输入量，每个输入量均匀取n个值（即每个输入量有m个水平数）， 则根据排列组合有nm个样本。对应于本例，有3个输入量，每个变量有5个水平数，这样训练样本的数目就为53=125个。
我们的实验，是以工人的经验为参考依据，发现点焊时间范围为2~8s，电极力范围为500~3000N，点焊电流范围为5~20kA时，焊接质量比较好。我们先取点焊电流，电极力为定量，在合理的范围内不断改变点焊时间，得到抗拉剪载荷。如此，可以得到不同点焊电流和电极力的抗拉剪载荷。根据点焊数据的情况，我们共选用200组数据。部分测试数据如表1：
神经网络建模的关键是训练，而训练时随着输入参数个数的增加样本的排列组合数也急剧增加，这就给神经网络建模带来了很大的工作量，甚至于无法达到训练目的。
3神经网络
我们用200组训练样本对进行神经网络训练，以err_goal=0.01为目标。调用Matlab神经网络工具箱中的函数编程计算，实现对网络的训练，训练完成后便得到一个网络模型。
程序如下：
x1=[2.1 2.5 3 3.5 4……]； %点焊时间输入，取200组
x2=[1.3 1.5 1.9 2.1 2.3……]；%电极力输入，取200组
x3=[9 10 11 12 13……];%点焊电流输入，取200组
y=[2756 3167 3895 3264 2877……]； %输出量，取200组
net=newff([1 10;0.5 3;5 20]，[10 10 1]，{'tansig''tansig''purelin'});
%初始化网络
net.trainParam.goal = 0.01;%设定目标值
net=train(net，[x1;x2;x3]，y);%训练网络
figure； %画出图像
选取不同的s1，s2，经过不断的神经网络训练，发现当s1=8，s2=6时，神经网络可以达到要求。工具箱示意图如下图1。
图 1工具箱示意图
工具箱示意图非常清晰地表示了本实验的神经网络的输入，输出以及训练的过程。
神经网络的训练结果，如图2所示:
图2神经网络的学习过程
图中可以看出双层网络训练的sse在训练100次时，已经接近0.0001，效果较理想。
为了验证经过训练的网络模型的泛化能力，在输入变量所允许的区域内又另选多个样本进行了计算。发现：利用BP神经网络模型计算的测试输出与期望输出值相符，误差小于2％。
在已经训练好的网络中找出最大值：
for i=2:10 %点焊时间选择
for j=0.5:0.1:3%电极力选择
fork=5:0.1:20%点焊电流选择
a=sim(net，[i，j，k])；%仿真
ifa>n %比较仿真结果与最大值，取最大值n=a；
i(1)=i；%最大值的时间
j(1)=j；%最大值的电极力
k(1)=k； %最大值的电流
end
end
end
end
将i（1），j（1），k（1）以及n输出，n为最大值。得到点焊时间为3.4s，电极力为12.7kN，点焊电流为11.8kA，此时的抗剪拉剪载荷为4381N，为训练结果的最大值。将点焊时间为3.4s，电极力为12.7kN，点焊电流为11.8kA在点焊机上进行实验，得到结果为4297N。并且通过与实际的结果相比较，发现误差也在2%以内。
4结论
1）本文采用了插值法作为选取BP神经网络训练样本的方法。并且在数据变化剧烈的地方多选取了75组数据，这样可以得到较高精度的网络模型，使点焊模型的可行性。
2）基于此方法建立了三个点焊参数的BP神经网络模型，而且所建的BP模型具有较高的精度，可以很好的描述了这三个点焊参数与点焊质量的映射关系。
3）由于神经网络模型将系统结构参数与传统动态特性参数之间的物理关系，反映为神经网络模型的网络输入与网络输出的数学关系，因此，在神经网络模型上进行结构修正与优化比在其他模型上更直接，简单与高效。
本文采用神经网络的方法优化复合消音锯片的点焊工艺参数，为分析点焊质量提供了很好的辅助手段。通过与以前工艺相比较，提高了点焊质量。
参考文献
[1] 方平，熊丽云.点焊电流有效值神经网络实时计算方法研究.[J].机械工程学报，2004（11）.148-152.
神经网络优化方法范文6
建筑工程的系统性和复杂性提升了工程造价估算的难度，基于神经网络的工程造价估算方法能够提升工程造价估算的准确性。本文从传统的工程造价估算方法入手，对基于神经网络的工程造价估算方法及其Excel实现进行研究。
【关键词】神经网络 工程造价 估算方法 Excel实现
在建筑行业不断发展的背景中，建筑企业面临的竞争压力越来越大。对于建筑企业而言，通过建筑工程成本的有效控制，实现所获经济效益的提升能够对自身市场竞争力的提升产生相应的促进作用。选择合理的工程造价估算方法具有一定的必要性。
1 传统的工程造价估算方法
应用传统工程造价估算方法进行估算，要求建筑工程的成本函数是一个具有确定性特点的数学形式，并且这个成本函数应该是对可利用历史数据的最佳拟合。这些要求对传统工程造价估算方法的精确度产生了不良影响，进而对该方法的实际应用产生相应的限制。
2 基于神经网络的工程造价控制估算方法及其Excel实现
2.1 神经网络的优点和应用
神经网络是由一定数量的并行处理单元组成的系统，不同处理单元的实际处理方式和连接强度是影响神经网络功能的主要因素。在神经网络中，不同神元之间的相互作用可以实现处理信息的目的。神经网络具有时间连续性、高度非线性以及规模大的特点，神经网络包含优化计算、处理知识以及联想记忆等多种功能。神经网络在电子科技领域中的应用主要集中在图像和信号处理以及模式识别中。以某个500字符的代码段为例，该代码段可能是Python、Java或者C++。当需要通过程序的构造对该代码段进行识别编写时，构造神经网络的方法更加有效。
2.2 基于神经网络工程造价控制估算方法的合理性
神经网络的优势在于，它可以近似实现任意空间的数学映射。神经网络的这种特点使得它在需要辨识数据模式的困难任务中得到了广泛应用。神经网络可以分别对实时数据和历史资料进行训练，这种特点为神经网络在工程造价估算中的应用提供了可能。
2.3 神经网络电子表格模拟程序
神经网络电子表格模拟程序主要包括以下几个步骤：
2.3.1 输入输出信息模块
在该模型中，主要包含基础基础类型、结构类型、建造年份、工期、建址、层高、层数、内、外装修门窗共9个输入单元，还包含每平方米造价这一输出单元，以及4个测试样本和6个训练样本。为了将输入单元、输出单元的数据更好地展示出来，可以在Excel中建立一个表格。
2.3.2 输入数据初始化
当表格构建完成之后，可以将相关数据输入进行，为了便于神经网络对数据进行合理处理，需要将表格中第一个模块中的输入数据调整至[-1，1]范围中。当第一个模块构造完成之后，为了简化第二个模块的构造时间和步骤，可以利用线性公式对第一个模块的参数值进行合理调整，这个过程中使用的线性公式如下所示。
2.3.3 构建权重模块I
就输出节点、输入节点以及隐层节点之间的数目关系而言，输出节点与输入节点数量之和的一般是隐层节点的实际设置数目。在权重模块中，需要将所有的数值初始化为1.0。
2.3.4 当权重模块I构建完成之后
需要考虑隐层节点的输出模块。这个步骤主要需要根据神经网络的操作模型进行。
2.3.5 构建权重模块II
该模块的构建步骤与第三步中的做法相同，但在这个模块中，需要在单一的输出节点和隐层节点之间建立连接。
2.3.6 神经网络的最终输出
这个步骤与第四步类似。
2.3.7 对神经网络的输出值进行反调整，并对误差进行有效计算
神经网络输出值的反调整范围集中在初始赋值范围中。
2.4 神经网络的训练过程
当神经网络电子表格模拟完成之后，需要对神经网络进行训练，也可以将这个过程看成是权值的优化过程。由于权值优化过程具有一定的复杂性特点，因此可以将Excel中的Solver程序应用到这种预测方法中，与其他算法相比，这种算法的优势表现为可以直接在表格中运行，简化了操作步骤，实现该预测方法掌握难度的有效降低。运用这种预测方法进行操作可以发现，网络运行结果满意，应用这种预测方法的预测误差小于0.4%。
2.5 分析参数变化对模型预测结果的敏感性
用户通常无法确定能够对特定工程进行精确描述的特征因素是什么，因此，为了保证模型的实用性，需要对参数变化对模型预测结果的敏感性进行有效测定。测定参数变化对模型预测结果敏感性的较为复杂，首先，用户需要将工程中无法肯定的某一特征因素或几个特征因素的组合选择出来，然后使用户选取的参数在初始值周围逐渐变动，并将参数变动范围控制在25%之内，为了更好地对参数对模型预测结果的敏感性进行分析，需要对样本资料的数量进行合理控制。分析参数对模型预测结果名感性的界面如图1所示。在实际分析过程中，需要将第一个模块公式变为分别对多个分析资料进行计算，结合计算结果得出计算结果的标准差和平均值，并将估计成本与标准差和平均值进行比较。就平均值而言，在选定参数发生变化的情况下，可以通过敏感性分析对模块中输入参数的实际重要性进行有效判断，通过不同参数的分别变化，分别对其进行敏感性分析，将所得标准差和平均值与最初估计进行比较，进而得出模块中输入参数的实际重要性判断结果。
3 结论
随着建筑企业面临竞争压力的不断增大，建筑企业对建筑工程成本控制越来越重视。有效工程造价估算方法的使用可以帮助建筑企业获得更多的经济效益，传统的工程造价估算方法精确度较低，基于神经网络的工程造价估算方法可以保证工程造价估算结果的准确性。
参考文献
[1]孙金丽，郑立群，张世英.基于神经网络的工程造价估算方法及其Excel实现[J].基建优化，2003（01）：38-40.
[2]吴子燕.基于人工神经网络的高校建筑工程造价预测系统的研究与应用[D].西安：西北工业大学，2006.
[3]赵欣.基于BP神经网络的地铁土建工程造价估算方法研究[D].北京：北京交通大学，2008.
