前言：中文期刊网精心挑选了训练神经网络的优化方法范文供你参考和学习，希望我们的参考范文能激发你的文章创作灵感，欢迎阅读。
训练神经网络的优化方法范文1
【关键词】遗传算法；BP神经网络；柴油机；故障诊断
柴油机缸盖振动信号中包含着丰富的工作状态信息，在对其现代诊断技术中，基于振动信号分析的诊断方法显示出了其优越性，利用缸盖振动信号诊断柴油机故障是一种有效方法。故障特征的提取和故障类型的识别是利用振动信号分析法在对柴油机进行故障诊断过程中两个最为重要的过程。根据提取的故障特征识别柴油机的故障类型是一个典型的模式识别问题，对柴油机故障类型识别采用恰当的模式识别方法就尤为重要。神经网络作为一种自适应的模式识别技术，其通过自身的学习机制自动形成所要求的决策区域，而不需要预先给出有关模式的经验知识和判断函数；它可以充分利用状态信息，对来自于不同状态的信息逐一进行训练而获得某种映射关系。鉴于其自身特性，在故障模式识别领域中有着越来越广泛的应用。而据统计，有80%～90%的神经网络模型都是采用了BP网络或者是它的变形。BP网络是前向网络的核心部分，是神经网络中最精华、最完美的部分。但是它也存在一些缺陷，例如学习收敛速度、不能保证收敛到全局最小点、网络结构不易确定。遗传算法是一种基于生物自然选择与遗传机理的随机搜索算法。其基本操作是选择、交叉和变异，核心内容是参数编码、初始群体的设定、适应度函数的设计、遗传操作设计和控制参数的设定。遗传算法通过种群随机搜索，对数据进行并行处理，将结果收敛到全局最优解。因此，将遗传算法与BP神经网络结合应用于柴油机故障诊断中，可以提高网络的性能，避免网络陷入局部极小解，进而实现对设备故障的识别。
1 BP神经网络
1.1 BP神经元模型在柴油机故障诊断中的应用
BP神经网络是一种多层前馈型神经网络，其神经元的传递是S型函数，输出量为0至1之间的连续量，它可以实现从输入到输出的任意非线性映射。由于权值的调整采用反向传播学习算法，因此也称为其为BP网络。
图1 BP神经元模型
上图给出一个基本的BP神经元模型，它具有R个输入，每个输入都通过一个适当的权值和ω下一层相连，网络输入可表示为：
a=f（wp+b）
f就是表示输入/输出关系的传递函数。
BP神经网络的结构与所有影响齿轮故障的特征因素有关。柴油机运动部件多而复杂，激励源众多且其频率范围宽广，加之噪声的融入，使得柴油机表面振动信号极为复杂。基于这种特点，可以确定用于柴油机故障诊断的BP神经网络的输入层、输出层隐含层以及节点数等。由小波包提取各柴油机故障的特征值作为输入节点，输出节点数目与柴油机故障类别的数目有关。
1.2 BP神经网络与遗传算法
BP神经网络又称为反向传播算法，其算法数学意义明确、步骤分明，是神经网络中最为常用、最有效、最活跃的一种网络模型。常用方法梯度下降法和动量法，但是梯度下降法训练速度较慢，效率比较低，训练易陷入瘫痪，而且其实质是单点搜索算法，不具有全局搜索能力；动量法因为学习率的提高通常比单纯的梯度下降法要快一些，但在实际应用中速度还是不够；BP神经网络学习训练开始时网络的结构参数是随机给定的，因此结果存在一定的随机性。
遗传算法（Genetic Algorithm，GA）是模拟达尔文的遗传选择和自然淘汰的生物进化过程的计算模型，它是由美国密歇根大学的J.Holland 教授于1975年首先提出来的，遗传算法具有很强的宏观搜索能力和良好的全局优化性能，因此将遗传算法与BP神经网络结合，训练时先用遗传算法对神经网络的权值进行寻找，将搜索范围缩小后，再利用BP网络来进行精确求解，可以达到全局寻找和快速高效的目的，并且可以避免局部极小点问题。该算法不仅具有全局搜索能力，而且提高了局部搜索能力，从而增强了在搜索过程中自动获取和积累搜索空间知识及自应用地控制搜索的能力，从而使结果的性质得以极大的改善。
2 基于遗传算法的BP神经网络
遗传算法优化BP神经网络主要分为：BP神经网络结构确定、遗传算法优化权值和阀值、BP神经网络训练及预测。其中，BP神经网络的拓扑结构是根据样本的输入/输出个数确定的，这样就可以确定遗传算法优化参数的个数，从而确定种群个体的编码长度。因为遗传算法优化参数是BP神经网络的初始权值和阀值，只要网络结构已知，权值和阀值的个数就已知了。神经网络的权值和阀值一般是通过随机初始化为[-0.5，0.5]区间的随机数，这个初始化参数对网络训练的影响很大，但是又无法准确获得，对于相同的初始权重值和阀值，网络的训练结果是一样的，引入遗传算法就是为了优化出最佳的初始权值和阀值。
2.1 基于遗传算法的BP神经网络在柴油机故障诊断中的应用
通过基于遗传算法的BP神经网络建立小波包特征量与故障之间的对应关系。表1为柴油机常见故障在不同频段的能量分布，构成了人工神经网络的训练样本。表2为网络输出样本，“0”代表没有故障，“1”代表发生故障。利用表1中的训练样本对基于遗传算法的BP神经网络进行训练，经1000次训练达到了理想训练效果。
表1 训练样本
表2 网络理想输出
表3 待诊断的故障样本
表4 诊断结果
将表3中的待诊断的故障样本输入到已经训练好的BP神经网络，得到诊断结果如表4所示。第1组待诊断的信号第1个输出节点接近1，可以根据训练样本结果判断该组数据故障为供油提前角晚；第2组待诊断的信号第4个输出节点接近1，根据训练样本结果可以判断该组数据故障类型为供油提前角早；第3组待诊断的信号第7个数据节点接近1 ，可以判断故障类型为针阀卡死，其诊断结果和现场勘查结果一致。
3 结语
遗传算法优化BP神经网络的目的是通过遗传算法得到更好的网络初始值和阀值。通过以上研究可以看出，遗传算法和BP算法有机的融合，可以有效地弥补BP神经网络结构、权值和阀值选择上的随机性缺陷，充分利用了遗传算法的全局搜索能力和BP神经网络的局部搜索能力，克服了传统的BP神经网络柴油机故障诊断的缺点，提高了柴油机故障诊断的精度。
【参考文献】
训练神经网络的优化方法范文2
关键词：电阻点焊；神经网络；消音锯片
0序言
电阻点焊过程是一个高度非线性，既有多变量静态叠加又有动态耦合，同时又具有大量随机不确定因素的复杂过程。这种复杂性使得传统方法确定最佳工艺参数存在操作复杂、精度低等缺陷。
本文通过深入研究提出了一种神经网络优化消音锯片电阻点焊工艺参数方法。以试验数据为样本，通过神经网络，建立焊接工艺参数与焊接性能之间的复杂模型，充分发挥神经网络的非线性映射能力。为准确预测点焊质量提高依据。在运用试验手段、神经网络高度非线性拟合能力结合的方式，能在很大程度上克服传统方法的缺陷，完成网络的训练、检验和最优评价，为电阻点焊过程的决策和控制提供可靠依据。
1原理
人工神经网络是用物理模型模拟生物神经网络的基本功能和结构，可以在未知被控对象和业务模型情况下达到学习的目的。建立神经网络是利用神经网络高度并行的信息处理能力，较强的非线性映射能力及自适应学习能力，同时为消除复杂系统的制约因素提供了手段。人工神经网络在足够多的样本数据的基础上，可以很好地比较任意复杂的非线性函数。另外，神经网络的并行结构可用硬件实现的方法进行开发。目前应用最成熟最广泛的一种神经网络是前馈多层神经网络（BP），通常称为BP神经网络。
神经网络方法的基本思想是：神经网络模型的网络输入与神经网络输出的数学关系用以表示系统的结构参数与系统动态参数之间的复杂的物理关系，即训练。我们发现利用经过训练的模型进行权值和阈值的再修改和优化（称之为学习）时，其计算速度要大大快于基于其他优化计算的速度。
BP神经网络一般由大量的非线性处理单元——神经元连接组成的。具有大规模并行处理信息能力和极强的的容错性。每个神经元有一个单一的输出，但可以把这个输出量与下一层的多个神经元相连，每个连接通路对应一个连接权系数。根据功能可以把神经网络分为输入层，隐含层（一或多层），输出层三个部分。设每层输入为ui(q)输出为vi(q)。同时，给定了P组输入和输出样本 ，dp（p=200）。
（6）
该网络实质上是对任意非线性映射关系的一种逼近，由于采用的是全局逼近的方法，因而BP网络具有较好的泛化的能力。
我们主要是利用神经网络的非线性自适应能力，将它用于消音锯片的电阻点焊过程。训练过程是：通过点焊实验获得目标函数与各影响因素间的离散关系，用神经网络的隐式来表达输入输出的函数关系，即将实验数据作为样本输入网络进行训练，建立输入输出之间的非线性映射关系，并将知识信息储存在连接权上，从而利用网络的记忆功能形成一个函数。不断地迭代可以达到sse（误差平方和）最小。
我们这次做的消音金刚石锯片电焊机，通过实验发现可以通过采用双隐层BP神经网络就可以很好的反应输入输出参数的非线性关系。输入神经元为3，分别对应3个电阻点焊工艺参数。输出神经元为1，对应焊接质量指标参数。设第1隐含层神经元取为s1，第2隐含层神经元取为s2。输入层和隐含层以及隐层之间的激活函数都选取Log-Sigmoid型函数，输出层的激活函数选取Pureline型函数。
2点焊样本的选取
影响点焊质量的参数有很多，我们选取点焊时的控制参数，即点焊时间，电极力和焊接电流，在固定式点焊机上进行实验。选用钢种为50Mn2V，Φ600m的消音型薄型圆锯片基体为进行实验。对需要优化的参数为点焊时间，电极力和焊接电流3个参数进行的训练。最后的结果为焊接质量，通常以锯片的抗拉剪载荷为指标。
建立BP神经网络时，选择样本非常重要。样本的选取关系到所建立的网络模型能否正确反映所选点焊参数和输出之间的关系。利用插值法，将输入变量在较理想的区间均匀分布取值，如果有m个输入量，每个输入量均匀取n个值（即每个输入量有m个水平数）， 则根据排列组合有nm个样本。对应于本例，有3个输入量，每个变量有5个水平数，这样训练样本的数目就为53=125个。
我们的实验，是以工人的经验为参考依据，发现点焊时间范围为2~8s，电极力范围为500~3000N，点焊电流范围为5~20kA时，焊接质量比较好。我们先取点焊电流，电极力为定量，在合理的范围内不断改变点焊时间，得到抗拉剪载荷。如此，可以得到不同点焊电流和电极力的抗拉剪载荷。根据点焊数据的情况，我们共选用200组数据。部分测试数据如表1：
神经网络建模的关键是训练，而训练时随着输入参数个数的增加样本的排列组合数也急剧增加，这就给神经网络建模带来了很大的工作量，甚至于无法达到训练目的。
3神经网络
我们用200组训练样本对进行神经网络训练，以err_goal=0.01为目标。调用Matlab神经网络工具箱中的函数编程计算，实现对网络的训练，训练完成后便得到一个网络模型。
程序如下：
x1=[2.1 2.5 3 3.5 4……]； %点焊时间输入，取200组
x2=[1.3 1.5 1.9 2.1 2.3……]；%电极力输入，取200组
x3=[9 10 11 12 13……];%点焊电流输入，取200组
y=[2756 3167 3895 3264 2877……]； %输出量，取200组
net=newff([1 10;0.5 3;5 20]，[10 10 1]，{'tansig''tansig''purelin'});
%初始化网络
net.trainParam.goal = 0.01;%设定目标值
net=train(net，[x1;x2;x3]，y);%训练网络
figure； %画出图像
选取不同的s1，s2，经过不断的神经网络训练，发现当s1=8，s2=6时，神经网络可以达到要求。工具箱示意图如下图1。
图 1工具箱示意图
工具箱示意图非常清晰地表示了本实验的神经网络的输入，输出以及训练的过程。
神经网络的训练结果，如图2所示:
图2神经网络的学习过程
图中可以看出双层网络训练的sse在训练100次时，已经接近0.0001，效果较理想。
为了验证经过训练的网络模型的泛化能力，在输入变量所允许的区域内又另选多个样本进行了计算。发现：利用BP神经网络模型计算的测试输出与期望输出值相符，误差小于2％。
在已经训练好的网络中找出最大值：
for i=2:10 %点焊时间选择
for j=0.5:0.1:3%电极力选择
fork=5:0.1:20%点焊电流选择
a=sim(net，[i，j，k])；%仿真
ifa>n %比较仿真结果与最大值，取最大值n=a；
i(1)=i；%最大值的时间
j(1)=j；%最大值的电极力
k(1)=k； %最大值的电流
end
end
end
end
将i（1），j（1），k（1）以及n输出，n为最大值。得到点焊时间为3.4s，电极力为12.7kN，点焊电流为11.8kA，此时的抗剪拉剪载荷为4381N，为训练结果的最大值。将点焊时间为3.4s，电极力为12.7kN，点焊电流为11.8kA在点焊机上进行实验，得到结果为4297N。并且通过与实际的结果相比较，发现误差也在2%以内。
4结论
1）本文采用了插值法作为选取BP神经网络训练样本的方法。并且在数据变化剧烈的地方多选取了75组数据，这样可以得到较高精度的网络模型，使点焊模型的可行性。
2）基于此方法建立了三个点焊参数的BP神经网络模型，而且所建的BP模型具有较高的精度，可以很好的描述了这三个点焊参数与点焊质量的映射关系。
3）由于神经网络模型将系统结构参数与传统动态特性参数之间的物理关系，反映为神经网络模型的网络输入与网络输出的数学关系，因此，在神经网络模型上进行结构修正与优化比在其他模型上更直接，简单与高效。
本文采用神经网络的方法优化复合消音锯片的点焊工艺参数，为分析点焊质量提供了很好的辅助手段。通过与以前工艺相比较，提高了点焊质量。
参考文献
[1] 方平，熊丽云.点焊电流有效值神经网络实时计算方法研究.[J].机械工程学报，2004（11）.148-152.
训练神经网络的优化方法范文3
【摘要】
人工神经网络模拟人脑生物神经网络系统处理信息的方式，是通过经验而不是通过设计好的程序进行学习、训练，这些构成了人工神经网络具有模式识别、预测、评价和优化决策等能力的基础。本文就神经网络近年来在药剂学的处方设计及优化、制备工艺及体内体外相关性评价等方面的应用做一综述。
【关键词】 人工神经网络；药物制剂
Abstract：Artificial neural networks simulating the process of human brains nerve systems to deal with information，which learning and training date according with the experience other than the designed programme，is the base of the ability that the artificial neural network could be used for pattern distinguish，prediction and optimization etc.This papertbriefly reviewed the application of neural networks in pharmaceutical fields，such as formulation optimization，preparation parameters optimization and in vitro-in vivo correlation evaluation.
Key words：artificial neural networks;pharmaceutic
药物制剂研究是一个复杂的过程，包括制剂处方，制剂制备工艺及制剂体内体外评价等，其中任何一个方面都属于多因素，多水平的复杂优化问题。例如处方设计过程中涉及不同质量不同用量的各种敷料配比及压力、温度、水分等，这些因素直接影响剂型的安全性和有效性；制剂设备工艺涉及众多纷繁复杂的工艺参数优化，制剂体内体外评价更是受生物系统的极端复杂性影响。过去人们通常依靠某一方面的专家来承担相应的工作，免不了受许多经验化主观因素的影响，效率较低，而基于人工智能的神经网络则很适于处理这类复杂的多变量非线性系统，并可通过网络的预测能力实现多因素的同步优化［1-3］。
1 神经网络理论
人工神经网络(artificial neural network)是一种由大量简单处理单元以某种方式相互连接而成，对连续的输入做出状态响应的动态信息处理系统。它模拟人脑生物神经网络系统处理信息的方式，通过经验而不是通过设计好的程序进行学习、训练。因此，人工神经网络具有人脑的某些重要特性，如联想记忆、并行处理、自学习、自组织、自适应和容错性等能力，这些构成了人工神经网络具有模式识别、预测评价和优化决策等能力的基础。
如图1所示，这是含有一个隐含层的神经网络示意图，其中空心圆圈表示神经元，神经元是神经网络（neural network）的基本单元，也称为节点。每层中可以包含多个节点，多层节点之间按一定的方式相互连接构成神经网络。神经网络的信息处理功能由神经元的输入和输出、网络的拓扑结构、连接权的大小（突触联系强度）以及神经元的阈值所决定的。输入层节点的输入变量为自变量（样本图1 神经网络结构示意图
Fig.1 Delineation of structure of artificial neural networks
参数），输出层节点的输出变量为应变量（目标函数），当多个输入进入神经元后，其加权求和值超过神经元的阈值后会形成输出，通过连接权连接，传递到下一层神经元，作为下一层神经元的输入值，这样按网络的拓扑结构依次传递。根据神经网络的计算原理，每一神经元的输入值将更新变化，最后到达输出层。将输出值与样本的期望输出值进行比较，计算出误差，按学习规律将误差反向传播到前一层神经元，调整连接权大小，重新计算，再输出。如此反复，直到训练集样本输出误差和达到期望值。至此得到固定的连接权值，就达到对未知样本进行预测和分析。其中网络的信息主要储存在连接权中［4］。
根据神经元之间的相互结合关系和作用方式，神经网络模型可以分为很多种，其中反向传播神经网络(back-propagation neural network)即BP［5］神经网络是目前药剂领域中应用最广泛、计算能力最强的人工神经网络模型之一。由于这种网络的权值和阈值调整采用了反向传播的学习算法，解决了感知器所不能解决的问题，可以实现从输入到输出的任意非线性映射。在确定了网络的结构后，利用输入样本集对其进行训练，即对网络的权值和阈值进行学习和调整。经过训练的BP网络，对于不是样本集中的输入样本也能给出合适的输出，利用这种方式可以使用该网络对未知样本进行预测。
2 人工神经网络在药剂中的应用
2.1 药物制剂处方设计及优化
制剂处方设计及优化是目前神经网络在药物制剂中应用最多［6-11］，也是比较有发展前景的方向之一，尤其是应用于缓控释制剂的处方优化和设计中。
梁文权［12］等将人工神经网络应用于优化HPMC缓释片处方。以药物的溶解度、含药量、HPMC的量、HPMC的固有黏度、辅料的量、黏合剂的浓度、溶出仪的转速为神经网络的输入，药物的累计释放量作为输出，采用BP网络对52个样本进行训练，建立BP神经网络模型。然后与优化算法相结合实现对乙酰氨基酚、甲氧苄氨嘧啶、米诺地尔、氧氟沙星等模型药物在不同的含药量、不同转速条件下的处方进行优化。试验结果发现利用神经网络预测药物的释放、训练处方和测试处方的实测值和预测值能很好吻合，得到的4个优化处方的释放值均和目标值很接近。魏晓红［13］等选取9种药物作为模型药物，按HPMC：糊精=5-0.2∶1配比制成不同释放度的缓释片，测定各个处方的释放度，以每个药物的溶解度和处方中HPMC∶糊精的配比值作为网络的输入，以释放度测量中每个给定取样时间点药物的累积释放量作为输出变量，得到含一个隐含层，迭代次数为25次的BP神经网络，通过优化，成功拟定了4个制剂处方，按此处方制备的缓释片的实测释放值与神经网络预测值相符。根据此法，可以从药物的溶解度设计符合一定释放度要求的缓释制剂处方。
骆快燕［14］等用干压包衣技术制备卡托普利延时起效延缓片时，用人工神经网络预测释药时滞。运用一个3层BP神经网络，以释放度作为输入层神经元，以对应时间点作为输出层神经元，得到一个含8个隐含层神经元的BP网络，其中变换函数为双曲正切函数，学习规则为归一化累积Delta规则，目标误差为0.001，学习速率为0.01。神经网络预测释药时滞结果为后面用SAS进行多元线性回归提供了可靠的数据，使预测优化处方很快达到设计要求。
吴涛等［15］在硫酸沙丁胺醇渗透泵控释片的处方筛选中采用反应曲面法和人工神经网络法优化法。选择包衣液中PEG 1 500含量与包衣膜的厚度为网络的输入因素，以各个处方1～8小时的积累释放度对实践的相关系数和各处方8小时的累积释放度为输出因素，在36个实验处方中随机抽取24个作为网络的训练数据，其余作为网络的测试数据检测网络预测性能，建立了含一个隐含层的BP神经网络建立模型，最后根据预测结果实现处方优化。比较结果证实神经网络方法较优。
2.2 药物制剂制备工艺方面的应用
药物剂型的制备工艺过程中，存在着诸如温度、压力、粘度、流速等诸多影响因素，这些工艺参数与制剂质量指标之间往往存在很强的非线性和耦合性，很难用传统的方法建立有效的质量控制模型。基于人工智能的人工神经网络具有辨识和逼近任意复杂非线性系统的能力，而且具有一定的容错能力，可以同步优化制备工艺中的多个工艺参数［16］。
张宇飞等［17］收集某大型中药企业滴丸制剂生产线的100多个生产批次，每个批次包含多个数据的样本作为神经网络训练集，设计了一个具有三个层的BP神经网络，输入层的5个节点分别为化料温度，化料时间，滴制温度，滴制速度及冷凝温度；输出层的结点为滴丸成品率，建立了某滴丸制剂过程工艺参数与滴丸成品率之间的神经网络映射模型。然后利用遗传算法对模型输入参数空间进行寻优，搜索使滴丸成品率达到最优时所对应的工艺参数值。经生产试制，利用优化后的工艺参数值进行生产，能使该制剂过程的成品率提高约2.6个百分点，表明利用神经网络与遗传算法对制剂过程进行建模与优化是合理的，该项目属于国家863高技术研究发展计划项目。
2.3 药物制剂体内－体外相关性评价的应用
建立体内外相关性评价方法对药物制剂研究非常重要。一个好的体内外相关性模型应能使预测值与实测值相互吻合，从而用体外的释药数据预测药物的体内过程，设计与已知制剂生物等效的制剂，或者制定药物制剂的质量标准及指导临床用药。但是生物系统是极其复杂的，药物在体内的代谢过程也是相当复杂的，使得判定药物疗效与生物学、药物动力学及药物分布等各因素之间的关系非常困难［18］。人工神经网络是模拟生物神经系统对外界系统的认知过程，它给我们提供了一个很好的研究体内外相关性的方法［19-20］。
李凌冰［21］等采用人工神经网络结合Wagner-Nelson法，研究氯氮平非pH依赖型缓释片的体内体外相关性。以处方中HPMC与琥珀酸的用量为神经网络输入变量，考虑到缓控释制剂的特点，以2h的血药浓度，12h的血药浓度一时间曲线下面积AUCl2，以及血药浓度的峰值(max数据为输出，建立了氯氮平非pH依赖型缓释制剂处方组成和血药浓度之间的关系模型。以此为基础，绘制输出三个输出变量的等高线图谱，分别在3个等高线图谱上标记最佳变量所取值的范围，将3个图中的最佳区域结合在一起从而求得生物利用度最佳的处方。李凌冰等［22］应用人工神经网络研究红霉素缓释微囊的体内外相关性。以明胶为囊材制备红霉素缓释胶囊，以体外释放度的数据作为网络输入，血药浓度数据作为网络输出，通过比较血药浓度实测值与预测值的差异考察了网络的可靠性，结果令人满意。
3 结语
人工神经网络技术作为一种新方法新技术虽然已在药剂研究领域取得了一定的进展，但仍然有许多问题需要进一步的研究。例如神经网络虽然可用于制剂制备工艺参数的优化，但能否利用神经网络实时监控工艺过程以控制质量还需要进一步探讨；人工神经网络通常需要大量的数据训练网络，但有时数据的获得比较困难，尤其是体内的试验数据；神经网络拓扑结构的选择规律、传递函数的选取，防止过拟合和陷入局部最优等问题也需要在模型的建立过程中考虑；在制剂分析中的方法适应性和重现性等基础工作也还需要深入的研究。
总之，神经网络是一个充满了活力的研究领域，通过以上的简述可以发现神经网络在药剂学研究领域具有广阔的应用前景，相信随着神经网络理论和技术的不断发展，神经网络以其独特的模拟、学习、预测能力必将在药剂学的各个方面得到更充分的应用。
参考文献
［1］Takayama K，Fujikawa M，Obata Y，et al.Morishita M，Neural Network Based Optimization of Drug Formulations［J］.Advanced Drug Delivery Reviews，2003，55(9):1 217-1 231.
［2］Agatonovic-Kustrin S，Beresford R.Basic Concepts of Artificial Neural Networks Modeling and Its Application in Pharmaceutical Research［J］.Journal of Pharmaceutical and Biomedical Analysis，2000，22(4):717-727.
［3］K Takayama，A Morva， M Fujikawa，et al.Formula Optimization of Theophylline Controlled-release Tablet Based on Artificial Neural Networks ［J］.Journal of Controlled Release，2000，68(2):175-186.
［4］Hassoun M.Fundamentals of Artificial Neural Networks［M］.The MIT Press，1995:25.
［5］R J Erb.Introduction to Backpropagation Neural Network Computation［J］.Pharmaceutical.Research，1993，10(2):165-170.
［6］P.C.Wu，Y.Obata，M.Fujikawa，et al.Simultaneous Optimization Based on Artificial Neural Networks in Ketoprofen Hydrogel Formula Containing O-enthyl-3-butylcyclohexanol as Percutaneous Absorption Enhancer［J］.Journal of Pharmaceutical Sciences，2001，90(7):1 004-1 014.
［7］A P Plumb，R C Rowe，P York，et al.The Effect of Experimental Design on the Modeling of a Tablet Coating Formulation Using Artificial Neural Networks［J］.European Journal of Pharmaceutical Sciences，2002，16(3):281-288.
［8］Onuki Y，Hoshi M，Okabe H，et al.Formulation Optimization of Photocrosslinked Polyacrylic Acid Modified with 2-hydroxyethyl Methacrylate Hydrogel as an Adhesive for a Dermatological Patch［J］.Journal of controlled release，2005，108(2-3):331-340.
［9］Fan T，Takayama K，Hattori Y，et al.Formulation Optimization of Paclitaxel Carried by PEGylated Emulsions Based on Artificial Nneural Network［J］.Pharmaceutical Research，2004，21(9):1 692-1 697.
［10］Lim CP，Quek SS，Peh KK.Prediction of Drug Release Profiles Using an Intelligent Learning System:an Experimental Study in Transdermal Iontophoresis［J］.J Pharm Biomed Anal，2003，31(1):159－168.
［11］Plumb AP，Rowe RC，York P，et al.Effect of Varying Optimization Parameters on Optimization by Guided Evolutionary Simulated Annealing(GESA)Using a Tablet Film Coat as an Example Formulation［J］.European Journal of Pharmaceutical Sciences，2003，18(3-4):259-266.
［12］范彩霞，梁文权.神经网络多目标同步优化HPMC缓释片处方［J］.中国药学杂志，2004，39（10）：768－771.
［13］魏晓红，吴建军，梁文权.神经网络用于口服缓释制剂的处方设计［J］.药学学报，2001，36（9）：690-694.
［14］骆快燕，姚彤炜，黄安琪.卡托普利延迟起释型缓释片的研制［J］.中国现代应用药学杂志，2005，22（3）：224－228.
［15］吴淘，潘卫三，陈济民，等.多目标同步优化法优化硫酸沙丁胺醇渗透泵控释片的制备工艺［J］.药学学报，2000，35（8）：617-621.
［17］张宇飞，邵秀丽，雷建军.基于神经网络和遗传算法的中药滴丸制剂过程建模与优化［J］.计算机工程与应用，2005，2（2）：191-194.
［18］James AD.Artificial Network Applied to the in Vitro-in Vivo Correlation of an Extended-release Formulation:Initial Trials and Experience［J］.Journal of pharmaceutical Science，1999，88(1):154－160.
［19］Fu XC，Chen CX，Wang GP，et al.Prediction of Human Intestinal Absorption Using an Artificial Neural Network［J］.Pharmazie，2005，60(9):674-676.
［20］Balan G，Timmins P，Greene D，et al.In Vivo-in Vitro Correlation Models for Metformin after Administration of Modified-release Oral Dosage Forms to Healthy Human Volunteers［J］.Journal of.Pharmaceutical Sciences，2001，90(8):1 176-1 185.
训练神经网络的优化方法范文4
关键词：客运量预测；蚁群算法；神经网络；ACONN模型；灰色预测
中图分类号：G642 文献标识码：A 文章编号：1009-3044（2014）06-1348-04
Prediction and Analysis of Hefei Highway Passenger Quantity Based on ACA-NN
ZHANG Qinq-lin，LIU Chun-ling
（Department of Information Engineering， Anhui Economic Management Institute， Hefei 230051，China）
Abstract： According to the defects of neural network， this paper puts forward neural network highway customer forecast method which based on colony algorithm optimization. This model is used common BP neural network structure， the algorithm is used is a new kind of evolutionary algorithm- ant colony algorithm. Finally， it takes
highway passenger transportation in hefei as an example， try ACONN ant colony neural network application in the passenger traffic forecast， results show that the ant colony neural network model's prediction precision is better than other models.
Key words： Passenger traffic forecast；ant colony algorithm；neural networks；ACONN model；gray prediction
随着汽车保有量的增加，公路客运量也随之增加，公路客运能力受到了极大的挑战。如何有效利用现有工具来预测客运量，满足公路客运管理和交通工程建设，这是交通管理和建设部门面临的一项重要工作任务。国内外学者对预测模型进行了大量详尽的研究，其中AR模型、ARMA模型、ARIMA模型、Box-Jenkins方法、马尔可夫方法、灰色系统方法及统计回归方法等建模方法比较常用[1～2]。这些方法很多是线性的，无法逼近真实的历史数据；也有利用原始BP神经网络方法来预测，虽然多层BP网络可以实现任意可实现的线性和非线性函数的映射，但是在训练过程中易陷入局部最小的情况，所以这些预测方法的准确率还不是很高。该文针对神经网络存在无法有效收敛最优值问题，构建基于蚁群算法优化的神经网络的公路客运预测模型[3]。经过对2012年合肥公路客运量进行预测分析，掌握各个时段客运量的分布，有利于相关部门作出相应决策，应对客运高峰期带来的种种压力，更好地满足广大人民群众的需求， 以最合理的人力和财力的投入，来获得最大经济效率，达到最好的社会效果。
1 蚁群算法
蚁群算法（Ant Colony Algorithm，简称ACA）是人们受到对自然界中真实的蚂蚁群体行为启发而提出的一种仿生优化算法。属于随机搜索算法，该算法是在1991年召开的第一界欧洲人工生命会议上，由Dorigo M等人第一次提出的关于蚁群算法的基本模型[4]。Dorigo M等人通过模拟蚂蚁搜索食物的过程（就是怎样去找到蚁穴到食物源的最短路径，前提是在个体之间相互合作的情况下）来求解TSP问题。
该算法以前主要解决一维的静态优化问题，发展到现在用于解决多维动态组合优化的问题，在多种研究领域，已经得到广泛应用。蚁群算法目前软件及硬件的实现上都取得了突破性的研究进展，既具有深刻的学术思想，又具有广阔的发展前景。
以TSP为例，基本蚁群算法的程序结构流程图如图1。
2 蚁群算法与神经网络NN（Neural Network）的融合
2.1 基本思想
针对反向传播BP（Back Propagation）算法容易陷入局部极小的不足，采用蚊群优化算法ACO（Ant Colony Optimization）训练方法。[5]蚁群优化神经网络训练过程就是在实数权值组合中，找到一组最优的，使得期望结果与输出结果之间的误差达到最小，而蚁群算法正是寻找这样的最优权值组合的不错选择。
2.2 构建蚁群优化神经网络ACONN系统
应用蚁群优化神经网络ACONN（Ant Colony Optimization Neural Network）系统预测的框图2如下，首先对输入数据进行预处理，再建立原始的神经网络，再次利用蚁群算法来优化神经网络的权值、阈值构建一个性能完好的ACONN系统，最后利用优化好的ACONN系统来预测，输出预测数据。
图2 ACONN系统预测图
3 合肥客运量预测的蚁群优化神经网络模型构建
3.1 样本采集与数据预处理
样本选择了以合肥市历年的客运量为样本数据，月为单位的训练样本选择了2011年每月的数据，预测2012年中每月的客运总量。
由于BP神经网络要求输入的数据范围一般在（0，1）。因此对样本数据进行归一化处理。其公式为[6]：
[Y=X-XminXmax-Xmin]
其中Xmax取一个比较大的值，保证预测年的数据小于该数值， Xmin取一个小于样本数据序列中最小值的值，保证归一化后的数据不太接近于0。
3.2 预测方式选择及ACONN的训练样本设计
我们知道，目前我们基于蚁群优化的神经网络的客运预测模型，它是属于一种数据驱动的方法，也就是说，我们去利用目前神经网络的一种非线性的特性去逼近一个时间序列，这样通过神经网络的清晰逻辑关系，并且利用过去时刻的值，去表达未来某一时刻的值。我们的人工神经网络预测，目前可以分为单变量时间序列预测和多变量时间序列预测[7]。所以说无论是单变量时间序列预测还是多变量时间序列预测，都可以使用我们平时的常用的方法，共有三种是：单步预测，滚动预测，多步预测[8]。
现采用的是滚动预测方式，在训练样本设计时需要根据网络的结构。以月为单位预测，采用2个输入，即连续两年的同月份2个月数据作为输入，下一年同月份作为输出。设有归一化的样本集 X（t）（t=1，2，…，n），选择一步预测时，选取个m输入，1个输出，可组成如下的训练组对：
表1
[输入数据 期望输出＼&X（1），X（2），…，X（m） X（m+1）＼&X（2），X（3），…，X（m+1） X（m+2）＼&…… ……＼&X（n-m），X（n-m+1），…，X（n-1） X（n）＼&]
3.3 蚁群优化神经网络的结构与参数
现在我们所熟知的蚁群优化神经网络采用具有一个隐含层的三层BP网络结构。由于采用年和月为单位预测，因此根据需要在输入层、隐含层上有差别，具体的各层神经元个数在年与月的预测中有具体的设置。目前，我们可以去根据万能逼近定理，如果有一个三层的BP网络，它可以以任意的精度去逼近一个连续函数。这样，也就是说可以采用具有一个隐含层的三层BP网络结构。在网络模型结构确定的基础上设定网络参数，网络的连接数目S，蚁群算法参数选为ρ=0.7，Ant=40，网络权值参数随机值选值N=30， 网络权值参数随机值范围为[-3，3]，训练次数为500次学习，像Q、S等参数根据年和月的预测会有所不同，在后续有具体设置。
3.4 预测分析
现在用蚁群优化神经网络ACONN、反向传播神经网络BPNN、灰色预测GM（1，1）三种模型分别对来合肥市客运量进行预测[9-10]。ACONN是通过蚁群算法找到最优的初始权值，从而固定了初始权值，因此每次的预测值几乎趋于固定；可是目前神经网络中，我们知道它的初始权值的选取，都是具有随机性的，所有我们去使用相同的数据，去进行多次预测时时候，得到的预测结果就不会完全相同。因此，为了使预测更具有一定的普遍性，ACONN与BPNN可以采取一样的网络结构，同时我们选取10次预测的平均值作为最终的预测结果。
将ACONN、BPNN、GM（1，1）模型分别作预测，将预测结果进行反归一化，预测结果如下表：
表2
将ACONN、BPNN、GM（1，1）模型预测合肥市客运量结果用图形表示，可以更直观看到它们之间预测的精度。具体预测结果如图3。
图3 ACONN、BPNN、GM（1，1）模型预测结果图
从每幅图形可以直观地看出ACONN的数据在实际值附近有很小的波动，BPNN数据值比ACONN的在实际值附近波动要大些，而GM（1，1）数据只有中间很小区间比较精确一点，而数据的开始和末端状态都表现出发散，其数据预测精度不高。所以比较之，ACONN很明显表现出很好的优势，预测数据比较稳定。
4 结束语
ARIMA模型、Box-Jenkins方法、马尔可夫方法、灰色系统方法及统计回归方法等，这些预测方法很多是线性的，无法逼近真实的历史数据。利用原始BP神经网络方法来预测，我们现在知道，虽然多层的BP网络能去实现任意一个可实现的线性以及非线性函数的映射，但是在训练过程中易陷入局部最小的情况，所以这些预测方法的准确率还不是很高。经过分析蚁群算法在神经网络中应用的可行性后，提出一种基于蚁群算法和神经网络相结合的新型预测方法，该方法可以有效地避免原始BP神经网络存在的问题和单一预测方法精确度不高的缺陷，为预测提供了新的途径。
参考文献：
[1] 翁钢民，郑竹叶，刘洋，等.基于GM-Markov 模型的旅游客源预测[J].燕山大学学报，2008，9（2）：109-112.
[2] 李松，刘力军，郭海玲.短时交通流混沌预测方法的比较[J].系统工程，2009，27（9）：60-64.
[3] 董超俊，刘智勇.多层混沌神经网络及其在交通量预测中的应用[J].系统仿真学报，2007，19（10）：101-104.
[4] 张维存，郑丕谔，吴晓丹.蚁群遗传算法求解能力约束的柔性作业车间调度问题[J].计算机集成制造系统，2007，13（2）：333-337.
[5] 万李，杨杰.小波神经网络在短时交通流量预测中的应用[J].计算机仿真，2012，29（9）：352-355.
[6] 方琴，李永前.K 近邻短期交通流预测[J].重庆交通大学学报：自然科学版，2012，31（4）：829-831.
[7] 吴宝春，郑蕊蕊，李敏，杨亚宁.基于遗传灰色GM（1，1，ρ）模型的短时交通流量预测[J].电子设计工程，2012，20（13）：165-167.
[8] 郭杰，丁镠，朱超余.灰色预测模型的系统动力学仿真[J].电子设计工程，2011，19（14）：4-7.
训练神经网络的优化方法范文5
旅游市场趋势预测是旅游业发展战略和旅游规划与开发工作的重要基础依据，一直是旅游市场研究中最重要的内容之一。根据市场趋势预测的结果，旅游相关部门才可以制定合理的旅游规划，进行旅游资源的优化配置。旅游市场趋势预测是在对影响市场的诸因素进行系统调查和研究的基础上，运用科学的方法，对未来旅游市场的发展趋势以及有关的各种因素的变化，进行分析、预见、估计和判断。
近年来，旅游研究者对旅游市场趋势预测的方法进行了探索。目前主要有时间序列法、回归分析法、指数预测法、人工神经网络法。由于旅游市场的变化受到诸多因素的影响，导致旅游市场的趋势预测难度较大，但我们对预测精度的要求却越来越高。
本文是基于人工神经网络方法，提出使用遗传算法对人工神经网络进行优化，探索更精确、更适用于旅游市场预测现实状况的预测方法。
1 方法概述
人工神经网络是近年来的热点研究领域，是人类智能研究的重要组成部分，已经成为神经科学、计算机科学、认知科学、数学和物理学等多学科关注的热点。其应用领域包括：分类、预测、模式识别、信号处理和图像处理等，并继续向其他领域延伸。
1.1 BP神经网络
BP神经网络是一种多层前馈神经网络，该网络的主要特点是信号前向传递，误差反向传播。在前向传递中，输入信号从输入层经隐含层逐层处理，直至输出层。每一层的神经状态只影响下一层神经元状态。如果输出层得不到期望输出，则转入反向传播，根据预测误差调整网络权值和阈值，从而使BP神经网络预测输出不断逼近期望输出。
图中，X1，X2，…，Xn是BP神经网络的输入值，Y1，Y2，…，Ym是BP神经网络的预测值，wij和wjk为BP神经网络权值。从图可以看出，BP神经网络可以看成一个非线性函数，网络输入值和预测值分别为该函数的自变量和因变量。当输入节点数为n，输出节点数为m时，BP神经网络就表达了从n个自变量到m个因变量的函数映射关系。
1.2 遗传算法
遗传算法（Genetic Algorithms）是1962年由美国Michigan大学Holland教授提出的模拟自然界遗传机制和重托进货论而成的一种并行随机搜索最优化方法。它把自然界“优胜劣汰，适者生存”的生物进化原理引入优化参数形成的编码串联群体中，按照所选择的适应度函数并通过遗传中的选择、交叉和变异对个体进行筛选，使适应度值好的个体被保留，适应度差的个体被淘汰，新的群体既继承了上一代的信息，又优于上一代。这样反复循环，直至满足条件。
1.3 遗传算法优化BP神经网络的流程
遗传算法优化BP神经网络分为BP神经网络结构确定、遗传算法优化和BP神经网络预测3个部分。其中，BP神经网络结构确定部分根据按拟合函数输入输出参数个数确定BP神经网络结构，进而确定遗传算法个体的长度。遗传算法优化使用遗传算法优化BP神经网络的权值和阈值，种群中的每个个体都包含了一个网络所有权值和阈值，个体通过适应度函数计算个体适应度。遗传算法通过选择、交叉和变异操作找到最优适应度值对应个体。BP神经网络预测用遗传算法得到最优个体对网络初始权值和阈值赋值，网络经训练后预测函数输出。
遗传算法优化BP神经网络是用遗传算法来优化BP神经网络的初始权值和阈值，使优化后的BP神经网络能够更好地预测函数输出。遗传算法优化BP神经网络的要素包括种群初始化、适应度函数、选择操作、交叉操作和变异操作。
1）种群初始化
个体编码方法为实数编码，每个个体均为一个实数串，由输入层与隐含层连接权值、隐含层阈值、隐含层与输出层连接权值以及输出层阈值4部分组成。个体包含了神经网络全部权值和阈值，在网络结构已知的情况下，就可以构成一个结构、权值、阈值确定的神经网络。
2）适应度函数
2 实证分析
旅游客流量与当地旅游硬件及软件设施建设、各种交通设备的完善程度有着密切的关系。一个旅游地的交通设施完善程度决定了该景区的可进入性以及客源地到旅游地的时间距离，直接影响该景区游客量。此外，景区建设情况及旅游接待设施的建设情况决定着景区的吸引力。需要指出的是，由于信息传达的特性，游客数量对景区旅游相关条件改善的反应具有延迟性的特点。本文中，采用2000 年以来北京旅客周转量、人均GDP、全国交通、A级及以上景区个数、北京公共交通运营线路长度、北京市基础投资，预测北京市旅游人数。
通过查询中国国家统计局及北京市统计局相关资料，得到全国人均GDP、全国交通、北京市旅客周转量、北京市A级及以上景区个数、北京市公共交通运营线路长度、北京市基础投资数据，如表1所示。
根据遗传算法和BP 神经网络理论，在MATLAB 软件中编程实现基于遗传算法优化的BP神经网络进行预测。预测误差及真实值与预测值对比如图2、图3所示。
3 模型的评价
训练神经网络的优化方法范文6
>> 基于人工神经网络过闸流量模型在南水北调中线工程的应用 基于人工神经网络的优化配置研究 基于BP神经网络的彩色温度软测量 基于小波神经网络的网络流量预测研究 基于改进小波神经网络的网络流量预测研究 基于混沌神经网络的区域物流量预测 基于BP神经网络的铁路客流量预测研究 基于人工神经网络的煤炭需求预测 基于人工神经网络的PPI预测模型 基于人工神经网络的自适应距离保护 基于人工神经网络的故障诊断 基于人工神经网络的化工安全评价 基于人工神经网络的人口预测 基于人工神经网络的图像识别 基于人工神经网络的车牌识别探究 基于人工神经网络的信息处理 基于人工神经网络的巨大儿预测的研究 基于BP人工神经网络的土壤含水量预测模型的研究 基于BP人工神经网络的知识管理战略选择研究 基于人工神经网络的水泵故障诊断技术研究 常见问题解答 当前所在位置：
关键词：BP网络；软测量；过闸流量；MATLAB神经网络工具箱
DOI： 10.3969/j.issn.1005-5517.2013.10.011
引言
通过闸门的水流量是一个非常重要的参数。只有获得准确的流量值，才能实现对水资源的优化配置。目前对于过闸水流量的测量已形成了几种方法：流速仪法、水力学公式法以及曲线法[1，2]。其中，被广泛运用与现场测流中的方法是流速仪法，它也是流量测量中最重要的方法。流速仪法是通过实测断面上的流速和水道断面积来确定流量的方法。测量时先在断面上布设测速垂线和测速点，再将流速仪放到测速点处测速，用分割法计算断面面积，推算出流量。虽然这种测流方法是目前的主导方法，但却存在着一些天生的缺陷：一是很难确定合适的测速垂线及测点，这是由于河道断面形状的不规则以及流速场分布情况复杂等原因造成的；二是实时性不高，测量时间比较长，从而导致管理部门不能及时了解过闸流量，耽误启闭闸门的最佳时机；三是需要的硬件资源比较多，因此大大增加了测流成本。鉴于此，研究一种新型的即简单、操作方便实时性又高，并且精度满足要求的测流方法已成为目前的迫切需求。而本文采用的BP网络软测量技术正好解决了以上诸多问题。
BP神经网络软测量模型
隐含层神经元数的确定
隐含层神经元数的选择在理论上并没有一个明确的规定。因此，选择合适的神经元数就显得十分麻烦。如果神经元太少，则网络不能很好地学习，需要的训练次数也多，训练的精度也不高。反而言之，如果隐含层神经元数选的太多，虽然功能会越大，但是循环次数也就是训练时间也会随之增加。另外可能还会出现其他的问题，如导致不协调的拟合。一般的选择原则是：在能够解决问题的前提下，再加上一到两个神经元以加快误差的下降速度即可[7]。
这里，我们通过对不同神经元数进行训练对比，以及通过简单的交叉验证法确定隐含层的神经元数为15个。基于BP网络的过闸流量软测量模型如图1所示。
数据样本的选取及处理
所用的人工神经网络的训练与测试集样本来源于碧口水电厂右泄工作门2001年水文历史数据。从中选取典型的60组数据，其中前40组作为训练样本，后20组作为测试样本。限于篇幅只列出部分数据，如表1所示。
由于输入样本各参数的集中取值范围不同，参数大小不一，为了使各类参数所起的作用大致相同，必须对输入数据进行标准化，把输入数据都规一到[0，1]闭区域内[8]。因此，我们对表1的数据做如下处理：H*G=HG/10；H*UP=HUP/1000；Q*=Q/Qmax。
运用MATLAB神经网络工具箱对网络进行训练与测试
在运用MATLAB神经网络工具箱对网络进行训练之前，要注意两方面问题。一是初始权值的选择，再个就是学习速率的选取。
由于系统是非线性的，初始值对于学习是否达到局部最小、是否能够收敛以及训练时间的长短的关系很大。一般选取初始权值为（-1，1）之间的随机数。在MATLAB工具箱中可采用函数initnw.m初始化隐含层权值。学习速率决定每一次循环训练中所产生的权值变化量。若学习速率过大可能导致系统的不稳定；但学习速率过小会导致训练时间较长，收敛速度很慢，不过能保证网络的误差值不跳出误差表面的低谷而最终趋于最小误差值。所以在一般情况下，倾向于选取较小的学习速率以保证系统的稳定性。学习速率的选取范围在0.01到0.8之间。综合考虑一下，本系统选取学习速率为0.1。BP网络训练程序如下所示[9]：
%定义输入向量和目标向量
P=[0.5 0.6 0.8 ？？；0.7082 0.7081 0.7079 ？？]；
T=[0.3744 0.4533 0.3735 0.648？？]；
%创建BP网络和定义训练函数及参数
net=newcf（ minmax（P），[15，1]，{‘lo gsig’，‘purelin’}，‘traingd’）；
net=initnw（net，1）；
net.trainParam.epochs=5000；
net.trainParam.lr=0.1；
net.trainParam.goal=0.00001；
%训练神经网络
[net，tr]=train（net，P，T）；
待网络训练好后，利用选定的20组测试样本对其进行测试，以测量其泛化能力。测试结果如图2和图3所示。
图2为真实流量值与通过BP网络软测量模型的预测值之间的拟合曲线，方框代表预测值，圆点代表真实值。
