前言:中文期刊网精心挑选了神经网络初始化方法范文供你参考和学习,希望我们的参考范文能激发你的文章创作灵感,欢迎阅读。
神经网络初始化方法范文1
关键词:人工神经网络 化工安全评价
化工生产具有易燃、易爆、易挥发、易中毒、有腐蚀性等特点,因而较其他工业生产部门有更大的危险性,安全评价工作是安全生产和安全管理的重要环节,安全评价方法的选择是安全评价工作的关键,直接关系到评价的深度和准确度,影响评价的效果。小波神经网络具有自适应、自组织、自学习的功能和非线性问题的处理能力,可以通过小波神经网络对化工企业安全评价中的评价指标体系进行建模分析与评判。通过MATLAB工具能够方便快速准确地建立小波神经网络,不需要繁琐工作,这让化工安全评价具有了较强的实用价值与现实意义。
本文根据某大型炼油化工有限公司的主要生产工段提供的安全状态原始指标数据,在对整个企业进行安全评价的数据整理和分析基础之上,进行安全评价网络结构、相应参数以及网络训练过程参数的设计,对网络性能进行综合测试,以达到适应石化企业安全评价的目的。根据对某大型炼油化工有限公司提供的原油脱盆脱水工段、减压蒸馏工段、催化裂化_T一段、催化重整工段、加氢裂化工段、延迟焦化工段、炼厂气加工工段的生产装备因素指标安全原始数据进行分析和整理,得出20个实例样本,其中15个样本用来完成对神经网络的训练,5个样本用来结果验证。原始数据的训练结果期望目标值与评价结果的输出如下表(安全评价输出结果等级划分对照表):
一,安全评价系统神经网络结构的确定
人工神经网络的拓扑结构是由网络的层数、各层的节点数以及节点之间的连接方式组成的。本研究拟采用小波神经网络对化工企业安全生产进行建模评价。如前所述,小波神经网络只有相邻层上的节点相互连接,所以,在设计网络的结构时,关键的参数只涉及到网络的层数和各层的神经元个数。
网络的层数对网络的性能具有重要的影响,确定网络层数的方法是通过大量对实际问题的求解来寻求最合适的网络层数。在确定了网络的层数之后,各层的神经元个数同样也是需要确定的关键参数,神经元的个数对网络的训练及网络收敛速度存在很显著的影响,如果隐含层的节点数太少,网络不能建立复杂的判断界,从而无法识别以前没有的样本,且容错性差;而节点数过多,则学习时间长,使网络的泛化能力降低。在函待解决的评价问题上,对应于各评价指标体系,网络的输入层和输出层的神经元个数是确定的,可以调整的参数是隐含层及隐含层神经元的个数。
在前面分析的基础上,综合考虑整个评价问题,决定采用三层神经网络结构模型。由于化工企业安全评价指标体系中各个单元的评价指标数目不同,在对网络进行训练时隐含层的神经元个数根据各评价单元的收敛情况进行适当的调整。
二、网络样本输入数据的初始化
1,数据初始化的方法
在神经网络的训练过程中,传递激活函数是网络训练的关键环节。传递函数的特征要求输入的信息数据必须在区间[0,1]之内,因此必须对网络训练所需要的原始数据进行初始化处理,使它们转化为分布在[0,1]区间范围内的数据。初始化的具体方法取决于原始数据的数量级,根据每组输入数据中的最大值来确定初始化的数量级,并根据下式确定用于网络输入的数据。
2,网络训练样本数据的准备
根据相关的评价指标体系各单元指标以及对人工神经网络进行理论分析的结果,准备基于神经网络的安全评价模型的训练样本数据。根据对某大型炼油化工有限公司提供的原油脱盐脱水工段、减压蒸馏工段、催化裂化工段、催化重整工段、加氢裂化工段、延迟焦化工段、炼厂气加工工段的安全原始数据进行分析和整理,得出20个实例样本,应用这些实例样本完成对小波神经网络的训练。
在神经网络的训练过程中,传递激活函数是网络训练的关键环节。传递函数的特征要求输入的信息数据必须在区间[O,1]之内,因此必须对网络训练所需要的原始数据进行初始化处理,使它们转化为分布在[O,1]区间范围内的数据表。
3,网络训练过程及结果
根据上面的训练样本数据使用MATLAB6.5软件对网络进行训练,使误差落在要求的范围之内并确定网络内部结构参数权值。网络结构参数表示为(L一M一N),其中,L为网络输入矢量的个数,M为隐含层神经元的个数,N为输出层神经元的个数,在本训练中均为5。网络结构参数确定之后,将获得的原始数据输入,对各因素的网络进行训练,由此可以实现从因素到结果之间映射知识的获取,即分别获得网络单元之间的连接权值向量及各隐含层的阈值向量。
生产装备因素。网络结构参数为(4-11-5),网络迭代次数n=3824.
生产人员素质因素。网络结构参数为(10-12-5),网络迭代次数n=2348.
管理因素。网络结构参数为(3-10-5),网络迭代次数n=3407.
环境条件因素。网络结构参数为(3-7-5),网络迭代次数n=2986.
通过训练获得的神经网络模型即可用于对新的输入进行结果的预测评价。由此可知,蕴藏于神经网络中的知识的获取可以通过计算机软件的学习来实现,参与安全评价的专家只需要提供一定数量的实例以及它们所对应的解,并且只需要知道实例与解之间存在着某种特定关系,而对于究竟具体是何种关系,可以由计算机学习来获得,只要所使用的实例样本空间足够大,就可以比较准确地模拟人的思维判断。
参考文献:
[1]李延渊,吴文新等编著,MATLAB神经网络仿真与应用【M】,科学出版社,2003
神经网络初始化方法范文2
关键词:自组织竞争网络;测井资料岩性识别;MATLAB
中图分类号:TE319 文献标识码:A文章编号:1007-9599 (2011)05-0000-02
Application of Self-organization Competition Network in Log Data Lithological Identification
Zong Chunmei
(Xinzhou Teachers University,Xinzhou034000,China)
Abstract:Using self-organizing and self-learning ability of self-organizing neural network,analyze the impact factor to establish self-organizing competitive network model based on MATLAB.By comparing the two structures of basic competitive network and self-organizing competitive network to achieve lithology classification.Experimental results show that the use of self-organizing network model of competition test well lithology identification information is feasible,the correct rate,for the lithology of the research to identify new methods.
Keywords:Self-organizing competitive network;Log data lithology identification;MATLAB
一、引言
目前,岩性识别主要有以下几种方法:(1)概率统计方法;(2)聚类分析方法;(3)人工神经网络方法。人工神经网络方法以其自身特有的样本学习能力获得识别模式,以与岩性相关的测井资料作为神经网络的输入参数,已知岩性种类作为输出总数。前两种数理统计方法,两者的差别只是参数选择的要求不同。人工神经网络具有很强的自组织性、自适应性、容错性和推理思维能力,人们运用神经网络在测井资料岩性识别领域做了大量的研究,取得良好效果。
二、自组织竞争神经网络原理
自组织竞争网络是以无教师教学的方式进行网络训练,具有自组织功能,网络通过自身训练,自动对输入模式进行分类,让网络竞争层中的各种神经元通过竞争来获取对输入的响应机会,最后仅剩一个神经元成为竞争的获胜者,并对那些与获胜神经元有关的各连接全部朝着更有利于它竞争的方向调整,这一获胜神经元的输出则代表对输入模式的分类,正是自组织竞争神经网络具有自组织能力、自适应能力和较高的容错能力的特点,为测井资料岩性识别提供了新的方法。在竞争层中,神经元之间相互竞争,最终只有一个或者几个神经元获胜,以适应当前的输入样本。竞争胜利的神经元就代表着当前输入样本的分类模式。
三、样本数据的获取
(一)样本的选取
样本包括样本特征选取及样本数目的确定。本文样本源于北方某地区2004年的测井资料,该地区属于碳酸盐地层,因此需要判断的岩性有三种,即泥岩、砂岩和石灰岩。通过对已知井段测井数据进行学习,来预测同一地区其他井段的岩性。
(二)样本数据的预处理
测井资料的样本数据中包含了影响岩性的5个重要因子,即补偿中子空隙度CNL、补偿密度曲线DEN、声波时差DTC、自然伽玛GR和微电阻率RT。归一化后的数据如表3.1所示。
表3.1 归一化后的岩性影响因子
序号 CNL DEN DEC GR GT 岩性
1 0.4036 0.4365 0.4860 0.5161 0.3419 泥岩
2 0.4154 0.4711 0.4639 0.4981 0.3806
3 0.5352 0.6408 0.6145 0.6299 0.7154 砂岩
4 0.5524 0.6528 0.6234 0.6715 0.7025
5 0.7709 0.7812 0.8204 0.8425 0.8622 石灰岩
6 0.7589 0.7965 0.8125 0.8506 0.8709
四、测井岩性识别模型的建立
(一)测井岩性识别算法
应用自组织竞争网络进行测井资料岩性识别,首先获取样本资料,即测井数据。在应用自组织竞争人工神经网络对数据进行处理前,利用归一化公式对所有测井数据进行归一化。利用自组织竞争网络的神经网络工具箱函数创建网络。网络创建好后需要对网络进行初始化,接着对网络进行训练,并设置训练次数,由于竞争型神经网络采用的是无教师学习方式,没有期望输出,所以训练过程中不需要设置判断网络训练是否结束的误差项,只要设置网络的训练次数就可以了,网络训练完毕后,利用仿真函数检验网络对岩性模式的分类。利用函数vec2ind将数据串行化输出,为了检验网络的分类性能可以采用同一地区的测试数据对网络进行测试,进行岩性识别。如果岩性识别没有成功,重新对网络进行初始化,重新对网络进行训练、测试。
(二)自组织竞争神经网络结构设计
自组织竞争网络的神经网络工具箱提供了大量的函数工具。自组织竞争网络由输入层和竞争层组成。用newc函数创建一个竞争层,构建一个基本竞争型网络。权值函数为negdist,输入函数为netsum,初始化函数为midpoint或者initcon,训练函数或者自适应函数为trains和trainr,学习函数为learnk或者learncon函数。函数返回值是一个新的竞争层。由于需要识别的类别数目是3,神经元数目也设置为3,为了加快学习速度,将学习速率设置为0.1。用newsom函数创建一个自组织特征映射网络。自组织特征映射网络的输入层中的每一个神经元,通过权与输出层中的每一个神经元相连。构成一个二维平面阵列或一个一维阵列。输入层和竞争层的神经元之间实现全互连接。利用基本竞争型网络进行分类,需要首先设定输入向量的类别总数,再由此确定神经元的个数。但利用自组织特征映射网络进行分类却不需要这样,这种网络会自动将差别很小的点归为一类,差别不大的点激发的神经元位置也是邻近的。两种网络模型各自创建好网络后,对网络进行初始化,论文用到函数initcon。接着就可以对网络进行训练,当达到最大训练次数时,训练停止。此时用仿真函数sim检验网络对岩性分类模式的分类。为了检验网络的分类性能采用训练样本以外的数据对网络进行测试。利用自组织竞争神经网络进行岩性识别,不必对输入的测井数据进行统计,只要将网络自动分类号与相应的岩性对应,即可实现自动岩性分类识别。
五、在MATLAB环境下实现测井资料岩性识别
(一)用函数newc创建一个自组织竞争网络来对岩性分类:
1.建立网络
net=newc(minmax(P),3,0.1);
2.网络训练
net=init(net); %初始化函数为initcon
net.tranParam.epochs=200;%训练步数为200
net=train(net,P);
训练结果显示当达到最大训练次数时训练停止。
3.仿真
为了检验训练好的网络的分类性能,利用仿真函数检验网络对上述岩性模式的分类。
Y=sim(net,P)%对训练好的网络仿真
Yc=vec2ind(Y)
运行结果表明网络成功地将岩性模式分成三类。
4.测试:用样本以外的数据测试网络的分类性能。结果显示测试数据属于石灰岩,网络识别成功,网络的性能是不错的。
5.绘曲线图
wts=net.IW{1,1} %查看权重
wts=wts'
运行结果如图5.1所示。
图5.1 训练后网络权重散点图
由图5.1分析可知,竞争型网络会根据输入向量的分布来调整它的权重向量。离输入向量越近(越相似)的权重向量,通过调整靠的越近。训练结果就是,有几类输入向量也就有几类与输入向量相似的权重向量。
(二)用newsom函数创建一个自组织特征映射进行岩性分类:
1.建立网络
net=newsom(minmax(P),[6 5]); %网络竞争层的神经元的组织结构6 5 plotsom(net.layers{1}.positions);%绘制神经元初始位置
title('神经元位置的初始分布')
figure;
运行结果表明神经元位置是均匀分布的,网络还没有对输入向量进行分类的能力。
2.网络训练与网络仿真
net.trainParam.epochs=10;
net=train(net,P);
训练结果:
TRAINR, Epoch 0/10
TRAINR, Epoch 10/10
TRAINR, Maximum epoch reached.
y=sim(net,P) %对训练好的网络仿真
yc=vec2ind(y)%转换为串行数据
运行结果表明训练次数为10时,网络成功的对岩性进行了分类。由此可知训练步数为100时,网络分成了5类,这种分类结果就比较细化了,因为根据深度的不同,砂岩还可以分为粗粒砂岩和细粒砂岩。
3.测试:结果表明该组数据为属于石灰岩。
4.绘曲线图:
图5.2 训练10次后输入向量分布
图5.3 训练10次后神经元分布
由图5.3可知,经过10次训练后,神经元的位置就发生了明显的改变,神经元位置的分布情况表示它们已经对输入向量进行分类了,此时再增加训练次数已经没有什么实际意义了。
实验结果表明,两种网络结构都成功地对岩性进行了正确分类。自组织特征映射网络在训练次数较少的时候就可成功地对岩性进行分类,在提高训练次数的时候分类结果比较精细。
六、结束语
论文研究结果表明,采用自组织竞争网络与自组织特征映射网络进行测井资料岩性识别是可行的,识别率比较高。由于测井资料所携带的重要的地质信息可以确定地层含油储量,而且还是制订开采规划的重要依据,因此利用自组织竞争网络进行测井资料岩性识别具有很大的意义。此外利用自组织竞争网络还可以对我国油田进行油气层识别,提高油田的产量。不足之处在于岩性复杂地区所需要的信息量较大,需要考虑样本数量的需求、模式和测井数据的完备性。
参考文献:
[1]陈祥光,裴旭东.人工神经网络技术及应用[M].北京:中国电力出版社,2003
[2]张立明.人工神经网络的模型及其应用[M].上海:复旦大学出版社,2004
[3]飞思科技产品研发中心.神经网络理论与MATLABR2007实现[M].北京:电子工业出版社,2007
[4]高隽.人工神经网络原理及仿真实例[M].北京:机械工业出版社,2005
[5]许东,吴铮.基于MATLAB 6.x的系统分析与设计[M].西安:西安电子科技大学出版社,2003
[6]王洪元.人工神经网络技术及其应用[M].北京:中国石化出版社,2002
[7]邱颖,孟庆武,李悌.神经网络用于岩性及岩相预测的可行性分析[J].地球物理学进展,2001,16(3):76-84
神经网络初始化方法范文3
旅游市场趋势预测是旅游业发展战略和旅游规划与开发工作的重要基础依据,一直是旅游市场研究中最重要的内容之一。根据市场趋势预测的结果,旅游相关部门才可以制定合理的旅游规划,进行旅游资源的优化配置。旅游市场趋势预测是在对影响市场的诸因素进行系统调查和研究的基础上,运用科学的方法,对未来旅游市场的发展趋势以及有关的各种因素的变化,进行分析、预见、估计和判断。
近年来,旅游研究者对旅游市场趋势预测的方法进行了探索。目前主要有时间序列法、回归分析法、指数预测法、人工神经网络法。由于旅游市场的变化受到诸多因素的影响,导致旅游市场的趋势预测难度较大,但我们对预测精度的要求却越来越高。
本文是基于人工神经网络方法,提出使用遗传算法对人工神经网络进行优化,探索更精确、更适用于旅游市场预测现实状况的预测方法。
1 方法概述
人工神经网络是近年来的热点研究领域,是人类智能研究的重要组成部分,已经成为神经科学、计算机科学、认知科学、数学和物理学等多学科关注的热点。其应用领域包括:分类、预测、模式识别、信号处理和图像处理等,并继续向其他领域延伸。
1.1 BP神经网络
BP神经网络是一种多层前馈神经网络,该网络的主要特点是信号前向传递,误差反向传播。在前向传递中,输入信号从输入层经隐含层逐层处理,直至输出层。每一层的神经状态只影响下一层神经元状态。如果输出层得不到期望输出,则转入反向传播,根据预测误差调整网络权值和阈值,从而使BP神经网络预测输出不断逼近期望输出。
图中,X1,X2,…,Xn是BP神经网络的输入值,Y1,Y2,…,Ym是BP神经网络的预测值,wij和wjk为BP神经网络权值。从图可以看出,BP神经网络可以看成一个非线性函数,网络输入值和预测值分别为该函数的自变量和因变量。当输入节点数为n,输出节点数为m时,BP神经网络就表达了从n个自变量到m个因变量的函数映射关系。
1.2 遗传算法
遗传算法(Genetic Algorithms)是1962年由美国Michigan大学Holland教授提出的模拟自然界遗传机制和重托进货论而成的一种并行随机搜索最优化方法。它把自然界“优胜劣汰,适者生存”的生物进化原理引入优化参数形成的编码串联群体中,按照所选择的适应度函数并通过遗传中的选择、交叉和变异对个体进行筛选,使适应度值好的个体被保留,适应度差的个体被淘汰,新的群体既继承了上一代的信息,又优于上一代。这样反复循环,直至满足条件。
1.3 遗传算法优化BP神经网络的流程
遗传算法优化BP神经网络分为BP神经网络结构确定、遗传算法优化和BP神经网络预测3个部分。其中,BP神经网络结构确定部分根据按拟合函数输入输出参数个数确定BP神经网络结构,进而确定遗传算法个体的长度。遗传算法优化使用遗传算法优化BP神经网络的权值和阈值,种群中的每个个体都包含了一个网络所有权值和阈值,个体通过适应度函数计算个体适应度。遗传算法通过选择、交叉和变异操作找到最优适应度值对应个体。BP神经网络预测用遗传算法得到最优个体对网络初始权值和阈值赋值,网络经训练后预测函数输出。
遗传算法优化BP神经网络是用遗传算法来优化BP神经网络的初始权值和阈值,使优化后的BP神经网络能够更好地预测函数输出。遗传算法优化BP神经网络的要素包括种群初始化、适应度函数、选择操作、交叉操作和变异操作。
1)种群初始化
个体编码方法为实数编码,每个个体均为一个实数串,由输入层与隐含层连接权值、隐含层阈值、隐含层与输出层连接权值以及输出层阈值4部分组成。个体包含了神经网络全部权值和阈值,在网络结构已知的情况下,就可以构成一个结构、权值、阈值确定的神经网络。
2)适应度函数
2 实证分析
旅游客流量与当地旅游硬件及软件设施建设、各种交通设备的完善程度有着密切的关系。一个旅游地的交通设施完善程度决定了该景区的可进入性以及客源地到旅游地的时间距离,直接影响该景区游客量。此外,景区建设情况及旅游接待设施的建设情况决定着景区的吸引力。需要指出的是,由于信息传达的特性,游客数量对景区旅游相关条件改善的反应具有延迟性的特点。本文中,采用2000 年以来北京旅客周转量、人均GDP、全国交通、A级及以上景区个数、北京公共交通运营线路长度、北京市基础投资,预测北京市旅游人数。
通过查询中国国家统计局及北京市统计局相关资料,得到全国人均GDP、全国交通、北京市旅客周转量、北京市A级及以上景区个数、北京市公共交通运营线路长度、北京市基础投资数据,如表1所示。
根据遗传算法和BP 神经网络理论,在MATLAB 软件中编程实现基于遗传算法优化的BP神经网络进行预测。预测误差及真实值与预测值对比如图2、图3所示。
3 模型的评价
神经网络初始化方法范文4
本文利用人工神经网络的钢材表面缺陷快速识别系统以及BP神经网络的缺陷检测和分类的方法,实现钢材表面疵病的准确检测与分类。选用Matlab作为系统软件工具,以BP神经网络作为其缺陷检测的计算方法,实现冷轧带钢表面缺陷检测技术的软件方案设计,完成BP神经网络在钢材表面缺陷检测的应用研究,满足带钢生产线的表面缺陷检测要求。
关键词:缺陷检测;人工神经网络;BP神经网络
中图分类号:TN711 文献标识码:A 文章编号:
冷轧带钢已成为汽车生产、机械制造、化工、航空航天、造船等工业不可缺少的原材料,在国民经济中占据重要地位。而钢材表面缺陷是影响带钢质量的重要因素,因此,表面缺陷的识别检测对提高带钢的质量具有十分重要的意义。
本文根据钢材表面的缺陷情况,研究需要系统识别的常见钢材表面缺陷类型,结合表面缺陷检测系统的主要技术要求,提出基于人工神经网络的钢材表面缺陷识别系统的总体方案。利用计算机和图像采集设备,使软件和硬件协同配合,实现图像信息的实时采集及处理,为BP神经网络的训练学习建立钢材表面缺陷数据库,通过训练可以实时自动识别钢材表面存在的缺陷。
1BP神经网络的基本原理
BP(Back Propagation)神经网络是一种神经网络学习算法,全称基于误差反向传播算法的人工神经网络。它是目前研究最多、应用最广泛的神经网络模型之一【1】。BP网络是一种多层前向反馈神经网络,把样本的输入输出变成一个非线性优化问题,使用了最优化中最普遍的梯度下降算法,用迭代运算求解权值,它可以实现从输入到输出的任意连续的非线性映射。BP网络主要用于函数逼近、模式识别、数据压缩等。BP神经网络由输入层、隐含层和输出层三部分组成,其结构如图1所示。
图1BP神经网络结构示意图
Fig. 1 The BP neural network structure diagram
BP神经网络在具体工作之前必须通过学习获得一定的“智能”,才可以在实际的应用中取得良好的效果。其学习由四个过程组成:
第一是输入向量由输入层经隐含层向输出层的“正向传播”过程;
第二是网络实际输出与网络的希望输出之间的误差信号由输出层经隐含层向输入层逐层修正连接权值的“误差反向传播”过程;
第三是由“正向传播”与“误差反向传播”的反复交替进行的网络“记忆训练”过程;
第四是网络的全局误差趋向极小值的“学习收敛”过程。
2BP算法在钢材表面缺陷识别的具体实现
为了使用BP神经网络实现钢材表面缺陷检测方法研究,首先需要对钢材图像进行预处理,去除图像噪声,并进行图像增强处理,保留图像重要信息;然后,从样本图像中选择部分有缺陷的图像,进行样本图像分割,分割成适合网络训练的特征图像,并将分割结果分类为正常图像和缺陷图像样本集合;再使用各种图像特征提取方法分别提取出正常图像和缺陷图像的特征值,构成BP神经网络训练集合;再将训练集合输入BP网络训练器中,按照设定参数,设置选定精度,进行网络权值训练,得到所需的分类器;最后将测试样本输入分类器中,实现最终的缺陷分类识别。
系统选用Matlab作为系统软件工具。Matlab中专门编制了大量有关BP网络的工具函数,为BP网络的应用研究提供了强有力的便利工具【2】。BP网络的设计过程如下:
(1)输入训练样本
缺陷的出现会破坏其所在区域灰度值的排布规律,基于此先从带缺陷图像的缺陷区域截取图像,再从无缺陷的图像中截取相同大小的图像,然后从这些图像中提取特征向量【3】。对特征向量X进行归一化,再进行主分量分析进行降维处理,最后把处理后的特征向量的每一列作为一个样本输入神经网络。
(2)初始化网络
采用initff函数初始化网络。在建立网络对象的同时,自动调用初始化函数,根据缺省的参数对网络的连接权值和阈值进行初始化。initff函数格式:
[w1,b1,w2,b2]=initff(p,s1,f1,s2,f2)(1)
式中:w1表示隐含层神经元与输入层神经元之间的连接权重系数矩阵;
w2表示输出层神经元与隐含层神经元之间的连接权重系数矩阵;
b1、b2表示隐含层和输出层神经元的阈值矩阵;
p表示输入样本矩阵;
s1、s2表示隐含层和输出层神经元个数;
f1、f2表示隐含层和输出层激活函数形式。
运行initff函数,系统能自动根据给定的p,s1,f1,s2,f2的值对w1,b1,w2,b2赋予一个初始值。
(3)训练网络
采用trainbp函数训练网络。用基本梯度下降法训练网络函数进行BP网络训练,获取最终的权值与阈值矩阵。trainbp函数格式:
[w1,b1,w2,b2,te,tr]=trainbp(w1,b1,f1,w2,b2,f2,p,t,tp)(2)
式中:t表示输出样本矩阵;
te为网络的实际训练步数;
tr为训练过程中的误差平方和;
tp为网络训练参数。
选择训练参数tp进行训练,tp=[df,me,err,lr]
式中:df是指定两次更新显示间的训练次数;
me是指定训练的最大次数;
err是误差平方和指标;
lr是指定学习速率,即权值和阈值更新的比例。
trainbp函数以w1,w2,b1,b2的初始值和给定的f1,f2,p,t,tp开始训练,使当输入n时,网络的输出为目标矢量t。当训练过程中误差平方和小于等于目标误差平方和或者训练步数到达给定的最大步数时,停止训练。此时的w1,w2,b1,b2的值就是已训练好的网络参数。
(4)网络仿真
采用simuff函数对网络进行仿真。在网络训练前后分别进行输入输出的仿真,以做比较,从而对网络进行修改评价。simuff函数格式:
a=simuff(p,w1,b1,f1,w2,b2,f2) (3)
式中:a表示训练好的BP网络的实际输出;
w1、w2、b1、b2 是训练好的网络参数;
p、f1、f2 与(1)式相同。
网络训练后,形成稳定的权值和阈值,使网络输入和网络输出形成了较好的映射,从而可以对其他输入样本进行输出参数的预测。
3实际应用情况
从现场采集冷轧带钢样本,并对这些样本中的缺陷进行标定。将测试样本图像输入神经网络检测缺陷区域,得到每类样本的缺陷区域。将所有原始训练样本、测试样本图像,按照前面的预处理方法进行预处理,然后按照同样的分割方式进行分割,提取出样本块的特征信息,构成一序列的向量,输入已经训练完成的分类器,进行缺陷识别,检测出样本的缺陷区域。
经工业现场实践表明,经过训练的BP神经网络分类器对表面缺陷的识别分类较好,基本上能够满足带钢表面缺陷的分类识别要求。但是,神经网络技术也存在训练过程缓慢、需要大量的训练数据、对其决策过程无法得到透彻理解、参数的设计无规律可循等缺点。
事实上,基于BP网络的分类器只能识别BP网络已知的模式类别。如果出现了新的模式类别,分类器就不能正确地识别,只能再次对分类器进行训练,也就是说分类器没有自学功能。因此,在优化BP神经网络参数的基础上,我们可以考虑将现在已经构建的BP神经网络模型的分类器,分解成两步来实现表面缺陷的分类,即首先构建神经网络来对把缺陷和非缺陷识别分类开来,然后再对缺陷进行分类,以期提高分类识别的准确率。我们还需要研究基于其它神经网络模型的分类器,利用各自的长处,实现分类器的融合,并使分类器具有自学的功能,对新出现的缺陷能够记忆识别的功能,更好的满足工业现场的要求。
参考文献
[1]王婷,江文辉,肖南峰.基于改进BP神经网络的数字识别.电子设计工程.2011,19(3):108-112.
神经网络初始化方法范文5
【关键词】BP神经网络;房价;预测模型;MATLAB
1 引言
房价事关国计民生,牵涉到方方面面的利益和资源,尤其关乎稀缺资源的优化配置的问题。与此同时,房价预测也就显得尤其重要。北京身为我国重要的一线城市,预测其房价对整个国民经济的研究更是具有重大的意义。
2 BP神经网络
人工神经网络是一种能够反映人脑特性的智能信息处理系统,它能够模仿人脑系统的结构和功能。目前在智能检测、非线性预测、模式识别、机器人控制等很多领域都得到了广泛的应用。
BP神经网络(Back Propagation Neural Network)也称为反向传播神经网络,是一种具有3层或3层以上结构的无反馈的、层内无互连的网络。标准的BP学习算法采用误差函数按梯度下降的方法学习,使网络的实际输出值和期望输出值之间的均方误差最小。
3 建立BP神经网络的北京市房价预测模型
3.1数据选择
本文为了使房价影响因素合理,选取了五个具有代表性的房价影响因素:地区生产总值、常住人口数量、商品房销售面积、房地产开发投资总额、商品房平均销售价格。数据来源于北京市住房和城乡建设局的房价统计信息,具体如下表所示:
3.2数据预处理
为了解决原始数据样本中各向量数量级差别大的问题,同时也为了提高网络的训练速率,对原始数据样本进行归一化处理。
3.3初始化参数的设定
本文选用带有动量梯度下降法作为网络的训练方法,其训练函数为traingdm函数,性能函数为mse函数,动量项系数为η=0.8,学习率μ=0.01,最大训练次数为10 000次,目标误差为0.001,初始的权值和阈值为系统默认的值,每运行50次显示一次训练过程,其他参数均为缺省值。
3.4隐含层节点数的确定
在实验中,往往根据经验公式得到一个粗略的估计值作为初始值,再用试凑法确定最佳节点数。
其中,m为隐含层节点数;n为输入层节点数;l为输出层节点数;α为1~10之间的整数。本文将输入层神经元设为4,输出层神经元设为1,选择该神经网络隐含层的神经元个数为4。
3.5转移函数的确定
在本文设计的BP神经网络中,隐含层的传递函数为Sigmoid型正切函数tansig,输出层的传递函数为purelin函数。
3.6模型训练和仿真结果
使用20052012年的因素数据作为输入向量;以20062013年的因素数据作为目标输出,同时作为训练样本;20122013年数据作为测试验证样本。最终根据20132014年的因素数据预测出2014及2015年北京市住宅商品房的平均销售价格。
3.6.1模型训练
网络经初始化,利用函数 TrainLm对网络进行4次训练后,网络误差达到了误差目标goal=0.001的要求,学习样本训练结束(如下图所示)。
3.6.2测试模型及数据预测
根据已经建立的BP神经网络模型,可以看出房价预测的结果是比较理想的。得到的预测值是0.9284,与实际值1相比,准确率达到了92.84%。进而对2014及2015年房价的预测,得出:
y_test=0.9450 0.9749。
可知最终预测出的2014年及2015年房价分别为17210.95元/平方米和17560.53元/平方米。
4 结论
本文利用BP神经网络模型对北京市房价进行了比较精准的预测,结果较为可靠。同时也存在一些不足,一方面除了文中用到的五个因素,房价还在不同程度上受国家调控政策、国际金融环境等难以用数据进行表达的因素影响;另一方面文中所参照的历史数据具有一定程度的局限性,这也制约了研究的准确度。在今后的研究中都需要改进。
参考文献:
[1]徐丽娜.神经网络控制[M].北京:电子工业出版社,2003
神经网络初始化方法范文6
关键词:交通事件自动检测 BP神经网络 Matlab仿真
1.前言
随着高速公路车流量的越来越大,交通事件频繁发生,给高速公路管理者带来了诸多困扰,而且给国家和社会也带来了不必要的损失[1]。
本文在国内外学者研究的基础上提出了基于BP神经网络的高速公路交通事件自动检测算法。将上下游车道占有率、流量、大型车所占比例作为BP神经网络的输入,建立了神经网络模型。本算法可为高速公路事件检测系统的建立提供理论基础,对提高高速公路利用率和安全性有重要意义。
2.交通事件自动检测原理分析
正常情况下,高速公路上的交通流符合“连续车流”的规律[2]。当T时刻发生交通事件后,由于道路通行能力的突然下降导致事发点上游出现交通拥挤,流量和车速下降,占有率上升;T+1时刻下游车道流量下降,车速上升,占有率下降;同时研究发现由于不同类型的车辆换车道行驶需要的时间和道路空间不同,上、下游车道中车型比例也有所变化。因此,交通事件自动检测的原理是通过分析高速公路上不同位置、不同时刻的交通参数变化来识别事件和非事件模式。
3.交通事件检测的模型构建
本研究采用三层神经网络结构,模型结构图如图1所示。
输入层:输入层有6个神经元节点代表交通流变化的交通参数。包括T时刻上游和T+1时刻下游的占有率、流量及大型车所占比例。
隐含层:对于隐含层神经元节点数目nh的确定,有下列经验公式[3]:
其中ni为输入层节点数,no为输出层节点数,本研究中ni=6,no=1,所以隐含层神经元节点数nh =13。
输出层:选择一个输出神经元节点作为输出,按照有无事件发生,以输出节点为1表示有事件发生,输出节点为0表示无事件发生。
4.事件检测算法的Matlab实现与评估
4.1.数据预处理
本次研究采用陕西西安绕城高速上车检器采集的1000组交通数据。其中500组用来训练网络,包括输入数据(交通参数)和目标数据(事件状态)。另外500组作为神经网络测试数据。在训练BP神经网络之前先利用premnmx函数对数据进行归一化处理,即 [pn,minp,maxp,tn,mint,maxt]=premnmx(p,t)。
4.2神经网络创建和初始化
利用newff函数创建一个新的神经网络:
net=newff(minmax(pn),[13,1],{'tansig','purelin'},'traingdx', 'learngdm');
利用minmax函数设定输入向量pn的元素的取值范围;在训练BP网络之前,必须对网络的连接权值和阈值进行初始化。
4.3.BP神经网络训练
将神经网络的参数设置为每50次显示训练迭代过程;学习速率为0.05;动量因子为0.9;
网络训练次数为1500;训练目标精度为1e-002;网络最大失败次数为5次。
调用train函数利用traingdx算法训练BP网络:net=train(net,pn,tn); BP网络训练效果如图2所示,由图可见,经过852次训练,经过交通数据训练的网络能快速收敛,效果良好。
4.4.BP神经网络仿真与测试
训练结束后,用剩下的500组数据作为测试样本对网络进行测试,用tramnmx 函数对其进行归一化处理。然后运用sim函数对BP网络进行仿真,仿真结果须用postmnmx函数进行反归一,这时的输出数据才是真正的交通事件检测结果,将小于0.5的事件状态输出为0,即无事件发生,大于0.5的事件状态输出为1,即有事件发生,计算检测误差并输出图形。结果如图3所示,由图可见检测结果和训练结果能很好的拟合。
4.5.AID算法评估
交通事件自动检测算法最常用的性能评估指标有检测率、误报率和平均检测时间 [4]。本文对经典加州算法和BP神经网络算法通过仿真
5.结语
本文采用BP神经网络算法来对高速公路交通事件进行检测。算法中将上下游大型车比例作为一个输入是个创新点。运用BP神经网络算法建立交通检测模型,避免了传统算法因人为建立的模型与实际情况不符而导致检测不准确的情况。通过Matlab仿真与测试证明本算法检测交通事件性能较好。
参考文献:
[1]靳引利,朱春平.高速公路信息设施的特性分析[J].中国水运.2007-10,(10)
[2]潘若禹.基于数据融合的高速公路交通异常事件检测的研究[D].西安:长安大学.2006