前言：中文期刊网精心挑选了神经网络学习方式范文供你参考和学习，希望我们的参考范文能激发你的文章创作灵感，欢迎阅读。
神经网络学习方式范文1
1、指代不同。人工智能：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；神经网络：是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。
2、方法不同。人工智能：企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等；神经网络：依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
3、目的不同。人工智能：主要目标是使机器能够胜任一些通常需要人类智能才能完成的复杂工作；神经网络：具有初步的自适应与自组织能力。在学习或训练过程中改变突触权重值，以适应周围环境的要求。同一网络因学习方式及内容不同可具有不同的功能。
以上就是小编给大家分享的人工智能与神经网络之间区别，相信大家通过阅读完以上文章后对此有了一定的了解，希望能帮到大家。
（来源：文章屋网 ）
神经网络学习方式范文2
【关键词】BP神经网络；预测；误差
1.引言
许多金融学家和计量学家对发达国家成熟市场的波动性进行了广泛的研究，但是在对股市的预测上，由于人们在知识、能力、经验上存在着较大的差异，加之问题本身又具有很大的随机性和高度的非线性，即使是一些金融专家、炒股高手对出现的同一复杂行情进行分析，往往也会得出不同的结论。此外，传统方法还要事先知道各种参数，以及这些参数在什么情况下应作怎样的修正。这都给预测股市带来一定的困难。
基于以上股市预测的困难性，本文提出了人工神经网络的预测方法。随着计算机、人工智能尤其是专家系统的发展，人工神经网络技术逐渐成熟并开始应用于各个领域。人工神经网络（ANN，简称神经网络）作为一种由大量简单神经元广泛相互联接而成的非线性映射或自适应动力系统，恰好能有效解决股市预测处理中常见的困难，因此它很快在股市预测分析与处理领域得到了广泛的应用。
2.BP神经网络介绍
2.1 BP 网络算法的基本原理
2.1.1 标准的BP 网络算法的基本原理
BP(Back Propagation)网络是反向传播的多层前馈式网络，是目前使用最为广泛的一种人工神经网络。它的核心是BP算法，一种对于多基本子系统构成的大系统进行微商计算的严格而有效的方法，采用最小均方差学习方式。BP 神经网络的原理说到底就是给它一些输入变量，然后就有一个输出，输出值的情况与实际的情况进行比较，差多少，然后再进行网络的内部调整，属于有导师的学习规则，使得网络输出与实际逼近。
神经网络能学习和存贮大量的输入―输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。人工神经网络由非线性函数组成，而由一系列不同权重的线性过滤器组合而成：
2.1.2 BP网络算法的优化
由于常用的BP算法主要缺点为收敛速度慢，局部极值，难以确定隐含层和隐含层的个数，使得在实际应用中BP算法很难应用，因此，出现了许多改进算法。BP算法的改进主要有两种途径，一种是采用启发式学习方法；另一种则是采用更有效的优化算法，本文采用了动量法和学习率自适应调整的策略，从而提高了学习速度并增加了算法的可靠性。动量法降低了网络对于误差曲面局部极值的敏感性，有效地抑制了网络陷于局部极小。
2.2 BP神经网络的模型识别及步骤
模式通常指对事物的一种定量描述或结构描述，“识别”是指对客观事物按其物理特征进行分类。模式识别的基本原理就是从待识别对象和理想标本之间若干特征的相似性推断它们之间总体的相似性。BP神经网络模式识别过程分为训练阶段和模式分类阶段，分为初始化、数据与处理、网络训练以及模式分类四个步骤。以下利用实证分析来进行着四个步骤。
3.实例分析
下面以上证的某股600个交易日的股票价格收盘指数作为原始样本数据，对上述神经网络模型进行求解，预测20天的收盘价，与实际收盘价进行比较，并求出其误差：
式中，表示第日的实际收盘指数，表示第日的预测值，表示误差。主要按照如下几部分来处理：（1）准备600个数据的时间序列，进行归一化。BP神经网络中每个神经元的输出值由传递函数Sigmoid函数来计算，其输出值的范围是（0，1）；（2）留出最后20个数据，作为预测检验使用；（3）绘制图像，包括实际值和预测值，能量函数；（4）分析实际和预测两曲线的趋势。
采用I-J-K学习模型，该模型是输入层I个神经元，隐层J 个神经元，输出层K个神经元。利用BP神经网络模型训练500次、800次、1000次的输出值和期望值以及能量函数（或者叫误差函数）E，结果见图1到图3。
通过上面的图示，可以看到用BP神经网络预测的效果比较明显，这说明该模型适用于短期预测吗，股市的波动在很多地区都是非常剧烈的，各种因素的综合作用也使得长期股指的变动具有极大的不确定性，使得预测变得很困难。而BP网络的算法原理和自学习的特点使其能够充分挖掘出隐含在样本数据中的规律性，实现从输入空间到输出空间的非线性映射，对样本数据进行精确的拟合。从而BP神经网络的方法对于股市上的一些很难看出规律的数据列的预测而言，无疑是一个比较精确的预测方法。
4.结论
本文介绍了股市的特点以及股市预测的困难性，提出了利用BP神经网络的方法来解决股市预测问题。文章介绍了BP神经网络算法的基本原理，BP神经网络算法的优化，BP神经网络模型识别及步骤，最后后以上海证券交易所每日股票价格收盘指数为分析对象，把原理应用于实际，利用BP神经网络对股票价格收盘指数进行了短期预测，并计算出预测值和实际值的误差。通过实验发现该模型收敛速度快，预测精度非常高，对预测短周期内股指波动具有较强的适用性。
参考文献
[1]高琴.人工神经网络在股市预测模型中的应用[J].微电子学与计算机,2007年第24卷第11期.
[2]周翠红,路迈西.线性回归与人工神经网络预测煤炭发热量[J].煤炭科学技术,第37卷第12期.
[3]尹庆双,奉莹.人工神经网络在第三产业就业分析中的应用[J].人口与经济,2009年第6期.
[4]邹文安,刘宝,姜波,杨春生.基于Excel 技术平台人工神经网络BP模型及应用[J].水文,第30卷第1期.
[5]康进,刘敬伟.非参数回归估计与人工神经网络方法的预测效果比较[J].统计与决策,2009年第23 期.
[6]杨本昭,田耕.基于人工神经网络的客户价值分类研究[J].科技管理研究,2007年第12期.
神经网络学习方式范文3
伴随着计算机技术的快速发展，图像处理技术在社会中的应用也越加广泛，图像分割技术优势越加显著。图像分割是图像处理上面的关键性环节，是图像处理过程中的重要因素，对于图像理论发展具有决定性因素。近年，图像分割技术已经取得了较大的成果，特别是在模糊理论和神经网络方面，众多研究程度已经开始逐渐在图像处理中应用，促进图像处理技术发展。
【关键词】数字图像处理 图像分割 灰色系统 神经网络
近几年，图像处理已经在社会中广泛应用，图像分割技术在图像处理上面的重要性越加显著。图像分割技术是图像处理中的基础性技术之一，图像分割技术质量直接影响着图像识别及分析质量，因此图像分割技术已经成为识别系统中的关键性因素。
1 图像分割发展现状及应用领域
1.1 发展现状及存在的问题
在图像分割中使用统一方法，是现在很多研究人员的主要研究方向，所以图像分割还是困扰视觉领域上的主要问题，还有很多问题没有得到很好的处理，现如今图像分割还存在以下几个问题：
1.1.1 与人类视觉机理相脱节
伴随着研究人员对于视觉机理不断深入性研究，人们对于视觉认识也越加深入，现在图像分割上面所使用的方法已经与视觉机理研究成果之间存在一定差异，难以提高图像分割精准性。提高图像分割精准性，积极探索先进分割方法，就必然将人类视觉特点考虑在内，让图像分割与人类视觉特点相结合，满足人工神经网络理论。
1.1.2 知识的利用问题
图像分割在实际利用作用主要表现在，对于灰度及空间信息分割，这种分割方式所产生的效果与人类视觉分割之间的效果之间存在较大差异。在图像分割中应该积极与人类视觉相结合，了解更多知识，这充分认识到分割图像上面知识重要性，同时在视觉上面，人们在研究中经常将已经掌握图像分析，这样就解决了知识所存在的不确定因素，提高图像分割重要性。
1.2 应用领域
图像处理中的重要技术就是图像分割技术，伴随着图像处理在个领域内的广泛应用，现在图像分割技术所应用的范围也越加广泛。到现在为止，图像分割技术已经在工业、产品生产等等领域内应用。
2 灰色系统理论
2.1 灰色理论的主要内容及特点
灰色系统理论一共包含两个部分的理论体系，分别是灰色系统理论与灰色系统分析方法，整个理论体系主要内容就是灰色朦胧集，将灰色序列作为重要的方法。灰色理论系统所涉及知识范围十分广泛，在短时间内已经取得了快速发展，应用广泛，主要是由于灰色理论系统在实际应用具有三个特点，分别是系统性、联系性及动态性。
2.2 灰色关联分析
灰色系统分析理论的重要组成内容就是灰色关联分析，核心思想就是将几个曲线之间所具有的几何形状进行对比分析，也就是不同几何形状之间越相似，关联度也就越高，发展拜年话形式越加贴近。灰色关联度主要是从定量角度对于系统之间各各因素关系变化分析，通过大小、方向、速度等等因素判断不同因素之间的关联性。现在在灰色关联计算中，所使用的方法较多，例如绝对关联度、点关联度等等。
3 基于灰色关联和神经网络的图像分割
3.1 人工神经网络
人工神经网络就是根据人脑处理方式所形成的智能信息处理理论，模拟人脑学习方式。近几年，人工神经网络研究工作在取得了较大的成果，其中最为显著特点表现在信息分布及储存上面，与人类视觉系统越加吻合，具有较高的自学习性及兼容性，发展快速，已经在信息领域上面应用较大的市场前景。
3.2 神经元模型与数字描述
在对于神经网络神经元与生物神经元对比中发现，生物神经元主要由三个部分构成，分别是细胞体、树突和轴突，这些部分别承担着信息处理到传输等工作。
在神经元数学模型描述中，第i个神经元能够接受到其他神经元所传输的信号x，突触强度主要应w表示，这称之为权系数。这种神经元数学方程式为：
方程式中的θ表示的是阙值，f表示的是激励函数。
3.3 基于灰色-BP网络的图像分割
在图像分割中已经开始广泛应用神经网络，其中主要应用的是神经网络中的BP网络，同时应用已经十分成熟。在图像处理过程中具有较多的隐藏层数及节点缺陷，隐藏层数及节点个数对于网络泛化能力具有一定影响，如果要是应用BP网络，那么最后输出样本结果才是最合适的。网络节点要是过多，主要就是将网络训练结果考虑在内，其中包含噪声的影响，网络泛化能力在不断降低，节点个数要是过少，网络就不能够有效整合数据信息，网络泛化能力也会受到影响，最后对于网络整体运行造成影响。在网络结构优化上面，很多研究人员也根据实际情况提出了一些计算方式，希望能够简化网络结构，例如敏感计算法等等，但是研究人员所提出的计算方法在实际应用中取得的效果并不是十分显著。笔者所提出的灰色系统和BP网络结合，能够有效解决BP网络所存在的节点问题，提高图像分割精准度，与传统BP算法相比较，泛化能力更加显著，网络运行更加稳定，分割效果更为显著。
在BP神经网络具有代表性结构，拓扑结构为三层，也就是一个输入层，一个隐含层，一个输出层。为了能够提升网络运行性能，经常使用修改学习效率及优化方法等等方式。
设一个具有Q层的人工神经网络，其中第一层为输入层，第Q层为输出层，那么该网络的输入输出变换关系为：
i=1，2，…，nq 其中η为系统的学习效率，
w为修正权系数，
该式表示第q层第i个节点与第j个节点在t次学习后的值
4 结论
图像分割质量对于数字图像处理算法工作具有重要作用，因此图像分割已经成为理解系统与识别系统在研究中十分重要的因素。本文基于灰色系统理论的数字图像处理算法简单研究，还存在一定不足，仅供参考。
参考文献
[1]陈志国，傅毅，孙俊.群体智能算法的遥感图像处理研究[J].计算机应用研究，2013（08）：2538-2540.
[2]王伟，王辉，张潇.基于免疫和灰色系统理论的网络认知研究[J].微电子学与计算机，2013（06）：117-121.
[3]李晓峰，刘光中.人工神经网络BP算法的改进及其应用[J].四川大学学报（二程科学版），2015（03）.
[4]邵虹，徐全生，崔文成.基于BP神经网络的人脸图像识别方法的研究[J].沈阳工业大学学报，2014，2（04）：346-348.
[5]匡锦俞，丁俊民，陈十禄.图像的小波系数神经网络预测编码[J].北京师范大学学报，2015，35（04）：464-467.
作者简介
邵黄兴（1991-），男，安徽省宣城市人。同济大学软件学院在读硕士。研究方向为数字图像处理。
神经网络学习方式范文4
关键词：“交通—经济”大系统；交通投资；BP神经网络；预测
作为一种人类社会发展的先行资本，交通基础设施的投资与建设成为了实现经济增长的重要先决条件。由于建设周期长、投资大，造成影响交通投资的因素十分广泛而复杂，因此在研究交通投资预测时，国内许多学者增加了影响交通投资的相关因素。匡敏、胡思继等人选取了铁路市场份额、铁路货运量、港口货物吞吐量、基本建设投资、GDP、第二产业比重、原煤产量、钢产量8个指标作为铁路运输的影响因素，运用BP神经网络对铁路运输进行了预测。方庚明运用多元回归方法，建立了包括经济、人口、政策影响客运量发展相关因素在内的客运量发展预测模型。温爱华、李松选取了GDP、公路运营里程、公路货运量、铁路运营里程、铁路复线比例、铁路货物周转量、铁路货运量、铁路运输从业人员8个指标作为影响铁路货运量的因素，基于GRNN模型对其进行了预测。王文莉、杨俊红采用灰色理论对影响铁路客运量的因素，即GDP、人口、居民平均消费水平、工业增加值、社会消费品零售总额、公路客运量、民航客运量、旅客列车旅行速度进行分析，采用动态分辨系数的灰色关联分析法实现影响因素的优化选择。
关于交通方面的预测方法较多，常用的有回归分析法、时间序列法、灰色模型预测法等，他们都需要建立函数模型才能实现预测。而且通过这些方法所建立的模型，不能全面地反映所预测动态数据内在结构的复杂性和非线性，容易丢失信息。近年来，随着神经网络技术的发展，部分学者尝试利用神经网络进行交通量的预测，构建了多种模型，并取得了一定成就。与传统的预测模型相比，神经网络模型不需要建立函数模型，有较强的自适应性和学习性，具有建立分段非线性模型的能力，对于交通基础设施这个复杂的系统来说，运用神经网络模型进行预测是一种有效的方法。
由于交通投资是一个复杂的系统工程，影响投资的因素较多，而且每个因素也会随着环境的变化而变化，因此为了全面、科学、本质地反映交通投资的变化，本文在前人研究的基础上，构建在“交通—经济”大系统环境下影响交通投资的层次结构模型，运用BP神经网络模型进行预测。
一、 交通基础设施投资影响因素层次结构模型
交通基础设施投资规模是由交通基础设施可供量和需求量共同决定的，而影响交通投资规模的可供量和需求量又涉及到社会生产与生活的方方面面，由此决定了交通投资预测是一个复杂的非线性系统。本文将影响交通投资的因素分成三大类：一类是交通基础设施自身内部的因素，主要包括交通供给与需求；第二类是经济社会因素，如GDP、产业结构状况、人均消费、人口等；第三类是经济体系的外部因素，如资源、环境、地理条件等。根据层次分析法指标体系建立的方法，将交通基础设施投资作为目标层，交通基础设施供给系统、需求系统、经济社会系统和资源系统作为准则层，影响因素作为指标层，构建在“交通—经济”大系统环境下交通基础设施投资影响因素层次结构模型（见图1）。
二、 建立交通基础设施投资的BP神经网络预测模型
1. BP神经网络的基本结构。BP神经网络是一种多层前馈神经网路，其采用误差反向传播学习算法。它由输入层、隐含层和输出层构成，通过有指导的学习方式进行训练和学习，将神经元的激活值从输入层经各个隐含层向输出层传播，在输出层的各个神经元获得网络的实际输出响应。通过比较输出层各个神经元的实际输出与期望输出，获得二者之间的误差，然后按照减少误差的方向，从输出层经过各个隐含层并逐层修正各个连接权值，最后回到输入层。这种过程不断重复进行，直到误差降低，至可以接受的范围，学习训练过程也就随之结束。通常情况下，由于训练样本有限，一般强调选择能达到要求的最小网络。因此，本文所构建的交通投资BP神经网络预测模型的其网络拓扑结构见图2所示。
2. 建立预测模型。训练对于神经网络模型的建立是至关重要的，训练结果的好坏将会影响神经网络模型的拟合与预测效果。因此，我们在训练时要考虑到预测，而不是一味地追求高拟合度，要注意整个模型拟合与预测的一致性。
基于这个目的，本文以同一年份的交通投资总额、铁路投资额、公路投资额、水运投资额、航空投资额、管道投资额、客运量、客运周转量、货运量、货运周转量、GDP、其他基础设施投资、非基础设施投资、人均消费、人口、能源消耗总量16个指标作为一个神经元。利用1980年～2009年的数据作为输入量，2010年的数据作为输出量进行网络训练；同时利用1979年～2008年的数据作为输入，2009年的数据作为输出对网络的性能进行测试，验证模型是否可靠。由于隐含层神经元的确定是根据问题的要求和输入、输出单元的多少，本文经过反复测试，确定隐含层节点数设为5比较合理。因此，本文的预测模型网络结构采用30-5-1结构，即输入层有30个神经元，隐含层有5个神经元，输出层有1个神经元，也是说用前30年数据作为学习样本，后1年的数据作为预测效果检验样本。
三、 应用BP神经网络进行交通基础设施投资的预测
神经网络学习方式范文5
[关键词]探地雷达 神经网络 自组织特征映射
[中图分类号] TN95 [文献码] B [文章编号] 1000-405X（2015）-3-131-3
1前言
在探地雷达的数据处理中，通常采用的是类似地震数据处理中的一些手段和方法，比如去除零漂、增益处理、带通滤波、道均衡等等，这些方法均是对整个剖面进行操作的，而我们可以通过神经网络方法，对数据体中某几个区域进行选取，对比研究，以判断其存在的雷同性或者差异性，来达到分类的目的，用以不同深度和区域地质体的判别和认定。
2神经网络结构及算法
2.1神经网络结构
神经网络系统是用数学思维模拟人脑神经信息处理方式的一种人工智能网络，它是一个高度复杂的非线性动力学系统，由大量简单的神经元广泛相互连接而成。神经元一般是一个多输入单输出的非线性器件，它是神经网络的基本处理单元，结构模型见图1所示。神经网络因其具有大规模并行计算、容错性强、分布式存储及超强学习能力等优点，被广泛应用于诸多领域，并取得了引人注目的成果。
经过多年的发展，已经发展出感知器网络、BP网络、径向基网络、Hopfield网络、自组织网络和LVQ网络等等。
在已知目标向量的情况下，可以采用由导师的训练方法，然后针对探地雷达数据的特点，这里没有采用BP神经网络等需要导师的网络进行训练学习，而采用了无需提供导师信号的神经网络――自组织神经网络。
2.2自组织特征映射神经网络算法
自组织神经网络的无导师学习方式更类似于人类大脑认知过程，其最重要的特点是通过自动寻找样本中的内在规律和本质属性，自适应地改变网络参数与结构。自组织神经网络又分为几个内容，自组织竞争网络、特征映射网络、共振理论模型等。本文采用的自组织特征映射（SOM）神经网络，是由芬兰神经网络专家Kohonen于1981年提出的。SOM网络共有两层―输入层和输出层，分别模拟感知外界输入信息的视网膜和做出响应的大脑皮层，对于某个特定的输入模式，输出层会有某个节点产生最大响应而获胜，获胜神经元对其邻近神经元存在侧拟制机制。
SOM网络采用的学习算法称为Kohonen算法，采用优胜域思想，模拟生物区域神经兴奋竞争机制，其算法过程按如下步骤进行：
2.2.1初始化
给定初始学习率η（0）；建立初始优胜邻域Nj*（0）；给输出层各神经元对应的权向量赋小随机数，并进行归一化处理得到Wj。
2.2.2输入模式
自组织网络中选取一个输入模式，并进行归一化处理得到X。
2.2.3寻找获胜神经元
将X与输出层所有神经元对应的权向量Wj进行相似性比较，最相似的神经元获胜，权向量为Wj*：
2.2.4确定优胜邻域Nj*（t）
以j*为中心确定t时刻的权值调整域，优胜邻域内的所有神经元均按其离开获胜神经元的距离远近不同调整权值，随着训练次数的增加，优胜邻域半径不断收缩。
2.2.5调整权值
只有获胜神经元才有权按下式学习调整其权向量Wj*：
其中η（t）随时间变化逐渐下降到0，一般取 或
2.2.6重新归一化处理
对经学习调整后的权向量重新进行归一化处理，循环计算，直到学习率η衰减到0。
3理论数值模拟应用
3.1区分方波函数
首先通过方波函数，用有导师的神经网络进行训练，对神经网络的使用加以试验说明。
原始数据共48道，400ms采样时间的方波数据，200-400ms的振幅2倍于0-200ms，如图2中a所示，将0-48道的0-100ms和300-400ms的数据拼接构成网络输入信号，目标函数为一个长度为201的向量，0-100为0，101-201为1；测试数据选取为原始数据中100-350ms部分的数据，测试目标函数为一个长度为251的向量，0-100为0，101-251为1。
通过神经网络训练，得到图2中b中所示结果，星号为目标曲线，红色为输出曲线，绿色为误差曲线，可以看出误差为零，训练结果还是令人满意的。
3.2判别模拟数据
对一个模拟数据的某一块数据体（图3（a）），我们采用自组织特征映射网络对其进行训练分类。
根据上述的算法，对18-37道、15-50ms采样时间的数据进行训练分类，在分成5类的情况下，从18道至37道网络自动识别成为以下情况：4 4 4 5 5 5 2 2 2 2 2 2 3 3 3 3 1 1 1 1，其中一个数字代表一类情况，用其他道的数据测试该网络时可以得到如下结果：40道返回数字1，15道返回数字4，与实际情况相符合。
可以看出SOM算法对不同的波形分类的情况还是比较理想的，当然这个分类情况和事先给定的种类也有关系，给定的种类越多，分的越细，给定的种类越少，分的越粗。对于图3（b）中40ms附近的反射异常，在2个分类的情况下，可以方便的与围岩分辨出来，反射异常区的各道为一个类别，围岩区域为一个类别。
4实际数据应用
下面我们通过实际采集到的雷达数据进行训练处理。
野外作业主机为美国GSSI公司的SIR-20型，天线为40M低频组合天线，数据共70道，采样长度1024ms，0.2m点测采集，64次叠加，数据为在灰岩地区获取。
数据剖面见图4，由于工作环境为灰岩地区，初步判断B区域为反射异常，对A区域存有疑虑。现根据SOM算法，应用神经网络对其进行分类辨别，通过训练归类，得出以下结论：A区域49-55道与B区域62-70道属于同一类别的，56-61道属于另外一个类别。因此认定A区域与B区域应为同一类地层反射引起，由于振幅较强，判断为一个埋深较大的溶洞，56-61道可能由于区域含水吸收导致能量较弱，后经开挖验证，A区域与B区域确实为一个连通溶洞，且规模很大。
5结论
通过对方波函数的判别、模拟数据的训练分类以及实际数据异常反射区的分类判定，可以看出神经网络方法作为一个手段来对探地雷达数据处理还是很有效果的，在一定程度上能够满足剖面处理的要求，达到使用的目的。本文使用无导师的网络进行训练的目的就是为了能够自动判别分类，避免人为干预的影响，当然某些情况下以可以采用有导师的网络，有针对性的进行识别。
本文得到中国地质调查局基[2014]01-034-013项目资助。
Abstract： Get across the introduce of neural network， using the characteristic than training the network to classified， after the experimentation on square function and simulation data， finally carry on real acquisition data， identify and class the choosed area， achieve the aim to distinguish and cognizance about structure in different area on profile，satisfy the require of data process.
Keywords： GPR Neural network Self-Organizing Feature Map
参考文献
[1]飞思科技产品研发中心.神经网络理论与MATLAB7实现[M].北京：电子工业出版社，2005.
Fei Si Technology R & D center. Neural Network Theory and MATLAB7 Implementation[M]. Beijing： Electronic Industry Press，2005.
[2]李大心.探地雷达方法与应用[M].北京：地质出版社，1994.
Li Da-xin. Method and application of ground penetrating radar [M]. Beijing： Geology Press， 1994.
[3]翟波，杨峰，孙水明.基于二维滤波的探地雷达数据去噪研究[J].南京师范大学学报，2007，7（3）：80.
Zhai Bo， Yang Feng， Shui Ming-sun. Based on two-dimensional filtering of ground penetrating radar data denoising [J]. Nanjing Normal University， 2007，7 （3）： 80.
[4]杨峰，彭苏萍，张全升. 地质雷达精细处理技术方法的应用研究[J].工程勘察，2007，（4）：70-74
Yang Feng， Su Ping-peng， Zhang Quan-sheng. Ground Penetrating Radar Method for fine processing technology applied research [J]. Engineering Survey， 2007 （4） ：70-74.
[5]郝建新，魏玉峰，林雄斌，地质雷达探测干扰因素及图像识别研究[J].工程勘察，2008（11）：73-75.
Jian-Xin Hao， Yu-Feng Wei， Lin Xiongbin， ground penetrating radar interference factors and image recognition research[J]. Engineering Survey， 2008 （11） ：73-75.
[6] David. J. Bescoby， Gavin C. Cawley， and P. Neil Chroston. Enhanced interpretation of magnetic survey data from archaeological sites using artificial neural networks[J]. Geophysics，2006， 71，H45.
[7] Zhengping Liu and Jiaqi Liu. Seismic-controlled nonlinear extrapolation of well parameters using neural networks. Geophysics，1998，63：2035.
神经网络学习方式范文6
关键词： BP神经网络； Gauss变异； 学习率； 冲量系数； 动态调整
中图分类号： TN911?34 文献标识码： A 文章编号： 1004?373X（2014）06?0012?03
0 引 言
神经网络是一个黑箱模型，它具有很强的适应能力和学习能力，在人工智能、自动控制、模式识别、信号处理、预测及评价等方面都有着越来越广泛的应用[1?3]。目前已经提出了多种训练算法和网络模型，其中应用最广泛的是前馈型神经网络。前馈型神经网络训练中使用最多的方法是误差反向传播（Back Propagation，BP）学习算法。BP算法系统地解决了多层网络中隐含神经元连接权的学习问题，使BP 网络成为应用最为广泛的一种神经网络模型。但是BP网络也有一些不足[4?5]。比如：收敛速度太慢问题、局部极小点问题、网络瘫痪问题、稳定性问题、步长问题等，极大地影响了神经网络的进一步应用。很多学者对BP 网络进行了深入研究并提出了许多改进的模型[6?9]，这些改进模型的收敛速度比标准梯度法快数十倍，但它们仍都不是普遍适用的，都有着各自的优势或缺陷。本文结合BP网络的训练过程，提出一种改进的BP网络训练方法，将Gauss变异与改进的BP算法相结合，对学习率参数和冲量系数进行动态调整，使得权值能很好的调整。避免了传统的BP 算法容易陷入局部极小的问题，同时可以提高BP 算法的训练速度，降低收敛时间。
1 BP神经网络
BP 神经网络是一种单向传播的多层前馈网络[1]，它包含输入层、中间层（隐层）和输出层，是目前应用较多的一种模型。该算法在层次型网络结构上采用误差逆传播学习方式，学习过程由正向传播和误差逆传播组成。算法的主要思想是把学习过程分为两个阶段：第一阶段是正向传播过程，输入信息从输入层经中间层逐层计算各神经元的实际输出值，每一层神经元的状态只对下一层神经元的状态产生影响；第二阶段是反向传播过程，若在输出层未能得到期望的输出值，则逐层递归计算实际输出与期望输出之间的差值，根据此误差修正前一层权值使误差信号趋向最小。它通过连续不断地在相对于误差函数斜率下降的方向上计算网络权值和偏差变化而逐渐逼近目标。每一次权值和误差的变化都与网络误差的影响成正比。
假设神经网络输出层有m个神经元，若输出层第j个神经元与中间层第i个神经元之间权值为[wij]，中间层第i个神经元的输出为[Oi]，阈值为[bj]，则输出层第j个神经元的输入总和为其上层各单元加权和：
输出实际值为：
若输出期望值为[yj]，则网络关于第p个样本的误差函数定义为：
而将网络关于整个样本集的全局误差函数定义为：
BP算法采用梯度下降法调整权值，每次调整的量为：
式中：[δj=f（netj）（yj-Oj）]；[α]为学习率，它决定每一次训练中的权值变化大小。
BP算法主要的优点是简单、易于实现。但是BP 算法有两个致命的缺陷：首先最大的缺陷是BP算法很可能陷入局部极小值，因为通常的误差曲面都是凸凹不平的，会有多个极值点；另一个缺陷是收敛速度慢，当采用梯度下降法时步长不容易确定，步长太长则达不到精度，甚至会发散；太小则迭代步骤增加，收敛速度慢。鉴于此，目前对BP算法的改进主要集中在两个方面：其一是避免陷入局部极小值，一旦陷入要想办法逃出；其二是改进迭代算法，加快收敛速度。
2 Gauss变异与改进的BP算法相结合
BP算法的不足在一定程度上都与每次权值修改程度大小有关。如果每次训练，权值都能向全局极小值方法进行修改，那么上述问题都能得到解决。可用遗传算法对BP算法中的学习率进行动态调整。初始时将学习率设大一些，加快算法的收敛。后期将学习率设小一些，以便可以找到全局极小值点。为了使算法的整体性能更高，采用将改进的BP算法和遗传算法相结合。
2.1 改进的BP算法
BP网络的训练过程是根据样本集对神经元之间的连接权进行调整的过程。其次，BP网络执行的是有导师训练。所以，其样本集是由形如：
（输入向量，理想输出向量）
的向量对构成的。BP网络接收样本的顺序会对训练的结果有很大的影响。它更“偏爱”较后出现的样本。如果每次循环都按照[（X1，Y1）]，[（X2，Y2）]，…，[（XS，YS）]所给定的顺序进行训练，在网络“学成”投入运行后，对于与该样本序列较后的样本较接近的输入，网络所给出的输出的精度将明显高于与样本序列较前的样本较接近的输入对应的输出精度。所以算法应该避免“分别”、“依次”的出现。因此，不再“分别”、“依次”根据[（X1，Y1）]，[（X2，Y2）]，…，[（XS，YS）]对权值向量[W（1）]，[W（2）]，…，[W（M）]进行调整，而是用[（X1，Y1）]，[（X2，Y2）]，…，[（XS，YS）]的“总效果”去实施对[W（1）]，[W（2）]，…，[W（M）]的修改。获取样本集“总效果”的最简单的办法是取：
式中：∑表示对整个样本集的求和；[Δpw（k）ij]代表神经元i到神经元j的连接权[w（k）ij]关于样本[（Xp，Yp）]的调整量。
权值的本次修改要考虑上次修改的影响，以减少抖动问题。引入冲量系数[β]，以将上次权值的调整量，进入当前权值的修改过程，平滑学习路径。考虑上次修改的影响，本次权值的修改公式为[1]：
式中：[Δwij′]为上一次的修改量；[Oi]表示第i个神经元的输出；[β]为冲量系数，通常取0～1之间的小数。因为[β]值较大时，虽能加快训练速度，但影响精度及收敛性，太小又起不到影响本次权值修改的作用。因此，[β]的取值视具体问题由试验确定。
上述算法较好地解决了因样本的顺序引起的精度问题和训练的抖动问题。但是，该算法的收敛速度还是比较慢的。为了解决收敛速度问题，可以给每一个神经元增加一个偏移量来加快收敛速度。
2.2 Gauss变异调整学习率参数和冲量系数的基本思想
BP算法中，如果学习率步长、冲量系数不变，那么到后期可能由于步长太大从而不能继续进行优化。所以步长应该进行动态调整。当权值进行调整时，可用Gauss变异生成两个小的随机数，并将这两个小的随机数作为学习率参数和冲量系数。
2.3 整体算法流程
为了避免让算法陷入局部极小值点，将遗传算法中群体的概念应用进来。生成N个个体，每个个体执行算法，算法运行完成后，选取最好个体中的误差作为最小误差。
每个个体执行的算法如下：
3 实验及实验结果分析
为了说明Gauss变异的有效性，将本文中的改进算法与不加入Gauss变异和群体概念的改进BP算法在收敛速度方面进行比较。采用Balance?scale数据集进行了算法验证，该数据集的训练样本特征为4个，目标输出类型有3种，本文采取200个4维样本向量构造标准样本空间，输出为2维向量进行训练，其收敛曲线对比如图1所示。
图1 训练收敛曲线对比图
图1显示的是迭代1 000次，算法的收敛速度。为了有可比性，初始权值设为固定值。从图1中可以看出，加入Gauss变异后收敛速度大大提高。运行了几个例子，都能得到这一结论。但对于不同的例子，产生的Gauss随机数不能直接赋给学习率参数和冲量系数，还要根据不同的实际，对随机数乘上不同的权值。这个权值是个经验值，需要进行若干次实验来确定一个比较优的值。
另外，用此算法对一个数据集进行分类，采用breast?cancer?wiscon数据集，训练样本和测试样本根据Cross?validation[10]进行划分。每个分区轮流作为测试样本进行测试。由于breast?cancer?wiscon数据集比较简单，分类属性只有两个值，所以只将分类属性的值变换成0或1。BP网络的输出如果在[0，0.5]之间，则将属性的值定为0；否则为1。算法参数设置如表1所示。
表1 算法参数设置
实验结果如表2所示。
表2 实验结果
从以上实验结果可以得知，用Gauss变异动态调整学习率参数和冲量系数，可以加快算法的收敛速度，并且可以得到比较好的分类结果。但是，Gauss函数自变量和随机数权值应取多大需要进行若干次实验，才能确定一个比较好的值。
4 结 语
本文结合BP网络的训练过程，提出一种改进的BP网络训练方法，将Gauss变异与改进的BP算法相结合，对学习率参数和冲量系数进行动态调整，使权值得到很好的调整。实验结果表明，此方法避免了传统的BP 算法容易陷入局部极小的问题，在训练时间和收敛速度方面均表现出更优的性能，具有比较好的实用性。
参考文献
[1] 蒋宗礼.人工神经网络导论[M].北京：高等教育出版社，2001.
[2] 张毅，杨建国.基于灰色神经网络的机床热误差建模[J].上海交通大学学报，2011，45（11）：1581?1585.
[3] 黄伟，何眸，夏晖.基于小波神经网络的IP网络流量预测[J].计算机科学，2011，38（10）：296?298.
[4] 田景文，高美娟.人工神经网络算法研究与应用[M].北京：北京理工大学出版社，2006.
[5] KUMAR S. Neural networks [M].北京：清华大学出版社，2006.
[6] YU X H， CHEN G A， CHENG S X. Dynamic learning rate optimization of the back propagation algorithm [J]. IEEE Transactions on Neural Networks， 1995： 6（3）： 669?677.
[7] ROYCHOWDHURY P， SINGH Y P， CHANSARKAR R A. Dynamic tunneling technique for efficient training of multilayer perceptions [J]. IEEE Transactions on Neural Networks， 1999： 10（1）： 48?55.
[8] 陈玉芳，雷霖.提高BP网络收敛速率的又一种算法[J].计算机仿真，2004，21（11）：74?79.
