前言：中文期刊网精心挑选了神经网络学习方法范文供你参考和学习，希望我们的参考范文能激发你的文章创作灵感，欢迎阅读。
神经网络学习方法范文1
关键词：风电机组；matlab；人工神经网络；风功率预测
1 风电功率预测模型
1.1 径向基神经网络
神经网络算法是近年来发展起来的一种新型人工智能算法。不同于以往的数学算法，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型，具有自学习、自适应和自组织能力的特点。
径向基神经网络（即RBF神经网络）是一种三层前向网络，由输入层、隐含层和输出层组成，网络结构如图1所示。由输入到输出的映射是非线性的，而隐含层到输出层是线性的，从而大大加快了学习速度并避免局部极小问题。
根据径向基函数中心选取方法的不同，RBF神经网络有很多学习方法，如随机选取中心法、梯度训练法、有监督选取中心法和正交最小二乘法等。这里，选用梯度训练法作为RBF神经网络的学习方法。
1.2 梯度训练方法
RBF网的梯度训练方法是通过最小化目标函数实现对各隐节点数据中心、扩展常数和输出权值的调节。使用一种带遗忘因子的单输出RBF网学习方法，此时神经网络学习的目标函数为：
（1）
其中，？茁j为遗忘因子，误差信号ej的定义为：
（2）
由于神经网络函数F（X）对数据中心ci、扩展常数ri和输出权值wi的梯度分别为：
（3）
（4）
（5）
考虑所有训练样本和遗忘因子的影响，ci、ri和wi的调节量为
（6）
（7）
（8）
其中，？椎i（Xj）为第i个隐节点对Xj的输出，？浊为学习速率。
1.3 数据归一化
数据归一化是神经网络预测前对数据常用的一种处理方法。数据归一化处理将所有数据都转化为[0，1]之间的数，其目的是取消各维数据间数量级别差，避免因为输入输出数据数量级差别较大而造成神经网络预测误差较大。
风速归一化：应用多年统计的极限风速对风速数据进行归一化处理
（9）
其中，Vg为归一化处理后的风速标量值；vt为应用于预测的历史风速值；vmax为风场气象观测到的历史最大风速，如不超过风场风机最大切除风速，则取为风机的切除风度。
风功率归一化：根据风电机组额定功率，采用与风速归一化相同的方式，对风电机组历史出力情况进行归一化，并对网络预测的输出功率进行反归一化，得到预测结果。
1.4 神经网络的构建
首先挑选几组数据风功率作为样本，将每个样本的前n个风速和风功率值进行归一化处理，将处理后的数值作为RBF神经网络的输入；可将每个样本的后n个风速和风功率值进行归一化处理，将处理后的数值作为RBF神经网络的目标输出，通过对RBF神经网络的训练学习，实现从输入空间到输出空间的映射。
2 短期风功率预测结果
将前10天的风功率数据作为训练样本，对风机功率提前1小时进行预测。图2预测风功率与实测风功率比较可知，可以看到神经网络预测风功率变化趋势与实际风功率变化基本趋势一致，并且预测功率比实际功率变化平缓。
神经网络在风功率预测时，每点的预报误差不尽相同，这主要与早晚温差造成的风速突然变化以及当天天气变化情况等有关，从预测曲线的总体趋势以及与实际曲线误差值大小来看，该神经网络模型预测结果基本令人满意。
3 结束语
采用人工神经网络进行预测精度较高、训练速度快，适用于在线预测的场合。但是由于所用训练数据为风速相对平稳时期的数据，所以该模型对于突变风速的处理能力仍然有限，为提高预测结果的精度，还需对模型进行进一步改进。总体而言，通过建立神经网络模型，对短期风功率进行预测，虽有一定局限性，但其预测精度满足工程要求。
参考文献
[1]Tony Burton，等.风能技术[M].北京：科学出版社，2007.
神经网络学习方法范文2
【关键词】ELM算法 机器学习 人工神经网络 故障诊断
1 引言
汽车的动力源是发动机，它系统结复杂、工作条件恶劣，出故障率也最高， 一般要占到整车故障的百分之四十以上，因此能否在不解体的情况下及时准确地诊断出发动机的故障源在车辆检修过程中就显得尤为重要，也是汽车故障诊断的关键环节。随着人工智能技术的发展，人工神经网络在故障诊断中的应用越来越广泛。人工神经网络是由人工神经元互连组成的网络，是从微观结构和功能上对人脑的抽象、简化、模拟人脑结构及其功能的非线性信息处理系统，它能充分逼近任意复杂的非线性的关系，具有较好的实时性。基于人工神经网络的发动机故障诊断的关键技术是选择人工神经网络的学习算法。神经网络的学习算法影响神经元之间权值的训练，也就直接关系到诊断模型的精度。学习算法中最经典最常用的是误差方向传播（Back Propagation，BP）算法，由于BP 算法本身存在容易陷入局部极小值、收敛速度慢、迭代时间长等一些固有缺陷[3]，因此本文提出了一种新型的基于ELM学习算法的人工神经网络对发动机进行故障诊断。
2 ELM神经网络
ELM是一种单隐层前向神经网络（single-hidden-layer feedforward neural net-work，SLFN）的学习方法，由新加坡南洋理工大学副教授黄广斌2006年提出[4]。在 ELM 中，只需要设置隐层节点的数目，通过随机选择隐层输入权值和阈值，计算隐层输出矩阵的 Moore-Penrose（MP）广义逆来确定输出权值，便可以获得唯一最优解。这种学习方法使网络具有良好泛化性能和快速学习速度，并且避免了基于梯度下降学习方法的容易陷入局部极小、训练次数过多、性能指标以及学习率的确定等。由于 ELM 的这些优良特性，使它在其它领域中有着非常广泛的应用。
3 应用实例
本实验的数据是利用博时汽车公司提供的金德KT600扫描仪读在北京现代汽车发动机上进行采集的[5]。网络的输入包含11个输入量：分别为氧传感器、空气流量、冷却水温传感器、进气温度传感器、节气阀开度传感器、节气门位置传感器、发动机转速、点火时间、喷油时间、空然比闭回路、点火闭合时间；输出层为12个输出量，采用二进制编码，1表示有故障发生，0表示无故障发生，对应的系统故障分别为发动机正常、节气门位置传感器、某缸喷油器线路故障、冷却液温度传感器、点火线路故障、氧传感器故障、怠速执行器、节气门开度故障、冷却温度传感内部故障、空气流量传感器内部故障、进气温度传感器内部故障、进气系统漏气故障。
人为地对发动机的各种执行器开关进行控制，制造上述12个输出量的故障，从ECU中读取各种故障的数据流，训练数据86组，验证数据48组，测试数据12组，将所有样本都归一化到[-1，1]之间。（氧传感器数据流正常为1，非正常为0；空燃比回路关闭时设定为1，打开时设定为0。）用样本训练ELM神经网络，初始隐节点设置为10，以20为周期增加隐节点数，得到不同激活函数下验证正确率随隐层节点数目变化图，如下图一所示（参数选择耗时331秒）。由图可知，5种激活函数中hardlim函数的精度比较高，当隐层节点达到200左右时，验证样本正确率开始趋向于平稳。通过对验证结果的分析，当选取hardlim为激活函数，隐层节点数为210时，对验证的正确率达最高，达到97.88%。
根据选择的最优参数，对网络进行训练，记录50次的平均训练时间为15.6毫秒，12组测试样本（一组正常数据和11种故障部位数据）采用建立的ELM神经网络诊断模型进行诊断，总测试精度为86.5%，各组数据的ELM预测的结果见表一，取每组测试中概率最大的为故障部位，则从表中可以看出ELM神经网络可以得到有效的诊断结论，诊断结果和实际是一致的。
4 结论
针对电控发动机的一些基本故障，利用OBDII接口采集ECU内传感器数据，输入训练好的ELM神经网络系统进行实时故障诊断，其结果与实际故障情况相同，且网络的参数选择简单、训练时间极短，测试精度较高。因此，把ELM神经网络应用于电控发动机的故障诊断是快速、高效、可行的诊断方法。
参考文献
[1] 豪彦.欧.美.中国汽车燃料消耗量实验方法比较[J].汽车与配件，2002（21）.
[2] 许拔民.汽车油耗标准及技术法规的现状与发展[J].中国汽车技术中心，2009.
[3] Larsen E V，Miller N W，NilssonS Letal.Benefits ofGTO-based compensation systems for electric utility applications[J].IEEE Transon Power Delivery，1992，7（4）：2056-2061.
[4] Huang G B，Siew C K.Extreme learning machine withrandomly assigned RBF kernels[J]. International Jour-nal of Information Technology，2005，11（1）：16-24.
[5] 郭增波.数据流分析电控发点故障的应用研究.硕士学位论文[D].新疆农业大学，2012.
神经网络学习方法范文3
关键词：神经网络；边坡；稳定性
引言
边坡的稳定性是目前岩土工程界研究的重大课题，在矿山工程、水利工程以及建筑工程等诸多领域都涉及到边坡的稳定性问题。边坡工程是一个动态开放的、复杂的、非线性的系统问题，影响边坡稳定性的因素不但有地质和工程因素，而且还具有不确定性。目前，评价边坡稳定性的方法有层次分析法、灰色理论法、极限平衡法、有限元法等方法，但是这些方法难以摆脱人为因素的影响，计算复杂，具有一定的局限性。本文将人工神经网络的知识应用到边坡稳定性的预测中，结合人工神经网络在结构上的分布式存储和并行处理的特点，使人工神经网络具有较好的容错性、高度非线性映射、以及自适应、自组织学习的能力，从而能够捕捉边坡稳定性与影响边坡稳定因素之间的相关规律，弥补传统方法在预测边坡稳定性上面的不足，实现对边坡稳定性的可靠预测。
1 神经网络原理
人工神经网络ANN（artificial neural network）是属于人工智能（artificial intelligence）范畴的一种计算技术，它根据人们对生物神经网络的研究成果设计出来，具有良好的数学描述，可以方便地用计算机程序加以模拟。
目前，最常用的人工神经网络模型有线性神经网络、RBF神经网络、BP神经网络等，本文采用误差信号反向传播的BP神经网络对边坡的稳定性进行研究。BP神经网络在训练时，由信号的正向传播和信号的反向传播共同构成神经网络的学习过程，其训练流程示意图如图 1 所示。
图1 基于 BP 算法的神经元网络结构训练流程图
2 神经网络模型建立及训练
2.1 输入样本和输出样本的选择
基于BP人工神经网络的边坡稳定性预测模型的建立，首先是确定神经网络模型各层的节点个数。本文采用某矿山的边坡工程实例进行 BP 神经网络模型的有效检验，选取影响边坡稳定性的6个主控因素为输入样本，即：确定输入变量为 D1—边坡高度指标，D2—重度指标，D3—内聚力指标，D4—摩擦角指标，D5—边坡角指标，D6—孔隙压力比指标。
输出向量是边坡稳定性状态代码，将边坡稳定性状态代码分为两种类型：即1代表边坡稳定性状态为破坏，0代表边坡稳定性状态为稳定。
2.2 模型的训练和预测
本文通过编写程序语言，结合Matlab7.0来实现边坡稳定性的预测，应用人工神经网络工具箱中的newff函数来建立一个前馈型的边坡稳定性预测网络模型，在进行网络样本训练时，其中各参数的设定情况为：学习效率设为0.5，网络训练的最大迭代次数为15000次，其收敛精度设置为0.001，采用随机赋值的方法设定网络训练中权值和阈值的初始值。网络的输入层和隐含层均采用对数型S型函数作为传递函数。通过BP神经网络信号误差反向传播算法所建立的边坡稳定性预测网络模型，在样本训练的过程中，当网络训练达到所设置的目标精度或者满足最大迭代次数时，自动停止训练。
本文收集整理了国内外各类矿山及岩土工程中潜在或滑动破坏模式为圆弧形滑落的稳定边坡和失稳破坏边坡实例共10个（破坏4，稳定6）。根据提供信息包括边坡结构参数，岩土体的物理力学性质参数，边坡稳定状态及极限平衡法计算安全系数（表1）。输入层的6个神经元分别对应参数：重度、粘聚力、摩擦角、边坡角、边坡高度、孔隙压力比。将10个样本提供网络学习，经922次迭代后网络收敛。训练样本的神经网络的计算结果见表2。网络训练误差曲线图如图2所示。
根据以上预测结果可知，预测精度达到了预定的要求0.001，预测结果与边坡稳定性的实际情况相符，本文建立的BP神经网络边坡稳定性预测模型预测效果较好，预测精度较高，能够满足实际工作的需要，输出结果与现场情况吻合。
3 结论
人工神经网络将制约和影响边坡稳定的可直接取实测数据的定性因素包括边坡结构参数（高度、角度等）以及岩土体的物理力学性质（粘聚力、摩擦角、干容重等）纳入模型参与稳定性评价，借助计算软件MATLAB编制计算程序加以实现。
实际应用表明，神经网络模型由于具有很强的自学习、自组织的能力和高度非线形动态处理能力，用来评价边坡的稳定性有较好的适用性，可以加以推广应用。
参考文献
[1] 飞思科技产品研发中心. 神经网络理论与MATLAB7实现[M]. 北京： 电子工业出版社， 2005： 97-116.
[2] 李春辉. 基于BP神经网络的煤与瓦斯突出危险性预测的研究[D]. 昆明：昆明理工大学， 2010： 40-58.
[3] 刘勇， 江成玉. 基于BP神经网络的煤与瓦斯突出危险性的预测研究[J]. 洁净煤技术，2011（1）： 97-100.
[4] 冯夏庭， 王泳嘉， 卢世宗. 边坡稳定性的神经网络估计[J].工程地质学报，1995（4）： 54-61
[5] 侯殿昆， 宋秀琴， 刘景凡. 基于神经网络的多参数露天边坡稳定性分析[J]. 辽宁工程技术大学学报， 2007， 26（5）： 649-651.
[6] 邹义怀， 江成玉， 李春辉. 人工神经网络在边坡稳定性预测中的应用[J]. 矿 冶， 2011， 20（4）： 38-41.
神经网络学习方法范文4
关键词：BP 神经网络；管道监控；泄漏定位；输油管道
中图分类号：TP183 文献标识码：A 文章编号：1009-3044（2013）08-1885-04
输油管道是石化系统中极其重要的一环，由于各种原因，比如：管道所处环境恶劣、管道自然老化、管道运行磨损、人为打孔等，导致管道泄漏频频发生，这对管道监控提出了更高的要求，必须及时准确地对泄漏做出检测；传统的检测方法存在误差大或易漏报、误报等缺陷，难以准确发现定位输油管道的泄漏位置； BP神经网络是一种具有三层或三层以上结构的无反馈的、层内无互连结构的前向网络，随着误差反向传播，误差不断得到修正，逐渐减小误差，自动更新网络参数，从而不断提高对输入模式识别的正确率，非常适合应用到输油管道泄漏定位。
1 BP神经网络
1.1 标准BP神经网络算法
BP神经网络（Back Propagation Neural Network，简称BP网络）通常是指基于误差反向传播算法（BP算法）的多层前向神经网络，它与PDP（并行分布处理）理论相结合，使BP网络受到广泛关注，成为目前最流行的一种神经网络模型，该模型采用BP算法进行学习，其学习过程分四个阶段：“模式顺传播”过程， “误差逆传播”过程， “记忆训练”过程和“学习收敛”过程，典型的BP神经网络是一种具有三层或三层以上结构的无反馈的、层内无互连结构的前向网络，三层（输入层、隐含层和输出层）BP神经网络结构图如图1所示，其中首尾两层分别称为输入层和输出层，中间各层为隐含层（也称中间层），各层之间的神经元为全连接关系，层内的各个神经元之间无连接。
1）中心站计算机：负责实时检测管道两端的压力等状态信号，对管道两端的数据进行分析处理，判断是否发生泄漏，当判断泄漏发生时，需要及时报警，并确定泄漏点位置。
2）传输网路：通过以太网为媒介，当中心站请求数据时，向中心站传送所需的数据。
4）现场仪表：压力变送器、温度变送器、流量传感器，负责把压力、温度及流量转变为电信号。
3 基于BP神经网络的管道泄漏检测
3.1 管道泄漏检测
泄漏检测流程为：先根据工程需要预先设置好管道配置链表，启动泄漏检测程序后，程序根据已经配置好的管段链表进行轮询；在某一时刻获得某一管段信息，管段信息包括首站及末站IP地址，传感器编号，管道段长，波传播速度等。中心站先根据管道段首、末站IP地址，向这两个IP地址发送数据请求，首、末站接收到请求后，根据中心站要求发送相应的传感器数据；中心站在发送完请求包后等待基站回应数据。如在规定的时间内接收到首末站数据，则对传来的数据进行滤波、检测，如有泄漏信号则给出报警信号，并把检测结果记录到文件中，否则则给出超时信号，并将该管道添加到离线分析管段链表中，形成断线记录；另一任务则根据离线分析管段链表发送离线数据请求，完成离线数据检测。
管道泄漏神经网络检测技术，主要提取了三个变量作为泄漏信号的特征量，它们分别是区间信号能量、区间最大信号下降斜率和区间信号最大负极值，这些特征量的提取是基于动态压力信号是一个个正负相间的信号这个特点，且都是从动态压力信号中提取出来的。
与现有的基于神经网络泄漏判断不同的是，这三个特征量都是取相对于历史数据的比值作为神经网络的输入，因此，在泄漏检测可靠性的基础上，进一步提高了泄漏检测的灵敏度。
用于泄漏检测的神经网络采用BP神经网络，BP神经网络的拓扑结构包括三个输入，中间隐含层包含五个节点，一个输出，它事实上是一个神经网络模式分类器，用于判断是泄漏或不是泄漏。
3.2 BP 网络结构的设计
在实际应用中，面对一个具体的问题时，首先要分析利用BP网络求解的问题的性质，然后依据问题的特点，建立网络。最后通过对网络进行训练、仿真等，检验网络的性能是否满足要求。进行BP网络的设计前，一般应从网络的层数、每层中的神经元个数、初始值以及学习方法等方面来考虑。
1）输入样本的确定
具有足够多典型性好和精度高的样本是采用BP神经网络方法建模的首要和前提条件，同一种故障模式则需要大量的网络训练样本数据输入，这样才可以更好地表征管道泄漏的故障模式，该文对正常、调泵和泄漏三种故障模式的每一种选择多个样本进行训练，同时将收集到的数据随机分成测试样本（10%以上）、检验样本（10%以上）和训练样本3部分。
2）网络层数的选择
大多数通用的神经网络都预先预定了网络的层数，而BP网络可以包含不同的隐层。对多层BP神经网络，隐层层数至少为1层或1层以上，每个隐层的神经元个数至少为1个或1个以上，否则与多层网络的命题矛盾而不成立。
3）隐含层中神经元数目的确定
输油管道有很多种故障模式，该文只对其中的三种（正常、调泵、泄漏）故障模式进行分析，其对应的输出模式为：正常（1，0，0），调泵（0，0，1），泄漏（0，1，0），因此，需要建立具有8个神经单元的神经网络输入层及具有3个神经单元的输出层，隐含层神经元的个数没有明确规定，在本设计中，一般采用试凑的方法来确定隐含层神经元的个数，隐含层有17个神经元。
4）初始权值的设定以及学习速率的选择
5）传递函数
4 结束语
输油管道作为石化行业中重要的一个环节，逐渐老化的输油管道直接威胁到国民经济和人们的日常生活，文中将BP神经网络应用到输油管道监测中，提高了装置的准确性、可靠性及稳定性，具有十分重要的现实意义。
参考文献：
[1] 于金广.基于模糊神经网络的成品油管网泄漏检测方法[J].油气储运，2012（10）.
[2] 沈继忱.管道泄漏诊断方法研究[J].化工自动化及仪表，2012（3）.
神经网络学习方法范文5
关键词：竞争型神经网络；分类；训练误差；特征向量
文本分类数是据挖掘的一个重要研究领域，国内外的众多学者已经进行了比较深入的研究，取得了不少研究成果。常见的文本分类技术有最小距离方法、朴素贝叶斯方法、KNN方法、支持向量机方法（SVM）、模糊c均值（FCM）算法和等，现在有很多学者把神经网络的方法应用到分类算法中，在这些分类算法中，神经网络的文本分类更具有优越的性能。袁飞云利用SOINN自动产生聚类数目和保留数据拓扑结构的两项能力，寻找更有效的单词和设计更有效的编码方式，提出了基于自组织增量神经网络（SOINN）的码书产生方法；申明金利用自组织特征映射神经网络（SOM）以无监督方式进行网络训练，具有自组织功能的特点，利用自组织特征映射神经网络对不同产地金银花进行分类；彭俊等将不同空气质量等级下的各空气指标作为原型模式，通过输入样本模式，利用竞争网络的竞争特点得到胜者，以此得出空气质量等级；郝晓丽等通过筛选基于轮廓系数的优秀样木群，来寻找最佳初始聚类中心，并将该改进算法用于构造径向基函数神经网络分类器和快速有效地确定隐含层节点径向基函数中心及函数的宽度，从而提高了分类精度；孙进进利用神经网络技术中的自组织映射SOM）网络对我国主要机场进行聚类分析评价，得出我国主要机场分为8层的主要结论；刘艳杰在非监督的自组织映射神经网络的基础上进行了一定的改进，构建了有监督的神经网络分类模型；李杨将神经网络与群体智能算法、云计算相结合的方法，实现对不同规模农业数据集的分类，提出基于神经网络分类器的设计与优化方法。而竞争型神经网络的自组织、自适应学习能力，进一步拓宽了神经网络在模式分类和识别方面的应用。竞争型神经网络依靠神经元之间的兴奋、协调、抑制或竞争的作用来进行信息处理，可在训练中无监督自组织学习，通过学习提取数据中的重要特征或内在规律，进而实现分类分析的功能。
1竞争型神经网络的描述
1.1竞争型网络的结构
竞争学习网络的结构如图1所示，该网络具有R维输入和s个输出，由前馈层和竞争层组成。图中的llndlstll模块表示对输入矢量P和神经元权值矢量w之间的距离取负。该网络的输出层是竞争层，图中的模块c表示竞争传递函数，其输出矢量由竞争层各神经元的输出组成，这些输出指明了原型模式与输入向量的相互关系。竞争过后只有一个神经元有非零输出，获胜的神经元指明输入属于哪类（每个原型向量代表一个类）。
1.2竞争型神经网络的原理
竞争型神经网络在结构上，既不同于阶层型的各层神经元间非单向连接，也不同于全连接型。它有层次界限，一般是由输入层和竞争层构成的两层网络。两层之间各神经元实现双向全连接，没有隐含层，有时竞争层各神经元之间还存在横向连接。在学习方法上，不是以网络的误差或能量函数的单调递减作为算法准则。而是依靠神经元之间的兴奋、协调、抑制、竞争的作用来进行信息处理，指导网络的学习与工作。
网络在刚开始建立的时候，输入层和输出层之间的连接权值已经开始了，如果与竞争层某一神经元对应的矢量子类别属于线性层某个神经元所对应的目标类别，则这两个神经元的连接权值为1，否则二者的连接权值为0，这样的权值矩阵就实现了子类别到目标类别的合并。在建立竞争型网络时，每类数据占数据总数的百分比是已知的，这也是竞争层神经元归并到线性层的各个输出时所依据的比例。
1.3存在的问题
竞争型神经网络按Kohonen学习规则对获胜神经元的权值进行调整，通过输入向量进行神经元权值的调整，因此在模式识别的应用中是很有用的。通过学习，那些最靠近输入向量的神经元权值向量得到修正，使之更靠近输入向量，其结果是获胜的神经元在下一次相似的输入向量出现时，获胜的可能性更大；而对于那些与输入向量相差很远的神经元权值向量，获胜的可能性将变得很小。这样，当经过越来越多的训练样本学习后，每一个网络层中的神经元权值向量很快被调整为最接近某一类输入向量的值。最终的结果是，如果神经元的数量足够多，则具有相似输入向量的各类模式作为输入向量时，其对应的神经元输出为1；而对于其他模式的输入向量，其对应的神经元输出为0。所以，竞争型神经网络具有对输入向量进行学习分类的能力。
例子：以竞争型神经网络为工具，对下面的数据进行分类：
运用Matlab编程实现，发现网络的训练误差能达到要求，最后也能实现很好的分类效果。运行结果如图2所示。
有运行结果可以看到，训练误差达到要求，分类结果也很合理。
但是在实际应用过程中，我们发现，当对于训练数据的数据特征十分明显的时候，本文设计的网络模型可以对训练的数据进行合理有效的分类，但是，当训练数据的特征不太明显区分的时候，本文设计的训练模型的分类效果就不是太有优势，所得到的分类结果就不能达到我们预期的效果。
我们利用竞争型神经网络对数据样本进行分类，其中参数设置为学习效率0.1，网络竞争层有4个神经元，运用Matlab编程实现，发现结果如下：
例子：我们利用本文设计的网络分类模型进行对数据分类处理：进行分类处理数据的样本数据如下所示：
通过运行学习发现训练误差较大，分类结果也达不到要求。
2改进的方法
2.1问题分析
通过比较分析我们发现，上面的数据样本没有明显的分类特征，所以，以竞争型神经网络进行分类，其输入向量仅仅依靠数据本身的固有的特征时不够的，但我们可以把数据样本看作是二维数据，假设同符号的特征值为1，不同符号的特征值为2，于是一个新的训练样本就确定了，即成为三维数据模型。
2.2改进的算法
第一步：给定数据集X=[X1，X2……，Xi），对网络进行初始化，随机给定网络竞争层与输入层间的初始权向量wj（=wj[w1j w2j…wnj]；j=1，2，…，m xp；wijE（0，1））；给定输出层与竞争层间的连接权值wjo=1/m，o=1，2，…P （P表示第二隐层和输出层的连接权矢量）。
第二步：创建竞争型神经网络，首先根据给定的问题确定训练样本的输入向量，当学习模式样本本身杂乱无章，没有明显的分类特征，网络对输入模式的响应呈现震荡的现象，不足以区分各类模式时，在创建网络之前，提取训练样本的特征值，设置输入样本的特征向量，然后再创建网络模型，并根据模式分类数确定神经元的数目，最后任取一输入模式Ak。
第三步：计算竞争层各神经元的输入值si：
第四步：对本文建立的网络进行训练学习，网络训练最大次数的初始值设置为230，当训练误差大于预期的设定值的时候，可以尝试增加训练的最大次数，按“胜者为王”（Winner Takes All）原则，将训练网络中获得最接近预期值的神经元作为胜者，输出状态设置为1，没有获胜的神经元的输出状态设置为0。如果有两个以上神经元的sj相同，取左边的为获胜单元。
第五步：获胜神经元连接权修正如下：
第六步：另选一学习模式，返回步骤3，直至所有学习模式提供一遍。
第七步：如果不满足要求，则返回到最初的训练状态，反复训练直至训练网络中神经元获得最接近预期值，最终的训练结束。
第八步：根据测试样本利用Matlab编写程序进行仿真实验。
通过实例训练，我们发现本算法和改进前的算法相比，改进后的算法训练误差却大大降低，已经达到了训练的精度要求，同时也很好地实现了分类要求。
神经网络学习方法范文6
（广东外语外贸大学 金融学院，广东 广州 510006）
摘 要：作为一个具有巨大应用前景研究方向，深度学习无论是在算法研究，还是在实际应用（如语音识别，自然语言处理、计算机视觉）中都表现出其强大的潜力和功能.本文主要介绍这种深度学习算法，并介绍其在金融领域的领用.
关键词 ：深度学习；受限波兹曼机；堆栈自编码神经网络；稀疏编码；特征学习
中图分类号：TP181 文献标识码：A 文章编号：1673-260X（2015）01-0037-03
1 深度学习的研究意义
深度学习是一类新兴的多层神经网络学习算法，因其缓解了传统训练算法的局部最小性，引起机器学习领域的广泛关注.深度学习的特点是，通过一系列逻辑回归的堆栈作为运算单元，对低层数据特征进行无监督的再表示（该过程称为预学习），形成更加抽象的高层表示(属性类别或特征)，以发现数据的分布式特征表示.深度学习的这种特性由于与脑神经科学理论相一致，因此被广泛应用于语音识别、自然语言处理和计算机视觉等领域.
生物学研究表明[1]：在生物神经元突触的输出变化与输入脉冲的持续时间有关，即依赖于持续一定时间的输入过程，输出信号既依赖于输入信号的空间效应和阈值作用，也依赖于时间总和效应.
传统的深度学习方法虽然较好地模拟了生物神经元的一个重要特性——空间总和效应上的深度，却忽视了生物神经元的另一个重要特性——时间总和效应上的宽度[2].因此，对于连续的时间变量问题（如语音识别），传统深度学习方法只能将连续的时间函数关系转化为空间关系，即离散化为时间序列进行处理.这样做有几个弊端：
（1）可能造成深度学习算法对时间采样频率的十分敏感，鲁棒性较差.这使得，不同时间尺度下，需要使用不同的数据和算法.这无疑是十分不方便的；
（2）导致深度网络规模过大，使得计算开销增大、学习效果变差、泛化性能降低；
（3）难以满足实际应用对算法的实时性的要求，更难以体现连续输入信息的累积效应，大大降低深度学习算法的实用性.
因此，对传统的深度学习算法进行改进，使其不但具有“深度”，亦能具有“宽度”，能够对连续时变数据进行更好的特征提取、提高算法效率和实用性，显得势在必行.基于这个切入点，本项目借鉴时频分析与小波分析中的方法，结合数学分析领域中的泛函分析技术，与堆栈自编码神经网络相结合，提出一种新的深度学习算法——深度泛函网络.为了验证算法的有效性及优越性，本项目将把新算法应用于金融时间序列的领域.
在目前国内外对于深度学习的研究中，几乎没有任何将深度学习技术运用于金融数据的研究.通过提出并运用得当的深度序列学习方法，我们期望从金融数据中抽取更高级的、具有经济学意义或预测性意义的高级特征（与人工设计的“技术指标”相对应），并开发相应的量化交易策略，并与其它传统算法进行对比，以说明所提算法的可行性和优越性.
2 国内外研究现状
人类感知系统具有的层次结构，能够提取高级感官特征来识别物体（声音），因而大大降低了视觉系统处理的数据量，并保留了物体有用的结构信息.对于要提取具有潜在复杂结构规则的自然图像、视频、语音和音乐等结构丰富数据，人脑独有的结构能够获取其本质特征[3].受大脑结构分层次启发，神经网络研究人员一直致力于多层神经网络的研究.训练多层网络的算法以BP算法为代表，其由于局部极值、权重衰减等问题，对于多于2个隐含层的网络的训练就已较为困难[4]，这使得实际应用中多以使用单隐含层神经网络居多.
该问题由Hinton[5]所引入的逐层无监督训练方法所解决.具体地，该法对深度神经网络中的每一层贪婪地分别进行训练：当前一层被训练完毕后，下一层网络的权值通过对该层的输入（即前一层的输出）进行编码（Encoding，详见下文）而得到.当所有隐含层都训练完毕后，最后将使用有监督的方法对整个神经网络的权值再进行精确微调.在Hinton的原始论文中，逐层贪婪训练是通过受限波兹曼机（Restricted Boltzmann Machine,RBM）以及相对应的对比散度方法（Contrastive Divergence）完成的.与通常的神经元不同，RBM是一种概率生成模型，通常被设计为具有二元输入-输出（称为Bernoulli-Bernoulli RBM）.通过对每一层的受限波兹曼机进行自底向上的堆栈（如图1），可以得到深度信念网（Deep Belief Network,DBN）.
除了生成式的RBM，还有其他的深度学习结构被广泛使用和研究.如堆栈自编码神经网络（Stacked Auto-Encoder Network,SAEN）[6],以及深度卷积神经网络（Deep Convolutional Network）[7]等.前者的优势在于可以简单地采用通常的BP算法进行逐层预训练，并且引入随机化过程的抗噪声自编码网络（Denoising SAEN）泛化性能甚至超过DBN[8]；而后者则通过权值共享结构减少了权值的数量，使图像可以直接作为输入，对平移、伸缩、倾斜等的变形具有高度不变性，因此在图像识别领域有着广泛应用.
近年来，稀疏编码（Sparse Encoding）和特征学习（Feature Learning）成为了深度学习领域较为热门的研究方向.B.A.Olshausen[9]等针对人脑的视觉感知特性，提出稀疏编码的概念.稀疏编码算法是一种无监督学习方法，它用来寻找一组“过完备”的基向量来更高效地表示输入数据的特征，更有效地挖掘隐含在输入数据内部的特征与模式.针对稀疏编码的求解问题，H.Lee等在2007年提出了一种高效的求解算法[10]，该算法通过迭代地求解两个不同的凸规划问题以提高效率.同年，H.Lee等发现，当训练样本为图像时，对DBN的训练进行稀疏性的约束有利于算法学习到更高级的特征[11].例如，对手写识别数据集进行训练时，稀疏性约束下的DBN算法自主学习到了“笔画”的概念.
基于[10,11]的研究成果，R.Raina等[12]提出了“自导师学习（Self-Taught Learning）”的概念.与无监督学习（Unsupervised Learning）和半监督学习（Semi-supervised Learning）不同，自导师学习利用大量易获得的无标签数据（可以来自不同类别甚至是未知类别），通过稀疏编码算法来构建特征的高级结构，并通过支持向量机（Support Vector Machine,SVM）作为最终层分类器对少数有标签数据进行分类.这种更接近人类学习方式的模式极大提高了有标签数据的分类准确度.与之类似，H.Lee,R.Grosse等[13]提出了一种具有层次结构的特征学习算法.该算法将卷积神经网络与DBN结合，并通过稀疏正则化（Sparsity Regularization）的手段无监督地学习层次化的特征表征.图像识别实验表明，该算法能够自主学习得出“物体（Object Parts）”的概念，较好体现了人脑视觉感知的层次性和抽象性.
3 发展趋势
由于信号处理、语音识别、金融时间序列分析、视频分析等领域的实时应用需求，研究能够处理连续时变变量、自然体现时间联系结构的深度学习算法（即深度序列学习，Deep Sequence Learning）成为了新的研究热点.G.W.Taylor,G.E.Hinton等[14]提出时间受限波兹曼机（Temporal RBM,TRBM）.该模型使用二值隐含元和实值可视元，并且其隐含元和可视元可以与过去一段历史的可视元之间可以有向地被相连.同时，该模型被用于人类动作识别，并展现出了优秀的性能.针对TRBM的一些不足，一些改进算法也不断涌现，如[15,16].然而，该类深度学习模型虽然考虑了动态的时间变量之间的联系，但依然只能处理离散时间问题，本质上还是属于转化为空间变量的化归法.同时，在自编码网络框架下，依然缺乏较好解决时间过程（序列）问题的方案.
4 金融时序数据中的应用
传统金融理论认为，金融市场中的证券价格满足伊藤过程，投资者无法通过对历史数据的分析获得超额利润.然而，大量实证研究却表明，中国股票价格波动具有长期记忆性，拒绝随机性假设，在各种时间尺度上都存在的可以预测的空间.因此，如何建立预测模型，对于揭示金融市场的内在规律，这无论是对于理论研究，还是对于国家的经济发展和广大投资者，都具有重要的意义.
股票市场是一个高度复杂的非线性系统，其变化既有内在的规律性，同时也受到市场，宏观经济环境，以及非经济原因等诸多因素的影响.目前国内外对证券价格进行预测的模型大致分为两类：一是以时间序列为代表的统计预测模型；该类方法具有坚实的统计学基础，但由于金融价格数据存在高噪声、波动大、高度非线性等特征，使得该类传统方法无法提供有效的工具.另一类是以神经网络、支持向量机等模型为代表的数据挖掘模型.该类模型能够处理高度非线性的数据，基本上从拟合的角度建模.虽然拟合精度较高，但拟合精度的微小误差往往和市场波动互相抵消，导致无法捕捉获利空间甚至导致损失，外推预测效果无法令人满意.因此，建立即能够处理非线性价格数据，又有良好泛化能力的预测模型势在必行.
——————————
参考文献：
〔1〕Zhang L I, Tao H W, Holt C E, et al. A critical window for cooperation and competition among developing retinotectal synapses[J]. Nature, 1998, 395(6697).
〔2〕37-44.欧阳楷,邹睿.基于生物的神经网络的理论框架——神经元模型[J].北京生物医学工程,1997,16(2):93-101.
〔3〕Rossi A F, Desimone R, Ungerleider L G. Contextual modulation in primary visual cortex of macaques[J]. the Journal of Neuroscience, 2001, 21(5): 1698-1709.
〔4〕Bengio Y. Learning deep architectures for AI[J]. Foundations and trends? in Machine Learning, 2009, 2(1):1-127.
〔5〕Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural computation, 2006, 18(7): 1527-1554.
〔6〕Vincent P, Larochelle H, Bengio Y, et al. Extracting and composing robust features with denoising autoencoders[C]//Proceedings of the 25th international conference on Machine learning. ACM, 2008: 1096-1103.
〔7〕Lee H, Grosse R, Ranganath R, et al. Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations[C]//Proceedings of the 26th Annual International Conference on Machine Learning. ACM, 2009: 609-616.
〔8〕Vincent P, Larochelle H, Lajoie I, et al. Stacked denoising autoencoders: Learning useful representations in a deep network with a local denoising criterion[J]. The Journal of Machine Learning Research, 2010, 9999: 3371-3408.
〔9〕Olshausen B A, Field D J. Sparse coding with an overcomplete basis set: A strategy employed by V1?[J]. Vision research, 1997, 37(23): 3311-3325.
〔10〕Lee H, Battle A, Raina R, et al. Efficient sparse coding algorithms[J]. Advances in neural information processing systems, 2007, 19: 801.
〔11〕Lee H, Ekanadham C, Ng A Y. Sparse deep belief net model for visual area V2[C]//NIPS. 2007, 7: 873-880.
〔12〕Raina R, Battle A, Lee H, et al. Self-taught learning: transfer learning from unlabeled data[C]//Proceedings of the 24th international conference on Machine learning. ACM, 2007: 759-766.
〔13〕Lee H, Grosse R, Ranganath R, et al. Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations[C]//Proceedings of the 26th Annual International Conference on Machine Learning. ACM, 2009: 609-616.
〔14〕Taylor G W, Hinton G E, Roweis S T. Modeling human motion using binary latent variables[J]. Advances in neural information processing systems, 2007, 19: 1345.
