神经网络的认识范例6篇

前言:中文期刊网精心挑选了神经网络的认识范文供你参考和学习,希望我们的参考范文能激发你的文章创作灵感,欢迎阅读。

神经网络的认识范文1

关键词:神经计算机;人工神经网络;实用化研究

中图分类号:TP183 文献标识码:A 文章编号:1007—9599 (2012) 14—0000—02

人工神经网络从字面的意思就是采用人工的方法来实现大脑的思维模式,这是因为随着计算机技术的进步,多阵列CPU组成的计算机网络,能够从一定的程度来模拟实现大脑的思维,将CPU替代人类大脑的神经元,从而实现计算机的人工智能,目前基于神经计算机的人工神经网络技术已经被广泛的使用于科技领域的各个方面,比如本文即将要重点介绍的测控技术和中药现代化。

一、人工神经网络的介绍

人工神经网络就是模拟人脑神经突触结构对信息处理的一种数学模型,是基于仿生学的基础,计算机技术的应用,从而实现类似人脑的逻辑性思维,人工神经网络不是通过一个个程序来实现的逻辑性思维,而是通过大量的节点,图1是节点的示意图:

其中:a1~an为输入向量的各个分量;w1~wn为神经元各个突触的权值;b为偏置; f为传递函数,通常为非线性函数。以下默认为hardlim();t为神经元输出;数学表示 t=f(WA''+b);W为权向量;A为输入向量,A''为A向量的转置;f为传递函数。

节点又叫做神经元来进行相互作用实现的逻辑性思维,包括记忆能力,其中每一个神经元代表了一种输出函数,而通过两个神经元之间的连接信号则称为加权值,这实际上就是人工神经网络的记忆。一个节点的计算公式是: ;其中Y是神经元的输出。 是神经元的第i个输入量, 则是第i个所储权值, 则代表了节点的函数平移量,n代表是节点的个数。由此公式衍生的 =0则代表了n维空间中的超平面。这个超平面把n维空间划分了两个平面,一个平面的 是正值,另一个则代表了负数。

人工神经网络的基本特征主要体现在四个方面,分别是非线性、非凸性,非局限性和非常定性,人工神经网络采用了并行的分布系统,因此具备更高级的自适应,自组织和自学习能力。图2则是上述公式衍生出来的神经元结构图:

二、人工神经网络的模拟实现方法

人工神经网络是一种并行分布式系统,是有一个个并行的简单运算单元所组成,因此通过计算机软件来模拟人工神经网络就变得可行,目前大规模的人工神经网络实现模拟则需要专用的硬件,这种硬件设备能够针对某一种特定的人工神经网络,这些硬件设备在制造的过程中有关加权值已经固定,这种固定式人工神经网络芯片主要用于运算非常大的场合;另一种硬件就是通过增加可擦写存储器的半固定电路,对人工神经网络的相关权值进行更新,这种硬件在人工神经网络组成有中等需求。而可以随时更改神经网络结构模型,线性结构和权值的硬件又被称作通用性人工神经网络硬件,这种硬件的需求量较小,但是适应人工神经网络的研究和开发。更高级的硬件就是神经计算机,所谓神经计算机就是一种专门模拟神经网络单指令流,多数据流的并行计算机,在模拟人工神经网络实现时,具有极高的性价比,DSP芯片或者是Transputer芯片是目前人工神经网络构成的主要元件。

三、神经计算机的人工神经网络实用化分析

(一)人工神经网络在测控技术方面的实用化研究

测控技术使用到人工神经网络技术比较广泛,比如在测控过程的优化,自学习自适应过程控制以及多传感器系统的数据实时分析,矫正和控制等,在实时图形和实物识别的测控技术上也离不开人工神经网络。目前人工神经网络在测控技术方面的应用主要体现在四个方面,其一能够实现对生产控制过程的参数优化,比如目前集成电路的规模已经越来越大,传统的测控技术很难保证这些集成电路完工后的品质,经过实验证明,通过在对大型集成电路生产过程中,使用人工神经网络技术来对产品进行管控,往往能够提升良品率10个百分点。其二就是通过人工神经网络在测控技术上的实物识别,这种技术能够利用多个领域,比如身份识别,目前通过神经计算机上最新的SLPODBF算法对10种不同的实物进行识别,将这些实物摆出多达三百多种的姿态,通过对神经计算机的训练,最终有效的识别率能够达到98%,目前SLPODBF算法相对于BP算法属于更高级别的智能算法,能够将神经计算机的训练时间缩短两个数量级;其三就是说话人确认的识别技术,语音识别系统自然也是人工神经网络技术的重点之一,通过基于CASSANDRA—I神经计算机的模拟实现语音识别系统,能够将误判率降低到1%以下,这相对于国外比较先进的Veritron 1000系统要有效的多;其四就是基于人工神经网络的自动控制,这种自动控制应该具备自适应,自学习能力,这是人工神经网络技术的核心,通过半制定的神经网络板以及更为先进的神经计算机,都能够适用于不同场合的自动控制,抗干扰能力强,在使用过程中不会因为程序的错误而导致失控。

(二)基于人工神经网络在中药现代化的方面的实用

从上个世纪90年代人工神经网络就已经在我国中药研究领域广泛的应用了,因为人工神经网络具有自学习,自适应以及自组织的能力,能够实现实物识别,根据自身自学习能力,就能够对电信号和图像进行直接处理,而且基于人工神经网络原理的神经计算机操作比较简单,有专门的人机交互界面,非中药专业的爱好人员也能够通过操作,目前人工神经网络在中药方面的应用十分广泛。

神经网络的认识范文2

关键词:极线几何;农业机器人;视觉误差;标定;匹配

中图分类号:TP242 文献标识码:A 文章编号:1009-3044(2009)15-3987-02

Research on Visual Error of Agricultural Robot Based on Neural Network Correction

ZHEN Mu-hua

(Shunde Secondary Vocational School, Shunde 528200, China)

Abstract: The operation of agricultural robot is a nondestructive picking process, in which the complexity of environment and particularity of location target make it very long in picking visual identity, as well as having big error. By improving calibration model and matching model respectively, traditional solution corrects those errors, without considering the internal relations of calibration and matching. This paper presents a polar geometry transform method for total visual error correction, and analyzes its application in the process of camera calibration which is based on BP neural network and image matching which is based on feature.Experimental results show that the method of total visual error correction which is based on polar geometry transform has higher precision and real-time than separated error correction in tradition.

Key words: polar geometry; agricultural robot; visual error; calibration; matching

1 引言

农业环境信息的未知性和不确定性,加上采摘对象是一种不能在采摘作业时碰伤的生物柔性体,要求采摘机器人每次采摘都要用视觉系统对变量目标进行重新定位,以获取实时、准确的数据,传递给决策、底层控制系统,来控制机械系统的末端执行机构进行夹持操作,采摘的过程具有无损性。相对于工业机器人视觉应用来说,农业采摘机器人对视觉系统的误差要求更加严格。

采摘机器人视觉系统误差主要包括:图像匹配误差和摄像机标定误差。在这些对视觉相关的研究中[2-5],存在目标匹配率低和运行时间长等问题,这将在很大程度上制约自然环境下作业的苹果采摘机器人的实时性和多任务性[6]。

本文在文献[1]关于立体视觉中的极线几何的研究基础上,提出一种基于立体视觉的极限几何变换,并引入了神经网络,从标定与匹配的相结合的高度来减少采摘机器人视觉系统总体误差。

2 匹配

2.1 误差来源

在农业采摘机器人进行采摘行为前,必须对左右视觉图像进行匹配,以获取目标点深度值信息。假设在双目立体视觉模型中,f为摄像机焦距,d为两摄像机的中心距离,ml和mr分别是目标点在匹配后的左右图中位置。根据三角测量原理,深度值

在ml已知的情况下,根据匹配基元的不同,立体视觉匹配mr算法分为三大类:区域匹配、特征匹配和相位匹配。匹配过程中,对于非完全漫反射的物体表面、纹理缺乏的图像区域、物体边缘深度不连续和遮挡等现象,这三类匹配算法都难以取得准确的视差|ml-mr|,因而在一定程度上会造成较大的视觉误差。在采摘机器人对生物体进行特征匹配的过程中,可以通过极线几何视觉校正的方式来滤除部分虚假匹配,来改善匹配效果。

2.2 极线几何变换与匹配校正

在双目立体视觉系统中,存在着重要的极线几何关系,如图1所示,其中:OL、OR分别为左右摄像机中心,Il 、Ir 分别为左右图像平面,M和M/为被观察的场景点。点OL 、OR 和M构成的平面称为极面,极面与图像平面Il 、Ir分别相交的两条直线称为极线。

3 标定

3.1 误差来源

双摄像机标定就是指通过建立摄像机成像的几何模型,并利用给定物体的世界坐标(x,y,z)和它的两个图像坐标(u,v),来求解单个摄像机内部的几何和光学参数以及两个摄像机在三维世界中的坐标关系的过程。现有的摄像机标定技术大体可以归结为两类:传统的摄像机标定方法和摄像机自标定方法[8]。由于摄像机光学系统并不是精确地按理想化的小孔成像原理工作,存在有非线性透镜畸变,物体点在摄像机成像面上实际所成的像与理想成像之间存在有光学畸变误差。主要的畸变误差分为三类:径向畸变、偏心畸变和薄棱镜畸变。按照求解非线性畸变校正参数的过程,传统的摄像机标定方法可以分成四类,即利用最优化算法的标定方法,利用摄像机变换矩阵的标定方法,进一步考虑畸变补偿的两步法和采用更为合理的摄像机成像模型的双平面标定方法。

农业机器人的作业是无损采摘的过程,对摄像机参数的标定要求比较严格。传统的摄像机畸变畸变模型,都是通过线性或非线性的畸变补偿进行标定误差修正,在标定的过程中没有很好的考虑到匹配过程中一些因素。为了更准确快速的进行匹配和尽可能减少标定误差,本系统在传统的摄像机标定方法基础上,采用极线几何修正和人工神经网络相结合的方法来对摄像机进行隐式标定。

3.2 基于极线几何变换的BP神经网络标定

在摄像机线性标定模型中,点M的世界坐标(Xw, Yw, Zw)与其图像帧存坐标(u,v)存在如下关系:

神经网络的认识范文3

人工神经网络(AartificialNeuralNetwork,下简称ANN)是模拟生物神经元的结构而提出的一种信息处理方法。早在1943年,已由心理学家WarrenS.Mcculloch和数学家WalthH.Pitts提出神经元数学模型,后被冷落了一段时间,80年代又迅猛兴起[1]。ANN之所以受到人们的普遍关注,是由于它具有本质的非线形特征、并行处理能力、强鲁棒性以及自组织自学习的能力。其中研究得最为成熟的是误差的反传模型算法(BP算法,BackPropagation),它的网络结构及算法直观、简单,在工业领域中应用较多。

经训练的ANN适用于利用分析振动数据对机器进行监控和故障检测,预测某些部件的疲劳寿命[2]。非线形神经网络补偿和鲁棒控制综合方法的应用(其鲁棒控制利用了变结构控制或滑动模控制),在实时工业控制执行程序中较为有效[3]。人工神经网络(ANN)和模糊逻辑(FuzzyLogic)的综合,实现了电动机故障检测的启发式推理。对非线形问题,可通过ANN的BP算法学习正常运行例子调整内部权值来准确求解[4]。

因此,对于电力系统这个存在着大量非线性的复杂大系统来讲,ANN理论在电力系统中的应用具有很大的潜力,目前已涉及到如暂态,动稳分析,负荷预报,机组最优组合,警报处理与故障诊断,配电网线损计算,发电规划,经济运行及电力系统控制等方面[5]。

本文介绍了一种基于人工神经网络(ANN)理论的保护原理。

1、人工神经网络理论概述

BP算法是一种监控学习技巧,它通过比较输出单元的真实输出和希望值之间的差别,调整网络路径的权值,以使下一次在相同的输入下,网络的输出接近于希望值。

在神经网络投运前,就应用大量的数据,包括正常运行的、不正常运行的,作为其训练内容,以一定的输入和期望的输出通过BP算法去不断修改网络的权值。在投运后,还可根据现场的特定情况进行现场学习,以扩充ANN内存知识量。从算法原理看,并行处理能力和非线是BP算法的一大优点。

2、神经网络型继电保护

神经网络理论的保护装置,可判别更复杂的模式,其因果关系是更复杂的、非线性的、模糊的、动态的和非平稳随机的。它是神经网络(ANN)与专家系统(ES)融为一体的神经网络专家系统,其中,ANN是数值的、联想的、自组织的、仿生的方式,ES是认知的和启发式的。

文献[1]认为全波数据窗建立的神经网络在准确性方面优于利用半波数据窗建立的神经网络,因此保护应选用全波数据窗。

ANN保护装置出厂后,还可以在投运单位如网调、省调实验室内进行学习,学习内容针对该省的保护的特别要求进行(如反措)。到现场,还可根据该站的干扰情况进行反误动、反拒动学习,特别是一些常出现波形间断的变电站内的高频保护。

3、结论

本文基于现代控制技术提出了人工神经网络理论的保护构想。神经网络软件的反应速度比纯数字计算软件快几十倍以上,这样,在相同的动作时间下,可以大大提高保护运算次数,以实现在时间上即次数上提高冗余度。超级秘书网

一套完整的ANN保护是需要有很多输入量的,如果对某套保护来说,区内、区外故障时其输入信号几乎相同,则很难以此作为训练样本训练保护,而每套保护都增多输入量,必然会使保护、二次接线复杂化。变电站综合自动化也许是解决该问题的一个较好方法,各套保护通过总线联网,交换信息,充分利用ANN的并行处理功能,每套保护均对其它线路信息进行加工,以此综合得出动作判据。每套保护可把每次录得的数据文件,加上对其动作正确性与否的判断,作为本身的训练内容,因为即使有时人工分析也不能区分哪些数据特征能使保护不正确动作,特别是高频模拟量。

神经网络的硬件芯片现在仍很昂贵,但技术成熟时,应利用硬件实现现在的软件功能。另外,神经网络的并行处理和信息分布存储机制还不十分清楚,如何选择的网络结构还没有充分的理论依据。所有这些都有待于对神经网络基本理论进行深入的研究,以形成完善的理论体系,创造出更适合于实际应用的新型网络及学习算法[5]。

参考文献

1、陈炳华。采用模式识别(智能型)的保护装置的设想。中国电机工程学会第五届全国继电保护学术会议,[会址不详],1993

2、RobertE.Uhrig.ApplicationofArtificialNeuralNetworksinIndustrialTechnology.IEEETrans,1994,10(3)。(1):371~377

3、LeeTH,WangQC,TanWK.AFrameworkforRobustNeuralNetwork-BasedControlofNonlinearServomechannisms.IEEETrans,1993,3(2)。(3):190~197

神经网络的认识范文4

关键词:成都中小微企业 人工神经网络 预测

1、人工神经网络

人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型,由大量的节点(或称神经元)和之间相互联接构成。每个节点代表一种特定的输出函数,称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重,这相当于人工神经网络的记忆。网络的输出则依网络的连接方式,权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近,也可能是对一种逻辑策略的表达。

2、基于人工神经网络的预测模型的构建

在运用ANN预测模型预测这两个指标时,我们采取下面的预测步骤:

(1)首先将1-6月份的数据标准化,及转化为0-1之间的标准化数据;

(2)我们将输入设为1月份、2月份、3月份、4月份的数据,输出设为5月份的数据;

(3)在matlab中调用newff函数,建立一个5个输入节点、10个隐含层节点、一个输出节点的BP神经网络,隐含层和输出层转移函数分别采用tansig(tansig(n) = 2/(1+exp(-2*n))-1)和purelin(y=x),训练函数选择贝叶斯正则化算法trainbr,得到网络仿真数据;

(4)通过得到的网络仿真数据与实际的数据进行比较,我们可以发现该预测模型的精度很高。从而我们可以利用该预测模型预测未来月份的数据,作为决策者进行决策的依据。

3、分规模企业运行态势预测模型

3.1中型企业运行态势预测模型

我们按照上述步骤,得到最终的预测值,如表1所示,可见,预测值与实际值之间相差并不大,误差为0.099973%。

表1运行监测指标按规模(中型)ANN预测模型实际值与预测值对比表

3.2小型企业运行态势预警模型

我们按照上述步骤,得到最终的预测值,如表2所示,可见,预测值与实际值之间相差并不大,误差为0.099974%。

表2运行监测指标按规模(小型)ANN预测模型实际值与预测值对比表

3.3微型企业运行态势预警模型

我们按照上述步骤,得到最终的预测值,如表3所示,可见,预测值与实际值之间相差并不大,误差为0.098246%。

表3 运行监测指标按规模(微型)ANN预测模型实际值与预测值对比表

4、结束语

运行监测指数和信心指数能很好的反映成都市中小企业的发展运营情况,本报告运用人工神经网络这种高精度的预测方法,对这两种指数进行了预测,预测结果精确,经济意义显著。能很好预测未来月份的中小企业的指标值,从而为决策者的决策提供有力的支持和依据。

参考文献:

[1]张乃尧,阎平凡.神经网络与模糊控制[M].北京: 清华大学出版社,1998.

神经网络的认识范文5

关键词关键词:人脸识别;PCA;LDA;蚁群优化;BP算法

中图分类号:TP312文献标识码:A文章编号文章编号:16727800(2013)011007004

0引言

人脸识别是一种重要的生物特征识别技术,应用非常广泛。与其他身份识别方式相比,人脸具有直接、友好和方便的特点。人脸识别研究不仅具有重要的应用价值,而且在模式识别中具有重要的理论意义。而人脸识别系统运行成功的关键在于对人脸特性的提取和分类器的设计\[1\]。

人脸识别的主要过程为预处理、特征提取以及分类识别。预处理即为了提高图像质量而对图像进行尺度归一化和灰度均衡化等操作。特征提取在人脸识别中非常重该规则预示:

下半夜发生的抢劫案,若实施犯罪者为单人且为少年,可以锁定该犯罪嫌疑人是贵州籍,且文化程度为小学。

取值支持度阈值=4,置信度=9时,从结果中抽一条规则:

from 上半夜;共同作案;少年; calc 上半夜;少年;->共同作案; : 1.0

//规则说明:from L(支持度大于已设定支持度阀值);calc S->L-S(关联规则); : Num(置信度)

该规则的预示:

发生在上半夜的抢劫案,如实施犯罪者为少年,一定还有同伙。

对比可知,提高支持度阈值和置信度阈值,可提高挖掘结果的可靠性,但发现的关联规则也大大减少。因此,根据用户的兴趣程度和实效评估,及时调整相关参数,对于关联规则挖掘在某一领域的应用至关重要。

3结语

本文仅仅是作为关联规则在犯罪分析中应用的一个引子,对其可行性做了探究,其工程运用需要更多更广的梳理和评估。随政治、经济、科技等的发展,犯罪行为也悄然发展,其新特点也层出不穷,因此借助于数据挖掘技术,更快更准地掌握犯罪动态尤为重要,这对提高公安机关打、防、控等整体作战水平和能力有着重大意义。

参考文献参考文献:

\[1\]邹忻翌.浅谈金盾工程建设发展之路\[J\].中国人民公安大学学报:自然科学版,2010(4).

\[2\]BRIN S,MOTWANI R,ULLMAN J D,et al.Dynamic itemset counting and implication rules for market basket data\[C\]//Proc.of the ACM SIGMOD Int’l Conf.on Management of Data,1997.

\[3\]YEN S J,CHEN A L P.An efficient approach to discovering knowledge from large databases\[C\]//Proc.IEEE/ACM International Conference on Parallel and Distributed Information Systems(PDIS),1996.

\[4\]PARK J S,CHEN M S,YU P S.An effective hash based algorithm for mining associationRules\[C\]//Proc.of ACM SIGMOD,1995.

神经网络的认识范文6

关键词:神经网络 BP网络

中图分类号:TP3 文献标识码:A 文章编号:1672-3791(2014)01(c)-0240-02

神经网络是一门发展十分迅速的交叉学科,它是由大量的处理单元组成非线性的大规模自适应动力系统。神经网络具有分布式存储、并行处理、高容错能力以及良好的自学习、自适应、联想等特点。该模型对于拟合现实复杂世界有着重要的实用价值。

1 神经网络简介

人工神经网络(Artificial Neural Network,ANN),亦称神经网络(Neural Network,NN),是一种应用类似于大脑神经突触连接结构进行信息处理的数学模型,它是在人类对自身大脑组织结合和思维机制的认识理解基础之上模拟出来的,它是根植于神经科学、数学、统计学、物理学、计算机科学以及工程科学的一门技术。心理学家Mcculloch,数学家Pitts在20世纪40年代第一次提出了神经网络模型,从此开创了神经科学理论的研究时代,此后半个世纪神经网络技术蓬勃发展。神经网络是一种计算模型,由大量的神经元个体节点和其间相互连接的加权值共同组成,每个节点都代表一种运算,称为激励函数(activation function)。每两个相互连接的节点间都代表一个通过该连接信号加权值,称值为权重(weight),神经网络就是通过这种方式来模拟人类的记忆,网络的输出则取决于网络的结构、网络的连接方式、权重和激励函数。而网络本身通常是对自然界或者人类社会某种算法或函数的逼近,也可能是一种逻辑策略的表达。神经网络的构筑理念是受到生物的神经网络运作启发而产生的。人工神经网络则是把对生物神经网络的认识与数学统计模型向结合,借助数学统计工具来实现。另一方面在人工智能学的人工感知领域,我们通过数学统计学的方法,使神经网络能够具备类似于人的决定能力和简单的判断能力,这种方法是对传统逻辑学演算的进一步延伸。

2 神经网络模型及训练

2.1 生物神经元模型

人脑是自然界所造就的高级动物,人的思维是由人脑来完成的,而思维则是人类智能的集中体现。人脑的皮层中包含100亿个神经元、60万亿个神经突触,以及他们的连接体。神经系统的基本结构和功能单位就是神经细胞,即神经元,它主要由细胞体、树突、轴突和突触组成。人类的神经元具备以下几个基本功能特性:时空整合功能;神经元的动态极化性;兴奋与抑制状态;结构的可塑性;脉冲与电位信号的转换;突触延期和不延期;学习、遗忘和疲劳;神经网络是由大量的神经元单元相互连接而构成的网络系统。

2.2 人工神经网络模型

人工神经网络,使通过模仿生物神经网络的行为特征,进行分布式并行信息处理的数学模型。这种网络依靠系统的复杂度,通过调整内部大量节点之间相互连接的关系,从而达到信息处理的目的。人工神经网络具有自学习和自适应的能力,可以通过预先提供的一批相互对应的输入输出数据,分析两者的内在关系和规律,最终通过这些规律形成一个复杂的非线性系统函数,这种学习分析过程被称作“训练”。神经元的每一个输入连接都有突触连接强度,用一个连接权值来表示,即将产生的信号通过连接强度放大,每一个输入量都对应有一个相关联的权重。处理单元将经过权重的输入量化,然后相加求得加权值之和,计算出输出量,这个输出量是权重和的函数,一般称此函数为传递函数。

2.3 神经网络的训练

当神经网络的结构确定以后,接下来的工作就是训练和学习。神经网络不是通过改变处理单元的本身来完成训练和学习过程的,而是依靠改变网络中各神经元节点的连接权重来完成的。因此若处理单元要学会正确的处理所给定的问题,唯一用以改变处理单元性能的元素就是连接权重。

2.4 神经网络的分类

神经网络按照不同的结构、功能,以及学习算法,对网络进行分类,可以分为:(1)感知器神经网络:最简单的神经网络类型,只有单层的神经网络结构,采用硬限值作为网络传递函数,主要适用于简单的线性二类划分问题,在此类问题中处理的效率较高。但不适合本论文的课题。(2)线性神经网络:单层结构的神经网络,采用线性函数作为网络的传递,主要也是用于解决线性逼近问题。

3 BP神经网络

目前应用最为广泛的网络,具有多层网络结构,可以由一个或者多个隐含层。BP网络采用Widrow―Hoff学习算法和非线性传递函数,典型的BP网络采用的是梯度下降算法,也就是Widrow―Hoff算法所规定的。BP,即Back Propagation,就是指为非线性多层网络训练中梯度计算是采用信号正向传播、误差反向传播的方式。通过采用非线性传递函数,BP网络能够以仁义的精度逼近任何非线性函数,由于采用隐含中间层的结构,BP网络能够提取出更高阶的统计性质,尤其是当输入规模庞大时,网络能够提取高阶统计性质的能力就显得非常重要了,结合本文的课题,将采用BP神经网络及其改进算法进行组合集成实验,用以解决财务预警的实际问题,在后面的章节会采用相关实验证明组合集成的BP神经网络的优势。

4 径向基神经网络

径向基神经网络又称为RBF网络,它与BP网络同为多层前向网络,也能够以任意的精度逼近任何非线性函数,只是它与BP网络采用的传递函数不同,BP通常采用的是Sigmoid函数或线性函数作为传递函数,而RBF网络则采用径向基函数作为传递函数。本文后面将采用径向基函网络与BP网络进行对比。

5 竞争神经网络

竞争神经网络的特点是它的各个神经元之间是相互竞争的关系,众多神经元之间相互竞争以决定胜出者,或胜神经元决定哪一种原模型最能代表输入模式。

6 反馈神经网络

BP神经网络(Fredric M.Ham Ivica Kostanic Principles of Neurocomputing for Science―Engineering 2007)BP神经网络具有sigmoid隐含层以及线性输出层,具有很强的映射能力,本节我们对BP网络神经元和网络结构进行介绍。神经网络方法的具体步骤是:向网络提供训练例子,即学习样本,包括输入和期望的输出。确定网络的实际输出和期望输出之间允许的误差。改变网络中所有连接权值,使网络产生的输出更接近于期望输出,直到满足确定的允许误差。下图给出了一个具有N个输入的基本的BP神经元模型结构。途中每一个输入都被赋予一定的权值,与偏差求和和后形成神经元传递函数的输入。

我们来看看三层BP神经网络模型的数学表达,首先我们来确定途中各个参数所代表的涵义:

(1)输入向量:X=(x1,x2,…,xi,…,xn)T;

(2)隐层输出向量:Y=(y1,y2,…,yj,…,ym)T;

(3)输出层输出向量:O=(O1,O2,…,Ok,…,Ol)T;

(4)期望输出向量:d=(d1,d2,…,dk,…,dl)T;

(5)输入层到隐层之间的权值矩阵:V=(V1,V2,…,Vj,…,Vm);

(6)隐层到输出层之间的权值矩阵:W=(W1,W2,…,Wk,…,Wl)。

BP神经网络就是通过构建上述变量来完成网络的描述。

我们从上至下,从输出层开始看BP网络的工作原理,对于输出层:

k=1,2,…,l (1)

k=1,2,…,l (2)

对于隐层:j=1,2,…,m (3)

j=1,2,…,m (4)

其中的是传递函数我们可以采用单极性Sigmoid函数: (5)

(1)网络误差与权值调整

输出误差E定义:

(6)

(7)

在这一步的基础上,进一步展开至输入层:

(8)

j=0,1,2,…,m;k=1,2,…,l (9)

i=0,1,2,…,n;j=1,2,…,m (10)

式中负号表示梯度下降,常数η∈(0,1)表示比例系数。在全部推导过程中,对输出层有j=0,1,2,…,m;k=1,2,…,l,对隐层有i=0,1,2,…,n;j=1,2,…,m

(2)BP算法推导

对于输出层,式(9)可写为:

(8)对隐层,式(9)可写为:(10),对于隐层,利用式(7):

可得: (11)

将以上结果代入式(8),并应用式(5):,得到:

(12)

(13)

至此两个误差信号的推导已完成。将式(12)代回到式(8),得到三层前馈网的BP学习算法权值调整计算公式为:

(14)