前言:中文期刊网精心挑选了人工神经网络的意义范文供你参考和学习,希望我们的参考范文能激发你的文章创作灵感,欢迎阅读。
人工神经网络的意义范文1
关键词: 人工神经网络; 应用
人工神经网络(Artificial Neural Network,ANN)方法自从本世纪40年代被提出以来,许多从事人工智能、计算机科学、信息科学的科学家都在对它进行研究,已在军事、医疗、航天、自动控制、金融等许多领域取得了成功的应用。目前出现了许多模仿动物和人的智能形式与功能的某个方面的神经网络,例如,Grossberg提出的自适应共振理论(Adaptive Resonance Theory,ART),T-Kohenen的自组织特征映射网络(Self-Organizing feature Map,SOM),径向基函数网络(Radial Basis Function,RBF),Hopfield网等。进入90年代以后,由于计算机技术和信息技术的发展,以及各种算法的不断提出,神经网络的研究逐渐深化,应用面也逐步扩大,本研究对常用的神经网络方法及其在医学领域中的应用做一简单综述。
1 自组织特征映射网络(self-organizing feature map,SOM)在基因表达数据分析中的应用
1.1 方法介绍
脑神经学的研究表明,人脑中大量的神经元处于空间的不同区域,有着不同的功能,各自敏感着各自的输入信息模式的不同特征。芬兰赫尔辛基大学神经网络专家T.Kohonen根据大脑神经系统的这一特性,于1981年提出了自组织特征映射网络,它模拟人的大脑,利用竞争学习的方式进行网络学习,具有很强的自组织、自适应学习能力,鲁棒性和容错能力,其理论及应用发展很快,目前已在信息处理、模式识别、图像处理、语音识别、机器人控制、数据挖掘等方面都有成功应用的实例。
Kohonen网络由输入层和竞争层组成,网络结构见图1。输入层由N个神经元组成,竞争层由M个输出神经元组成,输入层与竞争层各神经元之间实现全互连接,竞争层之间实行侧向连接。设输入向量为x=(x1,…,xd)T ,输出神经元j对应的权重向量为wj=(wj1,…,wjd)T ,对每一输出神经元计算输入向量x 和权重向量wj 间的距离,据此利用竞争学习规则对权向量进行调节。在网络的竞争层,各神经元竞争对输入模式的响应机会,最后仅一个神经元成为胜利者,并对与获胜神经元有关的各权重朝着更有利于它竞争的方向调整,这样在每个获胜神经元附近形成一个“聚类区”,学习的结果使聚类区内各神经元的权重向量保持与输入向量逼近的趋势,从而使具有相近特性的输入向量聚集在一起,这种自组织聚类过程是系统自主、无教师示教的聚类方法,能将任意维输入模式在输出层映射成一维或二维离散图形,并保持其拓扑结构不变。网络通过对输入模式的学习,网络竞争层神经元相互竞争,自适应地形成对输入模式的不同响应,模拟大脑信息处理的聚类功能、自组织、自学习功能,实现用低维目标空间的点去表示高维原始空间的点,其工作原理和聚类算法及改进方法参见相关文献[1]。
1.2 应用
基因芯片技术的应用使得人们可以从基因水平探讨疾病的病因及预后,而基因芯片产生的数据具有高维度(变量多)、样本量小、高噪声的特点,样本量远小于变量数,如何从海量的数据中挖掘信息或知识成为重大课题。聚类分析是数据挖掘中的一类重要技术,传统方法主要有系统聚类、k-means聚类等,但在处理复杂非线性关系及变量间的交互作用时效果较差,受异常值影响较大。近年来神经网络技术法成为聚类领域的研究热点,其中自组织特征映射网络由于其良好的自适应性,其算法对基因表达数据的聚类有较高的稳定性和智能性,尤其在处理基因表达中有缺失数据及原始空间到目标空间存在非线性映射结构时有较好的体现,适用于复杂的多维数据的模式识别和特征分类等探索性分析,同时可实现聚类过程和结果的可视化[2]。目前Kohonen网络已被成功用到许多基因表达数据的分析中,Jihua Huang等[3]设计6×6的网络对酵母细胞周期数据进行分析,总正确率为67.7%;曹晖等[4]将其算法改进后用在酵母菌基因表达数据中,总正确率高达84.73%,有较高的聚类效能;邓庆山[5]将该模型与K平均值聚类方法结合用于公开的结肠基因表达数据集和白血病基因表达数据集,聚类的准确率分别为94.12%和90.32%。目前Kohonen网络在医学领域中主要应用前景有:① 发现与疾病相关的新的未知基因,对目标基因进一步研究,提高诊断的正确率,并对药物的开发研究提供重要的线索;② 对肿瘤组织的基因表达谱数据聚类,以期发现新的、未知的疾病亚型(肿瘤亚型),以便提出更加有针对性的治疗方案,为从分子水平对疾病分型、诊断、预后等提供依据;③ 发现与已知基因有相似功能的基因,为推断未知基因的可能功能提供线索。
2 BP神经网络在医学研究中的应用
2.1 BP神经网络在疾病辅助诊断中的应用
2.1.1 方法介绍
BP神经网络是目前应用最多的神经网络,一般由一个输入层(input layer)、一个输出层(output layer)、一个或几个中间层(隐层)组成。每一层可包含一个或多个神经元,其中每一层的每个神经元和前一层相连接,同一层之间没有连接。输入层神经元传递输入信息到第一隐层或直接传到输出层,隐层的神经元对输入层的信息加权求和,加一个常数后,经传递函数运算后传到下一个隐层(或输出层),常用的传递函数是logistic函数,即Φh=1/(1+exp(-z)) ,输出层神经元对前一层的输入信息加权求和经传递函数Φ0 (线性或logistic函数或门限函数)运算后输出,BP神经网络一般采用BP算法训练网络,关于BP算法及改进可参考相关文献[1]。
人工神经网络的意义范文2
关键词:油气输送;ANN技术;意义;应用
1 ANN技术
ANN技术也就是人工神经网络技术。人工神经网络是一种通过模仿动物神经网络行为特征,进行分布式并行信息处理的算法数学模型。人工神经网络通过调节系统内部大量节点之间相互连接的关系,并对其之间关系进行信息处理,从而达到处理信息的目的。人工神经网络具有自学习和自适应的能力。人工神经网络技术(ANN技术)就是根据人工神经网络而提出来的处理单元互联组成的非线性、自适应信息处理系统技术,利用人工神经网络技术可以通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。ANN技术通常是通过一个基于数学统计学类型的学习方法得以优化,所以人工神经网络技术也是数学统计学方法的一种实际应用。人工神经网络技术具有四个基本特征:非线性、非局限性、非常定性、非凸性。
就目前来说,常用的人工神经网络是Hopfield联想记忆网络,波尔兹曼学习机和网络误差反传(BP)试验方法。BP网络可以对油气管道油气泄漏、管道腐蚀速度等进行预测,所以在油气储运中,应用最多的是BPNN技术。
2 ANN技术在油气储运中的应用
(一)在油气储运中运用ANN技术的重要意义
油气储运工程主要包括油气田集输、长距离输送管道、储存与装卸等,它是连接油气生产、加工、分配、销售诸环节的纽带。ANN技术通常是通过一个基于数学统计学类型的学习方法得以优化,所以人工神经网络技术也是数学统计学方法的一种实际应用。人工神经网络(ANN)具有非线性、非局限性、非常定性、非凸性等特征,用人工神经网络技术的自适应能力学习管道的各种工况,对管道运行状况进行分类识别,从而更准确的检测油气储运管道泄漏情况和管道腐蚀速度。为了更加准确的检测油气储运管道泄漏情况和管道腐蚀速度,为了石油生产建设的需要,因此要在油气储运中运用人工神经网络技术(ANN技术)。
(二)ANN技术在油气储运中的具体应用
(1)在油气储运中应用ANN技术,是因为人工神经网络(ANN)具有以下的特点和优越性:第一,具有自学习功能。例如管道的油气泄漏情况或者管道腐蚀度进行识别时,首先要把不同管道的泄漏或腐蚀图像样板以及对应的应识别结果输入到人工神经网络系统(ANN)中,利用人工神经网络系统(ANN)的自学功能,学会识别其他的相类似的图像。人工神经网络(ANN)的自学习功能对于油气管道泄漏情况和管道腐蚀情况预测有特别重要的意义。第二,利用人工神经网络(ANN)的联想存储功能,把关于石油管道泄露或腐蚀等的各种情况进行相互的联想、比对,找出石油管道泄露的具体地方以及管道腐蚀的情况,进而提出切实可行的解决措施。第三,利用人工神经网络(ANN)的高速寻找优化解的能力,通过计算机的高速运算,找出解决石油运输中出现的问题的最佳方法。
(2)BPNN网络是一种基于广义2R规则的有监督的学习网络,属误差修正算法。采用BPNN网络对管道泄漏进行检测,主要是利用单元希望输出与实际输m之问的偏差作为连接权调整的参考,并最终减小这种误差。
(3)自适应模糊神绛网络系统具有自学习能力和非线性映射,它不仅能够获取信号的最佳估计,并且能够克服信号处理中存在的模型和噪声的不确定性、不完备性,所以可以用于噪声信号的非线性建模。利用自适应模糊神经网络系统的去噪可以提高压力信号、流量信号的信噪比。自适应模糊神经网络的自适应噪声抵消器具有实现简单、节省运行时间,能快速、有效地消除流量、压力信号中的各种噪声的特点,所以把自适应模糊神绛网络系统应用到油气储运中管道泄漏、腐蚀情况的检测中,提高泄漏检测和定位的精度。
(4)可以利用人工神经网络对油气管道的腐蚀过程和腐蚀速度进行预测。在油气输送管道中,由于各种油气性质的不同,再加上高速度、高循环率的运输,增加了油气管道的腐蚀程度。我们可以通过人工神经网络(ANN),采用逐步回归的方法对油气管道中的腐蚀程度和腐蚀速度进行预测,进而保证油气管道能够安全有效的运行。
3 结语
综上所述,油气储运工程主要包括油气田集输、长距离输送管道、储存与装卸等,它是连接油气生产、加工、分配、销售诸环节的纽带。ANN技术也就是人工神经网络技术,ANN技术具有可以充分逼近任意复杂的非线性关系,具有很强的鲁棒性和容错性,能够同时处理定量、定性知识,能够优化设计、模式识别、联想记忆等特点。在油气储运中用人工神经网络技术的自适应能力学习管道的各种工况,对管道运行状况进行分类识别,更准确的检测油气储运管道泄漏情况和管道腐蚀速度。
参考文献:
[1]王延民,齐志财.ANN技术在油气储运中的应用[J].油气田地面工程.2008,(10):55.
人工神经网络的意义范文3
关键词:建筑管理人工神经网络 模仿人脑人工智能
人工神经网络(Application of Neural Network)与人工智能(Artificial Intelligence)处于总分结构。人工神经网络从属于人工智能系统,是其中一个分支领域。它作为一款对非线性问题处理十分简便的工具,拥有极强的非线性映射能力与良好的适应能力及纠错能力。在传统的语音与图像识别等领域外,人工神经网络在经济管理、专业工程等诸多领域都崭露了头脚,并获得广泛的认可。我国首篇将人工神经网络应用与土木工程领域的文献始发于上世纪八十年代末期,随后即在建筑工程项目的管理当中逐渐为人们所广泛认知,下面,就几点对人工神经网络在建筑管理当中的应用作进一步分析。
一、人工神经网络在建筑管理应用中的预测作用
1.费用预测方面。人工神经网络在费用评估方面的应用,主要采用BP神经网络进行试验,通过对公路工程的样例进行试验,发现其比传统方法要更加保质保量。塔雷克•哈加西(1998年)等通过运用MS2Excel表格对人工神经网络进行模拟,并在输入层和隐含层加入了偏置神经元来促进网络学习。它的缺点是因网络学习过程中样本数据含有噪音,会对系统造成过度学习的谬误,这种问题运用规范化网络可以得到有效的解决。在我国BP神经网络研究的历史上,相关方面的研究学者对其应用于建筑工程估价的能力有较高评价,其中不仅神经网络的特征归纳作用可从海量的工程资料当中寻找出工程项目与预算费用的规律关系,还因其具有高度纠错能力,可对工程资料当中因人为因素造成的偏差进行纠正。同时因人工神经网络是通过并行处理来对数据进行梳理,所以其运算速度极快,且质量同时也能得到保证,这不仅满足了当前信息化时代快速估算的效率要求,并且事实证明它是行之有效并可以投入实际应用中的。
2.风险预测方面。建筑管理当中诸多领域都对风险分析与风险预测都有涉及,这二者涵盖了很多不可知的因素与风险因素,危及到了企业的管理经营,束缚了企业的发展脚步,长此以往即会对企业的健康长远发展造成不利影响。能够适时、到位的对企业即将面对的风险作出报告并采取针对措施,是及时规避企业风险的最佳途径。时下企业通常采用计量经济模型与编辑效应分析等方式以建立风险评估与预测系统,用来对现行企业状态进行分析。可是这些方法普遍存在着一些问题。比如经济变量的执行时间不同,使得在简单加权时出现漏报现象,以及人工制定的警戒区无法适应外部环境的变化性等。然而运用拥有非线性映射与模式分析能力的人工神经网络便可以建立相对完善的风险预警系统,从而更加适应系统的不确定性与突然性。
二、人工神经网络在建筑管理中事故诊断的作用
在建筑工程项目管理当中,受多方客观因素的制约,工程的进展常常会伴随出现林林总总的工程事故发生,甚而有些事故毫无征兆,突然间出现。在事故发生后,要找寻事故的原因也并非易事,同样要耗费大量人、财、物力资源,且并不能及时找出事故原因,错过了最佳补救时间。人工神经网络在建筑工程中对于工程事故的诊断分析,对建筑工程管理中工程质量的提高具有里程碑式的意义,其建筑专家系统存在着巨大的潜力。
建筑专家在进行对工程事故的风险评估时,第一步要运用工程事故所表现出来的一些外在特征与一系列统计数据,依照自身积累的大量经验,对事故的类型进行分类记录,在分类后便可以根据各方面特点,如事故类型、受损程度与曾用的补救措施来对工程事故进行风险评估与补救方案的制定。事故评定过程的关键在于建筑专家系统的数据规模,这种数据从大量典型事故案例中得出相关症状、事故状态与补救措施间相互关联的数据理论,传统的专家系统对建筑管理最广泛的应用使在基于规则与诊断矩阵中表示建筑专家经验知识,即统计数据的方法。这种表示方式只能对分类做出明示,却不能对事故与事故间存在的联系做出明确反映。知识工程师在某些层面上对经验知识难以进行明确的表达,这是传统工程事故专家系统所存在的缺点。基于人脑神经系统功能与结构模拟之上研制而出的人工神经网络,能通过不断对实例数据的吸纳,进行拓展学习,将知识充分融于神经网络当中进行存储,从而通过不断的对知识的接收、学习,进行自我的完善与增强。同时它的类比能力更加令人关注,它不仅能将实例间的相同处与不同处逐一筛选,从而进行归纳汇总,充实自身数据库,还能由此体现出神经网络中神经元之间连接权值调整过程。特别是它的自我逻辑能力超强,如果当下的信息并不完整,它依然会靠强大的逻辑能力进行推测,通过计算而得出让人满意的答案。
结语:
当今社会依靠传统的管理方式已经远远无法满足快节奏的经济生活,本文通过对人工神经网络在建筑管理工作当中的费用预测、事故诊断能力及事故解决方案制定等作用进行阐述分析,希望能对建筑工程行业的发展尽绵薄之力。
参考文献:
人工神经网络的意义范文4
关键词:成都中小微企业 人工神经网络 预测
1、人工神经网络
人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型,由大量的节点(或称神经元)和之间相互联接构成。每个节点代表一种特定的输出函数,称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重,这相当于人工神经网络的记忆。网络的输出则依网络的连接方式,权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近,也可能是对一种逻辑策略的表达。
2、基于人工神经网络的预测模型的构建
在运用ANN预测模型预测这两个指标时,我们采取下面的预测步骤:
(1)首先将1-6月份的数据标准化,及转化为0-1之间的标准化数据;
(2)我们将输入设为1月份、2月份、3月份、4月份的数据,输出设为5月份的数据;
(3)在matlab中调用newff函数,建立一个5个输入节点、10个隐含层节点、一个输出节点的BP神经网络,隐含层和输出层转移函数分别采用tansig(tansig(n) = 2/(1+exp(-2*n))-1)和purelin(y=x),训练函数选择贝叶斯正则化算法trainbr,得到网络仿真数据;
(4)通过得到的网络仿真数据与实际的数据进行比较,我们可以发现该预测模型的精度很高。从而我们可以利用该预测模型预测未来月份的数据,作为决策者进行决策的依据。
3、分规模企业运行态势预测模型
3.1中型企业运行态势预测模型
我们按照上述步骤,得到最终的预测值,如表1所示,可见,预测值与实际值之间相差并不大,误差为0.099973%。
表1运行监测指标按规模(中型)ANN预测模型实际值与预测值对比表
3.2小型企业运行态势预警模型
我们按照上述步骤,得到最终的预测值,如表2所示,可见,预测值与实际值之间相差并不大,误差为0.099974%。
表2运行监测指标按规模(小型)ANN预测模型实际值与预测值对比表
3.3微型企业运行态势预警模型
我们按照上述步骤,得到最终的预测值,如表3所示,可见,预测值与实际值之间相差并不大,误差为0.098246%。
表3 运行监测指标按规模(微型)ANN预测模型实际值与预测值对比表
4、结束语
运行监测指数和信心指数能很好的反映成都市中小企业的发展运营情况,本报告运用人工神经网络这种高精度的预测方法,对这两种指数进行了预测,预测结果精确,经济意义显著。能很好预测未来月份的中小企业的指标值,从而为决策者的决策提供有力的支持和依据。
参考文献:
[1]张乃尧,阎平凡.神经网络与模糊控制[M].北京: 清华大学出版社,1998.
人工神经网络的意义范文5
关键词:神经网络;时间序列;猪肉价格预测
一、引言
猪肉是中国民众食物消费的主要畜产品,其价格变化关乎国计民生。市场上猪肉数量、价格的高低直接影响老百姓的生活水平和社会稳定,一旦市场出现大的波动,必然会导致社会生产总量的剧烈变化,进而影响市场供给。猪肉价格预测也能有效防止生猪生产的市场风险,价格预测也有利于制定科学的价格计划,提高物价工作水平。所以,提高预测能力和水平,是价格监测工作应追求的更高境界,也是当前价格监测事业建设应抓好的重中之重。
现有的价格预测算法有很多种,应用最广泛的是灰色系统预测算法GM(1,1)与BP神经网络算法:(1)灰色预测法,是由中国学者邓聚龙教授于1982年提出的。(2)BP神经网络算法是人工神经网络算法中的一种,也称为反向神经网络传播算法。
二、BP神经预测法及其改进
人工神经网络就是模拟人思维的一种方法。其特点是信息的分布式存储和并行协同处理。神经网络算法BP,作为人工神经网络的一种算法,分为信息的正向传播和误差的逆向传播两个部分。
可以看出,2013年7月份到2013年12月份的凉州区价格预测结果与实际值极为相近,得出均方误差MSE=0.557,说明所建模型科学合理,可以用来预测凉州区猪肉价格。
四、结论
论文对猪肉价格本身变化趋势进行研究,通过利用2012年7月到2014年4月的凉州区猪肉价格数据来预测2014年5月到10月的猪肉价格。建立了基于时间序列的神经网络模型,将样本数据分为两大部分:训练样本集和测试样本集。利用所有猪肉价格数据预测出2014年5月份到10月份的凉州区猪肉价格。由于猪肉价格受外部诸多因素影响,所以模型不能够精确地预测猪肉价格。产生一定误差是不可避免的,若考虑其他影响因素,预测精度会进一步提高。
参考文献:
[1] 郑丽敏,田立军,朱虹等.基于MATLAB的BP神经网络在猪等级评定中的应用研究[J].计算机应用研究,2008,25(6):1642-1644
[2] 张磊,王娜,谭向勇.猪肉价格形成过程及产业链各环节成本收益分析-以北京市为例[J].中国农村经济,2008,(12)14-26
[3] 阎平凡,张长水.人工神经网络与模拟进化算法[M].清华大学出版社,2009.112-421
[4] 袁曾任.人工神经网络及其应用[M].清华大学出版社,2011.116-361
[5] 刘祸耕.多层前馈人工神经网络研究[J].湖南师范大学自然科学学报,2005(4):222- 261
[6] 苏高利,邓方萍.论基于MATLAB语言的BP神经网络改进算法[J].科技通报,2003.99-109
[7] 丛爽.面向MATLAB工具箱的神经网络理论与应用(第二版)[M].中国科学技术大学出版社.2003.
[8] 许东,吴铮.基于MATLAB6.X的系统分析与设计神经网络(第二版),西安电子科技大学出版社.2002.
[9] 赵志勇.基于MATLAB的BP神经网络计算铁矿产品成本[J].河北理工学院学报,2003(4):78-79
人工神经网络的意义范文6
关键词:神经网络 BP网络
中图分类号:TP3 文献标识码:A 文章编号:1672-3791(2014)01(c)-0240-02
神经网络是一门发展十分迅速的交叉学科,它是由大量的处理单元组成非线性的大规模自适应动力系统。神经网络具有分布式存储、并行处理、高容错能力以及良好的自学习、自适应、联想等特点。该模型对于拟合现实复杂世界有着重要的实用价值。
1 神经网络简介
人工神经网络(Artificial Neural Network,ANN),亦称神经网络(Neural Network,NN),是一种应用类似于大脑神经突触连接结构进行信息处理的数学模型,它是在人类对自身大脑组织结合和思维机制的认识理解基础之上模拟出来的,它是根植于神经科学、数学、统计学、物理学、计算机科学以及工程科学的一门技术。心理学家Mcculloch,数学家Pitts在20世纪40年代第一次提出了神经网络模型,从此开创了神经科学理论的研究时代,此后半个世纪神经网络技术蓬勃发展。神经网络是一种计算模型,由大量的神经元个体节点和其间相互连接的加权值共同组成,每个节点都代表一种运算,称为激励函数(activation function)。每两个相互连接的节点间都代表一个通过该连接信号加权值,称值为权重(weight),神经网络就是通过这种方式来模拟人类的记忆,网络的输出则取决于网络的结构、网络的连接方式、权重和激励函数。而网络本身通常是对自然界或者人类社会某种算法或函数的逼近,也可能是一种逻辑策略的表达。神经网络的构筑理念是受到生物的神经网络运作启发而产生的。人工神经网络则是把对生物神经网络的认识与数学统计模型向结合,借助数学统计工具来实现。另一方面在人工智能学的人工感知领域,我们通过数学统计学的方法,使神经网络能够具备类似于人的决定能力和简单的判断能力,这种方法是对传统逻辑学演算的进一步延伸。
2 神经网络模型及训练
2.1 生物神经元模型
人脑是自然界所造就的高级动物,人的思维是由人脑来完成的,而思维则是人类智能的集中体现。人脑的皮层中包含100亿个神经元、60万亿个神经突触,以及他们的连接体。神经系统的基本结构和功能单位就是神经细胞,即神经元,它主要由细胞体、树突、轴突和突触组成。人类的神经元具备以下几个基本功能特性:时空整合功能;神经元的动态极化性;兴奋与抑制状态;结构的可塑性;脉冲与电位信号的转换;突触延期和不延期;学习、遗忘和疲劳;神经网络是由大量的神经元单元相互连接而构成的网络系统。
2.2 人工神经网络模型
人工神经网络,使通过模仿生物神经网络的行为特征,进行分布式并行信息处理的数学模型。这种网络依靠系统的复杂度,通过调整内部大量节点之间相互连接的关系,从而达到信息处理的目的。人工神经网络具有自学习和自适应的能力,可以通过预先提供的一批相互对应的输入输出数据,分析两者的内在关系和规律,最终通过这些规律形成一个复杂的非线性系统函数,这种学习分析过程被称作“训练”。神经元的每一个输入连接都有突触连接强度,用一个连接权值来表示,即将产生的信号通过连接强度放大,每一个输入量都对应有一个相关联的权重。处理单元将经过权重的输入量化,然后相加求得加权值之和,计算出输出量,这个输出量是权重和的函数,一般称此函数为传递函数。
2.3 神经网络的训练
当神经网络的结构确定以后,接下来的工作就是训练和学习。神经网络不是通过改变处理单元的本身来完成训练和学习过程的,而是依靠改变网络中各神经元节点的连接权重来完成的。因此若处理单元要学会正确的处理所给定的问题,唯一用以改变处理单元性能的元素就是连接权重。
2.4 神经网络的分类
神经网络按照不同的结构、功能,以及学习算法,对网络进行分类,可以分为:(1)感知器神经网络:最简单的神经网络类型,只有单层的神经网络结构,采用硬限值作为网络传递函数,主要适用于简单的线性二类划分问题,在此类问题中处理的效率较高。但不适合本论文的课题。(2)线性神经网络:单层结构的神经网络,采用线性函数作为网络的传递,主要也是用于解决线性逼近问题。
3 BP神经网络
目前应用最为广泛的网络,具有多层网络结构,可以由一个或者多个隐含层。BP网络采用Widrow―Hoff学习算法和非线性传递函数,典型的BP网络采用的是梯度下降算法,也就是Widrow―Hoff算法所规定的。BP,即Back Propagation,就是指为非线性多层网络训练中梯度计算是采用信号正向传播、误差反向传播的方式。通过采用非线性传递函数,BP网络能够以仁义的精度逼近任何非线性函数,由于采用隐含中间层的结构,BP网络能够提取出更高阶的统计性质,尤其是当输入规模庞大时,网络能够提取高阶统计性质的能力就显得非常重要了,结合本文的课题,将采用BP神经网络及其改进算法进行组合集成实验,用以解决财务预警的实际问题,在后面的章节会采用相关实验证明组合集成的BP神经网络的优势。
4 径向基神经网络
径向基神经网络又称为RBF网络,它与BP网络同为多层前向网络,也能够以任意的精度逼近任何非线性函数,只是它与BP网络采用的传递函数不同,BP通常采用的是Sigmoid函数或线性函数作为传递函数,而RBF网络则采用径向基函数作为传递函数。本文后面将采用径向基函网络与BP网络进行对比。
5 竞争神经网络
竞争神经网络的特点是它的各个神经元之间是相互竞争的关系,众多神经元之间相互竞争以决定胜出者,或胜神经元决定哪一种原模型最能代表输入模式。
6 反馈神经网络
BP神经网络(Fredric M.Ham Ivica Kostanic Principles of Neurocomputing for Science―Engineering 2007)BP神经网络具有sigmoid隐含层以及线性输出层,具有很强的映射能力,本节我们对BP网络神经元和网络结构进行介绍。神经网络方法的具体步骤是:向网络提供训练例子,即学习样本,包括输入和期望的输出。确定网络的实际输出和期望输出之间允许的误差。改变网络中所有连接权值,使网络产生的输出更接近于期望输出,直到满足确定的允许误差。下图给出了一个具有N个输入的基本的BP神经元模型结构。途中每一个输入都被赋予一定的权值,与偏差求和和后形成神经元传递函数的输入。
我们来看看三层BP神经网络模型的数学表达,首先我们来确定途中各个参数所代表的涵义:
(1)输入向量:X=(x1,x2,…,xi,…,xn)T;
(2)隐层输出向量:Y=(y1,y2,…,yj,…,ym)T;
(3)输出层输出向量:O=(O1,O2,…,Ok,…,Ol)T;
(4)期望输出向量:d=(d1,d2,…,dk,…,dl)T;
(5)输入层到隐层之间的权值矩阵:V=(V1,V2,…,Vj,…,Vm);
(6)隐层到输出层之间的权值矩阵:W=(W1,W2,…,Wk,…,Wl)。
BP神经网络就是通过构建上述变量来完成网络的描述。
我们从上至下,从输出层开始看BP网络的工作原理,对于输出层:
k=1,2,…,l (1)
k=1,2,…,l (2)
对于隐层:j=1,2,…,m (3)
j=1,2,…,m (4)
其中的是传递函数我们可以采用单极性Sigmoid函数: (5)
(1)网络误差与权值调整
输出误差E定义:
(6)
(7)
在这一步的基础上,进一步展开至输入层:
(8)
j=0,1,2,…,m;k=1,2,…,l (9)
i=0,1,2,…,n;j=1,2,…,m (10)
式中负号表示梯度下降,常数η∈(0,1)表示比例系数。在全部推导过程中,对输出层有j=0,1,2,…,m;k=1,2,…,l,对隐层有i=0,1,2,…,n;j=1,2,…,m
(2)BP算法推导
对于输出层,式(9)可写为:
(8)对隐层,式(9)可写为:(10),对于隐层,利用式(7):
可得: (11)
将以上结果代入式(8),并应用式(5):,得到:
(12)
(13)
至此两个误差信号的推导已完成。将式(12)代回到式(8),得到三层前馈网的BP学习算法权值调整计算公式为:
(14)