前言：中文期刊网精心挑选了神经网络研究现状范文供你参考和学习，希望我们的参考范文能激发你的文章创作灵感，欢迎阅读。
神经网络研究现状范文1
人工神经网络属于一种对人脑结构及功能进行反映的数学抽象模型，对人的思维以及存储知识等功能进行模拟，从而完成某项工作。对于岩土工程来说，主要包括岩体和土体两项内容，且这两项内容均具备很高的复杂性。在岩土工程研究过程中，有必要借助人工神经网络，从而使岩土工程的研究得到有效进步发展。本文在分析人工神经网络的基础上，进一步对人工神经网络在岩土工程中的应用进行分析，以期为岩土工程研究的进展提供一些具有价值的参考建议。
关键词:
人工神经网络；岩土工程；应用
岩土工程的研究对象分为两大类:其一为岩体;其二为土体。岩土工程涉及的介质存在两大特性，即模糊性和随机性，这两大特性又统称为不确定性。近年来，不少学者在岩土工程研究过程中，提出了人工神经网络这一概念，即利用人工神经网络，将其应用到岩土工程研究领域当中，从而为深入了解岩土工程的某些介质特征奠定有效基础［1］。从岩土工程研究的优化及完善角度考虑，本文对“人工神经网络在岩土工程中的应用”进行分析意义重大。
1人工神经网络分析
1．1人工神经网络概念
对于人工神经网络来说，是一种对人脑结构与功能进行反映的数学抽象模型;主要通过数理策略，经信息处理，进一步对人脑神经网络构建某种简化模型，进一步采取大量神经元节点互连，从而形成复杂网络，最终完成人类思维及储存知识的能力的模拟。神经网络无需构建反映系统物理规律的数学模型，与别的方法比较，在噪声容忍度方面更强［2］。与此同时，还拥有很强的非线性映射功能，对于大量非结构性以及非精准性规律存在自适应能力，具备超强的计算能力，可完成信息的记忆以及相关知识的推理，且其自身还具备自主学习能力;与常规算法相比，优势、特点突出。
1．2BP网络简述
从研究现状来看，基于实际应用过程中，人工神经网络模型大多数采取BP网络。BP网络即指的是多层前馈网络，因多层前馈网络的训练通常使用误差反向传播算法，所以将BP网络称之为属于一类误差反向传播的多层前馈网络。对于其网络而言，具备输入节点和输出节点，同时还具备一层隐层节点与多层隐层节点，基于同层节点当中不存在耦合状态。其中的输入信号从输出层节点依次传过各个隐层节点，进一步传输至输出节点，每一层节点的输出只对下一层的节点输出产生影响。
2人工神经网络在岩土工程中的应用分析
在上述分析过程中，对人工神经网络的概念有一定的了解，由于其模型算法的优越性，可将其应用到岩土工程研究领域当中，从而为解决岩土工程问题提供有效凭据。从现状来看，人工神经网络在岩土工程中的应用主要体现在以下几大方面。
2．1在岩石力学工程中的应用
岩石力学工程是岩土工程中尤为重要的一部分，将神经网络应用到岩石力学工程当中，主要对岩石非线性系统加以识别，同时还能够为工程岩体分类提供有效帮助，此外在爆破效应预测方面也具备一定的应用价值。对于人工神经网络来说，存在从有限数据中获取系统近似关系的优良特性，而岩石当中的各项参数之间又存在很复杂的关系，并且难以获取完整的参数集。在这样的情况下，使用人工神经网络技术，便能够使岩石非线性系统识别问题得到有效解决［3］。此外，有研究者将岩石抗压强度、抗拉强度以及弹性能量指数等作为岩爆预测的评判指标，进一步对岩爆预测的神经网络模型进行构建，然后预测了岩爆的发生与烈度。通过计算得出结论:采取人工神经网络方法进行岩爆预测行之有效，值得采纳借鉴。
2．2在边坡工程中的应用
对于岩土工程中的边坡工程来说，边坡失稳状况突出，且是由多因素造成的，比如边坡失稳的地质形成条件、诱发因素的复杂性以及随机性等。与此同时，由于边坡动态监测技术从目前来看尚且不够成熟，因此边坡失稳在岩土工程研究领域一直视为是一项难以解决的工程项目。而对于神经网络方法来说，因其具备非常好的预测功能，因此相关岩土工程研究工作者通常会采取人工神经网络对岩土工程中的边坡工程问题进行求解。并且，从现有研究成果来看，将人工神经网络应用于岩土工程的成果突出。有学者对影响岩质边坡的稳定性的相关因素进行了分析，包括地形因素、岩体因素以及外部环境因素等，并构建了边坡稳定性分析的BP网络模型［4］。此外，还有学者将大量水电边坡工程的稳定状况作为学习训练样本及预测样本，对以人工神经网络技术的边坡岩体的稳定性进行了研究，结果显示，采取人工神经网络对边坡岩体的稳定状况进行预测可行性高。
2．3在基坑工程中的应用
采取人工神经网络对基坑变形进行预测主要分为两种情况:其一，对会影响基坑变形的各大因素及位移的神经网络模型加以构建;其二，把变形监测数据作为一个时间序列，以历史数据为依据，将系统演变规律查找出来，进一步完成系统未来发展趋势的分析及预测。有学者针对基坑变形利用了人工神经网络方法进行预测，结果表明:对前期实测结果加以应用，使用此方法能够对后续阶段的基坑变形实时预测出来，并且预测结果和实测结果保持一致性。此外，还有学者根据具体工程项目，采取人工神经网络，对深基坑施工中地下连续墙的位移进行了深入分析及预测，结果显示:使用人工神经网络方法进行分析及预测，在精准度上非常高，值得在深基坑工程相关预测项目中使用［5］。
2．4在地铁隧道工程中的应用
在地铁隧道施工过程中，存在地表变形和隧道围岩变形等状况，为了深入了解这些状况，可将人工神经网络应用其中。有学者在对地层的影响因素进行分析过程中，列出了可能的影响因素:盾构施工参数、盾构物理参数以及地质环境条件，进一步利用人工神经网络，构建了人工神经网络模型，进一步针对盾构施工期间的地层移动进行实时动态预测，最终得到了不错的预测成果。此外，还有学者对BP网络算法进行改进，然后对某地铁工程中隧道上方的地表变形进行了未来趋势预测，结果表明:和其他地表变形预测方法相比，人工神经网络预测方法的应用价值更为显著。
3结语
通过本文的探究，认识到基于人工神经网络模型的算法具备很高的优越性，由于岩土工程地质条件复杂，为了深入研究岩土工程，可将人工神经网络应用其中。结合现状研究成果可知，人工神经网络在岩石力学工程、边坡工程、基坑工程以及地铁隧道工程中均具备显著应用价值。例如:将人工神经网络应用于岩石力学工程当中，能够预测岩爆的发生与烈度;应用于边坡工程当中，能够边坡工程的稳定性进行精准预测;应用于基坑工程当中，实现对基坑工程变形的实时动态监测;应用于地铁隧道工程当中，能够进一步了解地铁工程中隧道上方的地表变形情况。
总而言之，人工神经网络在岩土工程中的应用价值高，值得相关工作者采纳应用。
作者：张洪飞 单位：山东正元建设工程有限责任公司
参考文献
［1］郑惠娜．章超桦．秦小明．肖秀春，等．人工神经网络在食品生物工程中的应用［J］．食品工程，2012(01):16－19．
［2］邹义怀．江成玉．李春辉，等．人工神经网络在边坡稳定性预测中的应用［J］．矿冶，2011(04):38－41．
［3］曹建智．张健．人工神经网络在白洋淀水质评价中的应用［J］．电子技术与软件工程，2016(08):261－262．
神经网络研究现状范文2
本文建立相应的BP神经网络模型，根据民生银行信贷信用评级指标体系，选取BP神经网络模型的训练样本和检验样本。将训练样本输入BP神经网络进行训练，BP神经网络模型完成训练后，用检验样本对本文建立的BP神经网络模型进行检验。完成训练的BP神经网络模型将根据企业的信用评级信息计算出企业信用得分的预测值，从而使商业银行规避信贷过程中的信用风险，起到风险预警功能。
关键词：
BP神经网络；信贷信用；风险预警
我国一直没有建立起符合市场规范的信用体系，信用风险是商业银行面临的最传统最基本的风险形式，也是最难于控制和管理的风险形式。本文建立相应的BP神经网络模型，根据民生银行信贷信用评级指标体系，选取20个企业的信用评级信息作为BP神经网络模型的训练样本，选取10个企业的信用评级信息作为BP神经网络模型的检验样本。将训练样本输入BP神经网络，让BP神经网络根据信贷企业信用得分的输出值与真实值之间的误差不断调节各个神经元之间的权值与阀值，当误差满足要求时，BP神经网络模型完成训练。BP神经网络模型完成训练后，对本文建立的BP神经网络模型进行检验[1]。完成训练的BP神经网络模型将根据企业的信用评级信息计算出企业信用得分的预测值，为商业银行信贷过程中的信用风险进行预测评价，从而使商业银行规避信贷过程中的信用风险，起到风险预警功能。
一、BP神经网络理论
BP神经网络理论是学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传人，经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望的输出（教师信号）不符，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程是周而复始地进行的[2]。权值不断调整的过程，也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度，或进行到预先设定的学习次数为止。
（一）BP网络模型
采用BP算法的多层感知器是至今为止应用最广泛的神经网络，在多层感知器的应用中，单隐层网络的应用最为普遍。一般习惯将单隐层感知器称为三层感知器，所谓三层包括了输入层、隐层和输出层。三层感知器中，输入向量为()T12,,...,,...,inX=xxxx；隐层输出向量为()T12,,...,,...,jmY=yyyy；输出层输出向量为()T12,,...,,...,klO=oooo；期望输出向量为()T12,,...,,...,kld=dddd。输入层到隐层之间的权值矩阵用V表示，()T12,,...,,...,jmV=VVVV，其中列向量jV为隐层第j个神经元对应的权向量；隐层到输出层之间的权值矩阵用W表示，()T12,,...,,...,kiW=WWWW，其中列向量kW为输出层第k个神经元对应的权向量[3]。下面分析各层信号之间的数学关系。对于输出层，有：(net)kko=fk=1,2,...,l（1）0netmkjkjjwy==∑k=1,2,...,l（2）对于隐层，有：(net)jjy=fj=1,2,...,m（3）0netnjijiivx==∑j=1,2,...,m（4）以上两式中，转移函数f(x)均为单极性Sigmoid函数：1()1xfxe−=+（5）f(x)具有连续、可导的特点，且有：f′(x)=f(x)[1−f(x)]（6）根据应用需要，也可以采用双极性Sigmoid函数（或称双曲线正切函数）：1()1xxefxe−−−=+（7）式（1）～式（7）共同构成了三层感知器的数学模型。
（二）网络训练与检验
网络设计完成后，要应用训练样本进行训练。训练时对所有样本正向运行一轮并反向修改权值一次称为一次训练。在训练过程中要反复使用样本集数据，但每一轮最好不要按固定的顺序取数据，通常训练一个网络需要很多次。网络的性能好坏主要看其是否具有很好的泛化能力，而对泛化能力的测试不能用训练集的数据进行，要用训练集以外的测试数据来进行检验[4]。一般的做法是，将收集到的可用样本随机地分为两部分，一部分作为训练样本，另一部分作为检验样本。
二、基于BP神经网络的民生银行信用风险评价研究
（一）建立保险公司投资风险评价指标体系
贷款信用评级财务指标包括贷款企业经营管理能力、贷款企业债务偿还能力和贷款企业持续发展能力。贷款企业经营管理能力包括五个指标，分别是资产报酬率、流动资产周转率、应收账款周转率、主营收入现金含量、成本费用利润率；贷款企业债务偿还能力包括五个指标，分别是流动比率、利息保障倍数、资产负债率、现金流与流动负债比、净资产与贷款余额比；贷款企业持续发展能力包括三个指标，分别是净资产增长率、主营利润增长率、工资福利增长率。贷款信用评级非财务指标包括五个指标，分别财务报表质量评价、企业员工能力、企业经营者履历、企业经营者信誉、行业现状及前景。
（二）BP神经网络模型训练
选取20个企业的信用评级信息作为BP神经网络模型的训练样本。根据民生银行信贷信用评级指标体系，训练样本的输入向量X由18个指标组成，分别是资产报酬率1x、流动资产周转率2x、应收账款周转率3x、主营收入现金含量4x、成本费用利润率5x、流动比率6x、利息保障倍数7x、资产负债率8x、现金流与流动负债比9x、净资产与贷款余额比10x、净资产增长率11x、主营利润增长率12x、工资福利增长率13x、财务报表质量评价14x、企业员工能力15x、企业经营者履历16x、企业经营者信誉17x、行业现状及前景18x。训练样本的输入向量T121718X=(x,x,,x,x)。训练样本的输出向量为Y，代表企业的信用得分。输入BP神经网络模型的训练样本如表1所示。建立的BP神经网络模型为三层网络，拓扑结构为18-5-1。将20个训练样本输入BP神经网络进行训练，让BP神经网络根据信贷企业信用得分的输出值与真实值之间的误差不断调节各个神经元之间的权值与阀值[5]。采用MATLAB7.0神经网络工具箱进行运算，当误差平方和小于10-5时，训练终止。训练样本中各个信贷企业的真实信用得分和BP神经网络模型输出值。
（三）BP神经网络模型检验
由表1可以看出BP神经网络模型输出值与信贷企业真实信用得分的误差很小，下面对本文设计的BP神经网络模型进行检验。BP神经网络模型采用10个企业的信用评级信息作为检验样本。对本文建立的BP神经网络模型进行检验，将10个企业的信用评级信息作为检验样本输入完成训练的BP神经网络模型，完成训练的BP神经网络模型将根据10个企业的信用评级信息计算出企业信用得分的预测值。检验样本中各个信贷企业的真实信用得分和BP神经网络模型预测值如表2所示。根据表2的数据，得到信贷企业的真实信用得分和BP神经网络模型预测值之间误差曲线。检验样本中信贷企业的真实信用得分和BP神经网络模型预测值的拟合度较高，部分样本真实值与预测值基本重合。检验样本中信贷企业的真实信用得分和BP神经网络模型预测值误差值整体较小，最大误差11.7%，最小误差0.27%。假设以绝对误差小于5%为容忍度，那么本文建立的BP神经网络模型的准确率为70%。假设以绝对误差小于10%为容忍度，那么本文建立的BP神经网络模型的准确率为90%。
三、结论
1、检验样本中信贷企业的真实信用得分和BP神经网络模型预测值的拟合度较高，样本21、26、28的真实值与预测值基本重合，样本24、25的真实值与预测值偏差较大。
2、检验样本中信贷企业的真实信用得分和BP神经网络模型预测值误差值整体较小，最大误差11.7%，最小误差0.27%。
3、假设以绝对误差小于5%为容忍度，那么本文建立的BP神经网络模型的准确率为70%。假设以绝对误差小于10%为容忍度，那么本文建立的BP神经网络模型的准确率为90%。计算结果表明本文建立的BP神经网络模型准确率较高，可以为商业银行信贷过程中的信用风险进行预测评价，从而使商业银行规避信贷过程中的信用风险，起到风险预警功能。
参考文献：
[1]许美玲,齐晓娜,李倩等.基于BP神经网络的村镇银行信用风险预警模型的构建[J].河南科技,2014(22).
[2]黄梦宇.基于BP神经网络的手机银行风险预警模型研究[J].时代金融(下旬),2014(4).
[3]迟国泰,陈国斌,迟枫等.基于神经网络的中国商业银行效率综合评价[J].哈尔滨工业大学学报,2006,38(4).
[4]于彤,李海东.基于BP神经网络的客户信用风险评价[J].现代电子技术,2014(10).
神经网络研究现状范文3
关键词：
中图分类号： TP391．4文献标识码：A文章编号：2095－2163（2011）03－0043－04
Analysis of Training Results based on the Selection of
Parameters Influencing BP Neural Network
HAN Xue
Abstract： Pattern recognition includes two aspects : sample training and sample recognition. And sample training is the premise of sample recognition.Of course, there are lots of training samples and the samples are representative, whichis good, but not the more the better. In the process of training the neural network, it is very important how to determine various parameters that is beneficial to the training efficiency such as the weights and threshold values. This paper is aimed at the use of a simple sample for neural network training, changes parameter values for observing the training effect, thus obtains the different output results and the diagrams. Further study and comparison are carried outto find out the optimal parameter settings. And the experiment method and the conclusion are helpful for application in other identification system development.
Key words：
0引言
在对BP神经网络进行训练的过程中，很多时候，一些基本参数和训练函数参数是随机生成的，但是训练效率并不高。对于BP神经网络所应用的不同领域，这些参数的设置也有所区别。怎样才能使得训练网络的效率更高，就需要了解参数的变化对于训练结果的影响。本文要解决的问题就是变化其中的各项参数值，对得到的不同训练结果进行对比分析，并找出相关规律。
1研究现状
“神经网络”的研究内容主要包括人工神经网络、生物神经网络、认知科学和混沌。
在研究方法上，对于神经网络的研究已经收获了很多不同的研究方法，比较重要且已有一定成果的研究有多层网络 BP算法、Hopfield网络模型、自适应共振理论和自组织特征映射理论等。
在研究领域上也可以分为理论研究和应用研究两大方面。理论研究包括两个方面：其一是理论上的深入研究，通过对已有算法的性能分析来探索功能更完善、效率更高的神经网络模型，包括对稳定性、收敛性、容错性、鲁棒性等各个性能的最优化研究；其二是朝着智能的方向发展，利用神经生理与认知科学对人类思维和智能机理进行研究。应用研究也包含了两个方面，分别是神经网络的软硬件研究和神经网络在各个领域中应用的研究，其中包括：模式识别、信号处理、知识工程、专家系统、优化组合、机器人控制等[1]。
BP神经网络是当前最流行、应用最广泛的神经网络模型之一。但是仍存在一些缺陷，如训练速度较慢，所以很多学者正在寻找快速有效的BP学习算法，而且也取得了一些成效，最重要的几种快速变体有QuickProp[Fah88]、 SuperSAB [Tol90]和共轭梯度法[Bat92][1]。
除了收敛速度较慢之外，BP神经网络还存在一些缺点：容易在优化的过程中产生局部最优解而不是全局最优解；在对新样本训练的同时容易遗忘旧的样本。基于对以上缺陷的改进，目前已有了一些行之有效的解决方法。
为了提高网络训练速度，在调整权值时增加了动量项，从而对某时刻前后的梯度方向都进行了必要的考虑；为了加快算法收敛速度，采用了自适应学习率调节的方法，如VLBP神经网络，后面的实验中还会进一步比较介绍。
目前，BP神经网络作为很重要的神经网络模型之一，在很多应用领域中发挥着重要的作用，包括图像压缩编码、人脸识别、分类、故障诊断、最优预测等。
2算法原理
BP神经网络的基本思想是通过不断地训练权值，并设有一个标准的输出，每次训练以后得到的实际输出与标准的输出比较，设置一个最小误差，达到这个误差就表示网络训练好了，否则继续训练；经过一定的训练次数后，若还没有达到这个误差标准，就表示网络的设置有问题。本实验通过对参数的改变，寻找出最优参数设置的规律。
3算法实现
使用matlab开发平台，程序编写分为定义输入向量和目标向量、创建 BP网络设置训练函数、初始化权值阈值、设置训练函数参数、训练神经网络五个部分。进行对比实验时，只需将相关参数进行修改即可。对基本的BP神经网络进行训练时，设置基本参数：权值、阈值；训练函数参数：学习率、最后达到的均方误差、最大步长。分别对学习率、均方误差、初始权值、初始阈值进行修改，对比实验结果；基本的BP神经网络中无法对学习率实现事先最优，所以用VLBP神经网络进行改进。
程序如下：
netbp．trainParam．goal＝0．0001／／设置最后达到的均方误差为 0．0001
netbp．trainParam．epochs＝5000 ／／设置最大训练步长
[netbp，tr]＝train（netbp，p，t）
4实验结果
初始训练样本的输入设为[1；3]，期望输出设为[0．95；0．05]，第一层的权值设为[1 2；－2 0]，第二层的权值设为[1 1；0 －2]，第一层的阈值设为[－3；1]，第二层的阈值设为[2；3]，学习率设为1，均方差设为0．0001。其实验仿真图如图1所示。
4．1改变学习率
只改变学习率的训练函数参数时，运行程序后的对比结果如表1所示。
从表1中的实验结果可见：在其他条件不变、学习率增大的情况下，所需的训练步长变短，即误差收敛速度快。但是学习率不可以无限制地增大，增大到一定程度后，误差收敛速度将减慢，甚至有可能达不到误差范围内，进入局部稳定状态。
表1中的各组实验仿真图如图2－图7所示。
4．2改变均方差
将均方差由原来的0．0001变为0．001后与原初始样本参数对比结果如表2所示。
均方差变为0．001后的仿真图如图8所示。
可见，在其他条件一样的前提下，将最后要达到的均方误差值设置较大时，网络训练步长变短，误差收敛速度慢些，最后的输出结果较为精确些。
4．3改变初始权值
将初始权值改变后的对比结果如表3所示。
改变初始权值后的仿真图如图9所示。
可见，后者的初始权值比较合适些，因此训练的时间变短，误差收敛速度明显快些。
4．4改变初始阈值
将初始阈值改变后的对比结果如表4所示。
改变初始阈值后的仿真图如图10所示。
可见，后者的初始阈值比较合适些，因此训练的时间变短，误差收敛速度明显快些。
4．5学习率可变的VLBP神经网络
用最基本的 BP 算法来训练 BP神经网络时，学习率、均方误差、权值、阈值的设置都对网络的训练均有影响。选取合理的参数值会有利于网络的训练。在最基本的 BP算法中，学习率在整个训练过程是保持不变的。学习率过大，算法可能振荡而不稳定；学习率过小，则收敛速度慢，训练时间长。而在对网络进行训练之前是无法选择最佳学习率的。
虽说学习率在训练前无法选最优，但是在训练的过程中能否可变呢？因此BP神经网络的一种改进算法VLBP可派上用场。也就是说，另外设置学习增量因子和学习减量因子，当误差以减少的方式趋于目标时，说明修正方向正确，可以使步长增加，因此学习率乘以增量因子k，使学习率增加；而修正过头时，应减少步长，可以乘以减量因子k，使学习率减小。
程序设计中加入下列语句：
netbp＝newff（[－1 1；－1 1]，[2 2]，‘logsig’ ‘logsig’，‘traingdx’）
netbp．trainParam．lr＿inc＝1．1／／增量因子设为1．1
netbp．trainParam．lr＿dec＝0．65 ／／减量因子设为0．65
经过训练后最后的输出结果为[0．963 8；0．050 0]，训练步长为50，训练后第一层的权值为[1．004 5 2．013 5；－1．408 4 1．774 8]，训练后第二层的权值为[0．766 9 0．768 3；－1．544 7 －2．865 0]。
VLBP神经网络训练仿真图如图11所示。
观察网络的收敛速度，采用学习率可变的VLBP算法要比学习率不变BP算法收敛速度提高很多。以上两种算法都是沿着梯度最陡的下降方向修正权值，误差减小的速度最快。
5结束语
通过上述验证性实验，可以看出参数的选取对网络的训练结果有着很大的影响，当然BP算法还很多，但没有一个算法适合所有 BP 网络。在实际运用时，需根据网络自身的特点、误差要求、收敛速度要求、存储空间等来做具体选择。
参考文献：
[ 1 ] http：／／blog．csdn．net／zrjdds／archive／2008／01／02／2010730．aspx．
[ 2 ] 陈兆乾，周志华，陈世福． 神经计算研究现状及发展趋势． 南京
大学计算机软件新技术国家重点实验室，2008：3－7．
[ 3 ] 赵艳． 神经计算与量子神经计算的研究综述[J]． 计算机与信息
神经网络研究现状范文4
【关键词】神经网络；塑性加工
1.引言
神经网络技术属于人工智能领域，最早在上世纪五十年代开始出现一些相关理论性的研究，由于受到当时软、硬件环境的约束，因此该技术的发展一直处于停滞状态，直到九十年代才得到足够的重视，并由于其在控制过程中独特的优势而受到广泛的关注和青睐，成为最热门的研究领域之一。人工神经网络的特点主要有大规模并行计算能力突出、数据存储的分布性好、超强的自学习和自适应能力等，甚至基于神经网络衍伸出的一些优化算法还可以具备相当程度的联想、识别和记忆功能，这大大强化了神经网络的适用范围。目前该技术已广泛的应用在生产控制、模式识别、网络控制、信号处理、医学工程以及其他需要智能优化处理服务的自动化控制场合。
2.人工神经网络概述
人工神经网络技术模拟人脑中由大量的神经元连接组成的复杂网络，在求解过程中充分的调动神经元之间的相互作用，从而实现对数据的感知、记忆和处理功能。虽然神经元个体相对简单且功能有限，但通过大量不同神经元的组合，便可使生成的网络系统具有多样化的功能。在人工神经网络中，神经元由三部分构成，分别是包含网络中每条连接权值的权集；用以存储某条组合连接中各个单位连接权值之和的求和单元；对加权和进行非线性映射并约束其强度的非线性激励函数。由这三部分组成的单个神经元可与其他多个神经元相连接，组成各种类型的神经网络。
神经网络的另一个优势在于其独特的分布式数据存储方式上，由于将采集到的大量数据分布存储在各个神经元之间的连接强度上，可大大增强数据的生存性和安全性，即使出现了局部数据的损毁，也不会对最终的计算结果造成太大的影响。从计算机技术方面分析，神经网络中的神经元实质上是一个非线性运算器，可同时接受多路输入数据参与运算，而计算结果则是唯一的单个输出。从数学建模的角度来看，通常使用三个函数来描述神经网络，分别是阶跃函数、分段线性函数和Sigmoid函数，如下所示：
在塑性加工领域，应用最多的是前馈型神经网络，在该类神经网络中，包括输入层、隐层和输出层三层结构。在这三层之间，内部节点相互独立，减少干扰，其实现的输入和输出之间的关联受到多种因素的影响，如节点数、层数、连接权值等等，若要实现该网络输出尽可能的逼近预设值，就必须采用误差函数来对各个连接强度进行动态调整，最常使用的是二乘误差，如下所示：
3.人工神经网络在塑性加工中的应用分析
3.1 工艺设计专家系统
工艺设计是塑性加工工序的开始，通过科学的工艺设计，可以将整个加工流程进行合理的安排，预设合适的参数组合，以使得生产出的产品合乎标准，在这一阶段，首先要完成的就是大量资料的收集，随后是数据提炼，计算量相当庞大。而利用人工神经网络来建立专家系统时可以实现大规模的数据并行处理，且不需要循序渐进的推理，直接通过大量的训练来得到最优的解集，这是其他智能算法所不具备的突出优势。而且在神经网络中，推理过程和计算过程是同步完成的，且相关信息分布存储在网络节点间的连接强度上，通过对样本不断的学习和更新来完成对存储知识的不断优化。
3.2 无损探伤及缺陷预测
在超声探伤、磁粉探伤等无损探伤中，由于得到的信息较为有限，因此传统的监测系统很难准确判断构件内部缺陷的具体情况，更谈不上精确定位了，且这种困难随着北侧物件体积的增大而直线上升。而神经网络所具有的非线性识别及映射能力则能很好的解决这一问题，通过反复的训练优化，最终定位出最有可能的缺陷位置和缺陷尺寸。若某平板内具有圆形缺陷，可先用有限元法模拟在一定载荷下圆孔的位置、尺寸变化对某些点的位移、应变的影响，将所得到的数据用来训练神经网络。一旦训练成功，就可以利用它确定同类试件内部的缺陷及其尺寸位置。
3.3 预测材料性能及参数识别
在塑性加工理论研究中，材料塑性变形行为的表述能否准确反映材料在外载作用下的响应，直接影响到理论结果的准确性。在利用传统方法建立本构模型时要引入许多假定的前提条件，还要通过大量的实践经验和实验验证来选择合适的参数组合，通过在不同环境下的仿真实验，并对结果进行对比分析，不断修正乃至最终确定本构模型，这一过程显然占用了过多的时间和资源。而利用神经网络却可以实现应力―应变的直接映射，直接从实验数据“学习”应力―应变关系，从而避免了大量的数学推导过程和验证―修改的不断反复过程。网络实现对应力―应变关系模拟就是在“训练”过程中不断改变自身各神经元间的连接强度，训练完成后，网络将应力―应变关系（某种材料）“记忆”在其连接强度上即可。
4.结束语
虽然神经网络已经被广泛的应用到各种工业控制场合并表现出强大的学习和自适应能力，但其算法的收敛性和鲁棒性仍有待加强，相信人工智能领域的不断突破，人工神经网络比价发挥出更大的作用。
参考文献
[1]时慧焯.基于人工神经网络的注塑成型翘曲优化方法[D].大连：大连理工大学，2012
[2]付子义.基于BP神经网络优化的PID控制器研究[J].软件导刊，2015，（12）：45-48
神经网络研究现状范文5
【关键词】深度学习 卷积神经网络 权值共享 下采样 R-CNN Fast-R-CNN
1 绪论
随着电子信息技术的快速发展，芯片的设计与生产进入了纳米时代，计算机的计算能力与计算速度得到了空前的提高，但是人们的需求是无限的，要求计算机能更加任性化的服务于我们的生活，这也就要求计算机本身能像人一样识别与感知周围的环境，并对复杂的环境做出正确的判断。而图片信息是我们周围环境最直观的，最容易获取的信息，要求计算机能对为的环境做出识别与判断也就要求计算机能够智能的识别图像信息。深度学习是机器学习中的一个新的研究领域。通过深度学习的方法构建深度网络来抽取目标特征进而识别周围的环境。卷积神经网络对图像的处理具有平移，旋转，扭曲不变的优良特性。在处理图像是更加快捷和便利。卷积神经网络使得计算机在感知识别周围环境的能力有了巨大的提升，使得计算机更加智能。卷积神经网络拥有强大的特征提取能力，使得其在图像分类识别，目标跟踪等领域有着强大的运用。
1.1 国内外研究现状
1986年，Rumelhart和Mc Celland提出BP算法。BP算法反向传导神经网络输出误差进行训练神经网络。通过BP算法，神经网络能够从大量训练数据中的学习到相关统计信息，学习到的数据统计信息能够反映关于输入-输出数据模型的函数映射关系。
自2006年以来，Geoffery Hinton教授提出深度信念网络。从此深度学习在学术界持续升温。深度学习不仅改变着传统的机器学习方法，也影响着我们对人类感知的理解，迄今已在语音识别和图像理解等应用领域引起了突破性的变革。各种相关的算法和模型都取得了重要的突破，使得深度学习在图像分类，语音识别，自然语言处理等领域有广泛的运用。
2013年百度成立百度深度学习研究院以来我国的人工智能领域取得了长足的进步。在人工智能专家吴恩达的带领下，百度陆续推出一系列人工智能产品，无人驾驶技术，DuerOS语音交互计算平台，人脸识别技术，美乐医等优秀产品。此外Imagenet图像识别大赛中也诞生了一系列经典的神经网络结构，VGG，Fast-R-CNN，SPP-net等等，可以说人工智能技术在近几年得到了空前的发展。
2 深度学习概述
深度学习是机器学习的一个新方向，通过学习样本数据内在规律和深层特征深度，深度学习神经网络能够像人一样有分析和学的能力，尤其在文字处理，图像识别，语音等领域更加突出。能够自主学习一些新的东西。目前深度学习使用的典型技术是通过特征表达和分类器来进行目标识别等任务的。并在语音识别、图像处理、机器翻译等领域取得很多成果。
深度学习不同于以往的浅层学习，浅层学习模型值包含一个隐藏层，或者不存在隐藏层，深度学习则是由很多隐藏层组成的，上一层的输出作为下一层的输入，实验对输入信息进行分级表达。目前深度学习框架主要包含三种深度学习框架，如图1、2、3所示。
3 卷积神经网络
卷积神经网络的结构层次比传统的神经网络复杂，卷积神经网络包含大量的隐藏层，相邻的卷积核或者下采样核采用局部感受野全链接，神经元权值共享的规则，因此卷积神经网络训练参数的数量远比传统神经网络少，卷积神经网络在训练和前向测试的复杂度大幅度降低，同时也减少了神经网络训练参数过拟合的几率。卷积神经网络主要有两部分，分别是卷积核和下采样核。卷积核主要对上一层的图像进行卷积运算，提取图像特征，下采样核则是对上层的数据进行将为处理，减少神经网络的复杂度。
卷积神经网络中每一个神经元的输入与前一层的局部感受野相连，提取局部感受野的特征，比如图像的轮廓，颜色等特征，而这些特征不仅包括传统人类能理解的特征，也包括神经网络自身能够识别的特征，卷积核全职共享，因此这些特征提取与图像的位置无关。
图4是经典的LeNet5卷积神经网络架构，LeNet5架构中卷积核和下采样核交替出现，下采样核及时的将卷积核生成的特征向量进行降维，减少神经网络的运算量。LeNet5算法在1962年幼Hubel等人提出，在识别手写数字mnist中有极高的准确率。
4 R-CNN、Fast-R-CNN对比分析
卷积神经网络在对图像进行识别具有平移，旋转，扭曲不变的优良特性，并且能够实现高准确率识别图像，但是在现实生活运用中往往需要神经网络标记出目标的相对位置，这是传统卷积神经网络不具备的功能。因此在前人传统卷积神经网路基础上对卷积神经网络进行改进，产生了具有对图像中目标进行识别和定位的卷积神经网络R-CNN，Fast-R-CNN等改良算法。
4.1 R-CNN
R-CNN为Region Convoluntional Neural Network的缩写即对图像进行局部区域的卷积处理，其核心思想主要是利用候选区图像对物体探测中位置信息进行精确处理和利用监督式预训练和区域特殊化的微调方法，代替了传统的非监督式预训练和监督式微调。
在CNN中，全连接层输入是固定大小的，因此R-CNN用计算机视觉算法将每一张图片分割成1000-2000张的候选区图片后，要将这些候选区图片进行变换，生成固定大小的候选图片，在训练提取特征时一般采用经过预训练的模型参数进行finetuning，榱嗽黾友盗费本，模型在也将生成的候选框以及标定的标签作为训练样本进行训练。R-CNN采用SVMs分类器对特征向量进行分类，在训练SVMs时将候选框经过卷积神经网络提取的特征和SVM标定结果输入到SVMs分类器训练分类器模型。而在测试时将图像全部候选框经过卷积神经网络提取的特征输入到SVMs分类器中，得到每一类的评分结果。但是R-CNN在处理一张图片是要处理需要对一张图片1000-2000个候选区图像进行前向运算，保存所有后选取图片的特征值，要求计算硬件有大量的存储空间，同时处理每一张图片的时间也会增加。由于训练集庞大，本文采用hard negative mining method方法提高存储的利用率。
R-CNN的体现出了极大的优势，其中MAP也可以大幅度提高，但是正如本文上述，R-CNN计算的时间成本很大，达不到实时的计算效果，R-CNN在对候选区进行处理时会使得图像失真，部分信息丢失。
4.2 Fast-R-CNN
Fast-R-CNN则是再次改进的一种基于卷积神经网络目标跟踪定位算法。相比于R-CNN，Fast-R-CNN从单输入变为双输入，在全连接层后有了两个输出，引入了Rol层。
Fast-R-CNN在运行的时候同样会生成大量的候选区，同时将原始的图片用卷积神经网络进行特征提取，将原始图片提取的特征与生成的候选区坐标送入Rol层为每一个候选区生成一个固定大小的特征向量。最后将Rol生成的特征向量全连接层产生最终的LOSS。Fast-R-CNN中的LOSS采用多LOSS模式，SoftMax LOSS用于计算K+1分类的损失，K为第K个目标，1为背景；Regression LOSS计算候选区的四个角的坐标。
Fast-R-CNN在MAP上有了大幅度的提升，速度也得到了提升，但是在计算候选区是仍存在瓶颈，这也是限制Fast-R-CNN速度的因素。
5 实验测试
对于本文提出的卷积神经网络识别图像定位图像目标算法R-CNN，Fast-R-CNN，在本章给出实验结果。实验平台为基于Linux系统的debian8下运行caffe进行训练，采用显卡K620进行实验。
训练模型初始化参数在是服从高斯随机分布，R-CNN采用的网络结构如图7所示，Fast-R-CNN的网络结构如图8所示。
本次实现的训练样本为录制实验室视频数据，将视频数据转换成帧图片，对每张图片数据进行裁剪，裁剪后图像大小在256*256，共有500张，再将裁剪后的图片进行旋转，平移，扭曲，镜像，加噪声等处理，最后生成144万张样本图片，其中136.8万张图片作为训练样本，7.2万张作为测试样本。
6 总结
在目标识别定位领域，卷积神经网络具有强大的图像处理能力，对图像的识别定位具有很高度平移，旋转，扭曲不变形的优良性能。卷积神经网络架构R-CNN和Fast-R-CNN都有强大的图像处理能力。Fast-R-CNN在识别准确率上比R-CNN高。R-CNN算法复杂，对一张图片需要进行1000-2000次的卷积运算，特征重复提取。因此在训练和前向测试时，R-CNN用的时间长，不能很好的适用于处理实时图片数据，尤其视频数据。R-CNN在对每个候选区进行特征提取之后需要将提取的特征向量存入内存，降低训练测试时间的同时也需要耗费大量内存。因此从各方面分析可知，Fast-R-CNN性能优于R-CNN。
参考文献
[1]谢宝剑.基于卷积神经网络图像分类方法研究[D].合肥工业大学，2015.
[2]郑胤，陈权崎，章毓晋.深度学习及其在目标和行为识别中的新进展[J].中国图象图形学报，2014（02）：175-184.
[3]陈先昌.基于卷积神经网络的深度学习算法与运用研究[D].杭州：浙江工商大学，2006（04）：603-617.
[4]李彦冬，郝宗波，雷航等.卷积神经网络研究综述[J].计算机应用，2016.
[5]Gibson.J J.The perception of the Visual World[J].Cambridge，England，1950.
[6]HORN B，SCHUNCK P.Determining optical flow[J].Artificial Intelligence， 1981，17：185-203.
[7]R.Girshick，J.Donahue，T. Darrell，and J.Malik，“Rich feature hierarchies for accurate object detection and semantic segmentation，”in CVPR，2014
[8]Ross Girshick，Wicrosoft Research. Fast R-CNN，.
[9]R.Girshick.Fast R-CNN. arXiv：1504.08083，2015.
神经网络研究现状范文6
关键词：风险预警模型 主成分分析法 人工神经网络
商业银行风险预警模型就是在分析商业银行经营状况的基础上，通过观察一系列统计指标和统计数据(预警指标)的变化，运用经济计量或其它模型，对商业银行可能或将要面临的风险危机进行识别，及时向决策部门发出预警信号，使决策部门能够及时进行调控，以最小的成本来达到控制风险的最大效益，从而减轻其损失的负担，获得整体安全保障的管理方法。本文在预警模型的算法选择上，避免了仅依靠单个预警指标识别风险的局限性，排除了传统模型加权平均算法的人为因素，提出采用主成分分析法和人工神经网络方法相结合的算法，并对模型进行了实证性研究。
一、引言
综观国内外研究现状，目前银行风险预警的研究大部分是针对宏观金融环境的，对于其构成细胞――商业银行这一微观主体的预警研究尚不多见。尽管如此，国内仍有不少学者在这方面进行了有益的探索。本文在银行业现有研究的基础上，将部分敏感因素加入到风险管理的动态监测中，进一步完善商业银行风险预警指标体系。模型的主要特点在于其算法选择上，提出采用主成分分析方法对商业银行风险状况进行评价，运用独立样本T检验进行解释变量的筛选之后，根据几个关键指标建立BP神经网络预警模型，并按照上述方法进行了实证分析，验证了模型的准确性。
二、风险预警的指标体系构架
(一)商业银行预警指标的选择原则
指标体系的构造，是建立我国银行风险预警系统的基础。银行风险的数量变动特征，无不通过统计指标(变量)的数量变动特征表现出来，因此，统计指标作为测定银行风险的指示器，在银行风险监测预警分析中有着至关重要的作用。为了满足预警指标体系所应具备的完备性和最小性的特征，预警指标的选择应符合下列标准：
1 全面性。指标体系的选择应既包括各种定量指标，也包括反映银行管理水平和内控水平的定性分析指标；既注重风险的安全性指标和流动性指标，又注重银行效益的盈利性指标。
2 敏感性。所选择指标能灵敏地反映银行风险产生变化的情况，应将能够反映银行业目前所处环境或阶段特征的变量及时纳入指标体系，更好地体现模型的适时性。
3 可控性。选择指标必须充分考虑到统计现状，所选指标应是各分(支)行自身可以掌握和调控的。
4 数据的可靠性和充分性。预警指标的数据要可靠，一是要求数据的准确性，二是要求统计口径的一致性。充分性则要求该指标的统计样本区间有足够长度，能够反映各种可能发生的情况。
(二)指标体系的内容
商业银行引进境外战略投资的预警模型指标体系如表1所示。
三、商业银行引进境外战略投资的风险评估
风险评估是风险预警的基础，风险预警是对风险评估结果的补充和完善，风险评估是银行工作者掌握风险趋势变动的依据，是进一步做出风险预警的前提。目前，由于我国金融统计数据的缺乏，通过对破产银行和稳健银行的数据特征对比建立风险预警模型缺乏可行性；此
(三)解释变量的筛选
构建银行风险预警模型的关键之一，是找出反映银行风险状况的关键指标。因此我们首先对用于主成分分析的反映银行风险状况的19个主要预警指标进行考察。为了降低主观判断因素的影响，归纳出一套较强敏感性的指标体系，对上一节通过主成分分析得到的6个高风险季度和6个稳健季度，将采用独立样本T检验对影响银行风险状况的19个指标逐步进行筛选。目的是得到使总体风险在两类银行中存在显著性差别的指标。对19个指标进行独立样本T检验得到风险季度和稳健季度在流动性比率、流动性缺口率、不良贷款率、累计外汇敞口头寸比例、外资控制权比率、不良贷款迁徙率、资本收益率、自主创新贡献度、损失准备充足率、资本充足率、公司治理结构、管理层评价12个指标上的数字特征是存在显著性差别的。我们将用这12个指标来构建商业银行引进及国内外战略投资的风险预警神经网络模型。
(四)基于BP神经网络的风险预警模型实证检验
1 输入节点的选择。通过上一节解释变量的筛选后，我们选取在两类银行中存在显著差异的12个指标来构建BP神经网络风险预警模型，因而该模型的输入节点数为12。我们对选择的12个指标进行归一化处理，将它们转化为闭区间[0，l]上的无量纲性指标值。
2 输出层和隐层节点数的选择。根据主成分分析法的综合评分得到的4种预警结果，我们将定义预警信号为红色预警信号(0 0 0 1)，橙色预警信号(0 0 1 0)，蓝色预警信号(0 1 0 O)和绿色正常预警信号(1 0 0 0)。分别对应于主成分得分表中的4种不同的风险状态：F∈(一∞，0)较大风险，F∈(0，4)风险，F∈(4，8)基本安全，F∈(8，+∞]安全，因此输出节点数确定为4。隐层节点数的多少与输入输出层节点数有直接关系，根据公式，p=m+n/2+a(a为1-10间的常数)，我们确定隐层节点数为10。
3 神经网络预警模型的训练与检验。如前所述，本文建立的BP神经网络模型共有12个输入神经元，10个隐层神经元和4个输出神经元。下面将使用MATLAB7，0软件中自带的神经网络工具箱来完成模型的建立，并利用前11个季度进行网络训练，对最后一个季度的数据做出仿真检验。
通过网络参数设置和算法的选择，利用神经网络工具箱对11个季度的训练结果如表3。
神经网络模型在经过了74次学习训练后达到误差要求。
(五)神经网络风险预警模型的检验
利用2006年第4季度数据对模型进行仿真检验，模型检验的输入、输出如表如表4、表5。
检验结果表明，模型的实际输出与主成分分析结果完全一致，误差满足要求。可以证明该神经网络模型对商业银行金融风险的预警非常准确。因此，将该模型应用于对商业银行初步引进境外战略投资者的风险预警，具有很高的可行性，可以对中资银行对外资开放过程中的风险管理工作提供重要的参考依据。
