前言：中文期刊网精心挑选了神经网络提取特征范文供你参考和学习，希望我们的参考范文能激发你的文章创作灵感，欢迎阅读。
神经网络提取特征范文1
关键词：车牌字符；BP人工神经网络；图像识别；模式识别
引言
近年来，神经网络的智能化特征与能力使其应用领域日益扩大，潜力日趋明显。许多用传统信息处理方法无法解决的问题采用神经网络后取得了良好的效果。其中，神经网络在车牌字符识别中的应用效果尤为明显。目前，车牌字符识别主要采用两种方法，即模式匹配法和神经网络法。由于神经网络模式识别方法能够实现基于计算理论层次上的模式识别理论所无法完成的模式信息处理工作，这种方法是选用适当的字符图像特征提取方法，然后使用训练样本训练网络并构建一个识别网络作为分类器。所以，相信未来一段时期内神经网络在车牌字符识别领域中的应用还会是趋于主导地位。
1 人工神经网络简介
人工神经网络来提取特征向量，把字符平均分成8份，统计每一份内黑色像素点的个数作为8个特征, 即分别统计这8个区域中的黑色像素点的数目，可以得到8个特征。然后统计水平方向中间两列和竖直方向中间两列的黑色像素点的个数作为4个特征，最后统计所有黑色像素点的个数作为第13个特征。如下图所示:
图3 13特征提取法
神经网络提取特征范文2
关键词 滚动轴承；Matlab；时域、频域特征值；神经网络
中图分类号：TH133.33 文献标识码：A 文章编号：1671—7597（2013）051-113-01
滚动轴承是将运转的轴与轴座之间的滑动摩擦变为滚动摩擦，从而减少摩擦损失的一种精密的机械元件。由于它使用方便，具有较高的可靠性且其起动性能好，在中等速度下其承载能力较高，所以是目前被广泛使用的一类轴承。
滚动轴承在运转时可能会由于各种原因导致损坏，旋转机械的故障很大程度是由滚动轴承故障引起的，其运行状态的正常与否会影响到整台机器的性能。但对重要用途的轴承来说定时维修是很不合理的，费时费力，若在轴承运转过程中，进行工况监视与故障诊断，将定时维修改变为视情维修或预知维修，这样既可以防止机械工作精度的下降，又能最大限度地发挥轴承的工作潜力，所以说对轴承进行故障诊断是非常重要的。
当滚动轴承元件的工作表面出现疲劳剥落、压痕或局部腐蚀等问题时，轴承在运行中就会出现周期性的振动信号。用安装在轴承座或轴承周围的传感器采集这种周期信号，并用放大器放大信号，经A/D转换将模拟信号转换成计算机可以识别并处理的数字信号，计算机利用Matlab编程在信号的时域和频域内分别抽取有效的特征值，经一系列计算，建立正确的神经网络并进行模式识别判断故障类型，达到轴承状态检测的目的。
传感器采集到的振动信号，在进行特征值提取前需计算机对数据进行零均值化处理，其目的一方面可以提高数据的可靠性、真实性，另一方面检查信号的随机性，以便正确地选择分析处理方法。
对轴承振动信号进行时域分析的步骤是在信号时域内获得时域特征值，用获得的时域特征值与正常轴承运行时的特征值进行比对确定轴承的状态。常用的特征值可分为有量纲参数和无量纲参数。有量纲量包括：均值、方差、均方根值、峰值等，无量纲量包括：峰值因子、峭度系数、波形因子、脉冲因子、裕度因子等，对零均值化后的数据进行特征提取，通过Matlab可得其样本的时域特征值，鉴于时域分析不能完全反映滚动轴承工作状态，故还需对样本进行频域分析。对零均值化后的数据进行傅里叶变换，通过软件绘制频谱图，对不同样本故障轴承和不同样本正常轴承的频谱图进行对比，设得出n个特征频率点，特征值的选择应遵循不同样本数值变化明显、相同样本数值稳定的特点，再对各个样本一一进行特征抽取，获得频域特征值。由于各个特征值的幅值大小不一，有时甚至相差很大，不便于检测者比较同一特征值的不同样本之间的差异，并且考虑到后面的神经网络的建立及输入值的大小等问题，可将所有特征值归一化到0～1区间。线性函数转换，表达式如下：u=（x-min（min（x）））/（max（max（x））-min（min（x）））。
通过抽取的特征值可以看出正常轴承与故障轴承的差异性及相同状态轴承不同样本的重复性。但通常为更直观地比较正常轴承与故障轴承不同样本间的重复性以及正常轴承与故障轴承的差异性，常用matlab作出它们的频谱特征直方图，通过图可以明显看出重复性与差异性，同时选取的特征频率点也能充分反应两种状态轴承的特征。
BP神经网络是由一个输入层，一个或多个隐层以及一个输出层组成的，上下层可以实现全连接，而每层神经元相互独立，没有连接。使用BP神经网络时，需对其输入层、隐层、输出层进行具体的设计。设计神经网络的一般方法是：输入层的神经元数目应根据所要求解的问题及数据表示形式来确定，在故障诊断中，输入层神经元个数一般等于每个样本中包含的特征值的个数；输出层的神经元个数股可根据设计者的要求确定，在故障诊断中，一般将BP网络用作分类器，例如测其轴承状态，只有故障和正常之分，确定的输出层神经元的个数则为2个；隐层的神经元个数选择则比较繁琐，没有准确的式子可将其求解出，一般需要设计者多次试验来确定。隐层单元的个数与问题的要求与输入层、输出层神经元的数目都是相互联系的。
首先将已归一化的特征值作为BP神经网络的基础，按上述方法设计BP神经网络，确定其各个参数。然后建立神经网络并对其进行训练，从而实现模式识别。
在滚动轴承状态监测过程中，样本数据是实验数据经分析处理后所提取的有效特征值。由前面假设提取的特征值个数可知，网络输入神经元个数应为n；网络输出为轴承状态，所以输出神经元个数为2。 对于轴承的不同状态进行识别，建立神经网络对它进行训练，确定隐层个数，计算出隐层神经元个数。
设网络的输出层神经元传递函数与隐含层神经元传递函数分别为L、T，最大训练步数定为m，目标误差定为0.01。通过Matlab软件经过m次的训练后，网络隐层的神经元数目选为BP网络对函数的逼近效果最好时的数目。
通过已确定的网络结构，对神经网络进行训练，经编程计算得到其训练步数。神经网络训练好后，需对神经网络进行测试。将测得结果与期望结果进行比较，若测得结果与期望值一致，那么说明此数据的分类正确，也就是说前面建立起来的神经网络对轴承状态的识别系统是正确的；若不一致，需重新设计网络结构并进行计算。得到正确的神经网络，以后再对其他此类型的轴承状态进行检测时，只需将采集的数据输入这个网络中，就可以根据它的输出结果正确的判别出此轴承的状态。
本文大体介绍了滚动轴承的优点及故障诊断的必要性，并针对具体故障对轴承进行了完整的故障诊断。对轴承故障诊断的重要性、信号分析、模式识别四个方面分别进行了阐述。针对具体故障进行研究时，进行了特征值提取和模式识别。提取特征值时，分别进行时域分析和频域分析。时域分析过程中得到了时域特征值，对时域特征值进行重复性和有效性检验后，确定了明显、稳定的时域特征值进行模式识别。频域分析采用了傅里叶变换，得到频谱图，经过重复性和有效性检验后，最终确定特征频率点。得到特征值后，就可以进行模式识别。本文采用BP神经网络进行模式识别。先是对输入层、隐层、输出层分别进行设计，然后再通过训练确定网络的最终结构。网络结构确定后，对神经网络进行训练，至达到训练目标。训练完后，对神经网络进行测试，获得正确神经网络。
参考文献
[1]轴承工业协会编著.滚动轴承检验与检测[M].河南人民出版社，2010.
[2]王.滚动轴承测试技术[M].机械工业出版社，2008.
神经网络提取特征范文3
关键词:人工神经网络;故障诊断;水泵
中图分类号:TU
文献标识码:A
文章编号:1672-3198(2010)04-0295-02
1 人工神经网络理论应用于水泵故障诊断研究的理论意义
采用人工神经网络(ANN)技术解决机械故障诊断问题的主要着眼点在于:
(1)ANN的大规模分布式并行处理能力,适于解决复杂的诊断问题。
(2)ANN具有较强的非线性处理能力,适宜于解决故障诊断中复杂的非线性模式识别问题。
(3)ANN具有任意复杂映射的强有力的逼近能力,适宜于解决故障领域中的预测与控制问题。
水泵工作故障往往表现为工作平稳性恶化、振动加剧以及噪声增大,这往往又是衡量机器制造质量和工作性能的重要指标。本文以某型号离心泵为对象,通过测取故障振动信号来进行故障诊断。
水泵转子由于制造误差、装配不当或在不适当的条件(载荷、等)下使用,常会发生以下故障:①转子不平衡;②不对中;③油膜涡动。而这些故障将会使轴承的旋转精度降低,产生振动、噪声,增加轴承旋转的阻力,最终将使轴承受到阻滞或卡死,造成整个工业系统的失效。振动中不平衡、不对中以及油膜涡动占整个故障发生率的80%。因此对上述故障进行诊断具有非常重要的意义。
神经网络之所以适合于故障诊断,是因为神经网络具有以下优越性:自组织和自学习能力可以根据对象的正常历史数据训练神经网络,然后将此信息与当前测量数据进行比较,以确定故障;联想记忆神经网络具有滤出噪声及在有噪声情况下得出正确结论的能力,可以训练神经网络来识别故障信息,使其能在噪声环境中有效地工作,这种滤除噪声的能力使得神经网络适合在线故障检测和诊断;非线性映射能力神经网络对于高维空间模式识别和非线性模式识别问题的分类精度高,具有分辨故障原因及类型的能力,这为实现故障诊断奠定了基础。因此,神经网络理论在故障诊断领域显示出了极大的应用潜力。本文将新兴的神经网络理论应用于水泵的故障诊断和状态检测,以某型号水泵的实测数据为例,对神经网络模型进行训练分析,取得了令人满意的结果,具有实际应用价值。
2 人工神经网络应用于水泵故障诊断技术的实现
2.1 样本数据的获取
实验采用便携式Dasylab测试系统进行测试,在现场对三种故障进行模拟,将数据信号存储在磁盘中,得到水泵三种故障:(1)转子不平衡;(2)转子不对中; (3)油膜涡动的时域曲线和频域曲线。对各个故障的频域曲线,提取了五个不同频率的幅值作为描述水泵故障的特征值,并把这组特征值作为输入量。
2.2 特征提取
要从样本中提取对诊断故障贡献大的有用信息,这一工作就是特征提取。特征提取就是利用已有特征参数构造一个较低维数的特征空间,将原始特征中蕴含的有用信息映射到少数几个特征上,忽略多余的不相干的信息,从数学意义上讲,就是对一个n维向量X=[x1.x2,…,xn]T进行降维变换成低维向量Y=[y1,y2,…,yn]T,m
由于水泵设备总是运行在噪声、电磁干扰等环境中,在振动信号分析与处理方法中,常用快速傅立叶(FFT)变换对振动信号进行频谱分析。
2.3 样本数据的预处理
原始样本数据不宜直接作为神经网络输入,那会使网络连接权值相差极大,使网络输出性能变得不稳定。因此在输入网络前通常需要将数据进行预处理。为了一开始就使各变量的重要性处于同等地位,神经网络学习和测试时要对提取的数据进行归一化处理,即:令
x′i=xi-xminxmax-xmin(1.1)
xi――不同频率下的幅值
xmin――最小幅值xmin=min(xi)
xmax――最大幅值xmax=max(xi)
这样,网络所有输入都在[0, 1]内。
2.4 水泵故障诊断神经网络模型结构
由于故障机理(故障征兆和故障原因之间的关系)往往隐含于故障实例之中,通过一些故障实例(称为故障样本)对神经网络进行训练学习,可以建立起系统的故障诊断模型,而故障诊断的推理规则隐含于神经网络的网络拓扑结构和网络权值之中。
多层前馈神经网络的输入和输出之间的关系,可以看成是一种映射关系,这种映射是一个高度非线性映射,如果输入节点数为L,输出节点数为N,网络是从L维欧氏空间到N维欧氏空间的映射。三层神经就已经能够逼近任意函数了,因此,水泵故障诊断神经网络采用三层结构即输入层、输出层和隐含(中间层)。通过有监督的训练方法训练网络权值。
(1)输入层设计。
特征参数组成特征向量,特征向量作为网络输入。所以,特征参数选取的正确与否直接影响到网络的性能。
通常,选取的方法应该通过理论分析、专家经验、试验找出对水泵性能影响较大,同时对各种故障都有较明显反应的变量作为特征参数,然后将这些特征参数组成特征向量,经过数据的预处理,作为BP网络的输入。第二章通过水泵故障机理的分析可以发现5个参数在故障情况下变动明显。因此,本文选取以上5个参数作为BP网络的输入参数。
输入层中神经元节点的个数对应着上述状态特征描述参数矢量或数组。通过对水泵故障的分析,提取了频域曲线中五个不同频率的幅值作为描述水泵故障的特征值,并把这组特征值作为输入量,所以水泵故障诊断神经网络的输入单元为5个。
(2)输出层设计。
网络输出向量,通常是具体问题的目标结果。本文的目的是判断某一状态下处于何种故障,输出层中神经元节点的个数对应于神经网络要识别的故障模式矢量或矩阵。本故障诊断神经网络需要对不平衡、不对中和油膜涡动三种故障进行识别。因此水泵故障诊断神经网络的输出为3个单元。
如以上所述,BP神经网络的输入神经元有5个,输出神经元有3个。隐层神经元数目是由训练样本数目决定的。
(3)中间层设计。
中间层数及其神经元节点的个数与输入的技术特征参数的复杂程度及所需识别的故障模式种类有关。当输入模式和输出模式相当不同时,就需要增加中间层,形成输入信号的中间转换。处理信号的能力随层数的增加而增加,如果有足够的中间层单元,输入模式也总能转换为适当的输出模式。一般来说,还没有任何理论根据采用两层以上的中间层。对大多数的实际问题来说,一层中间层即三层网络己经足够了。根据经验,采用两层以上的中间层几乎没有任何益处。采用越多的中间层,训练时间就会急剧增加,这是因为中间层越多,误差向后传播的过程计算就越复杂,使训练时间急剧增加。另外中间层增加后,局部最小误差也会增加,网络在训练过程中,往往容易陷入局部最小误差而无法摆脱,网络的权重难以调整到最小误差处。
根据试验的需要和具体的分析,本研究所建立的网络为一层中间层,确定中间层以后的一个重要问题是选择适当的中间层处理单元。可以说,选用中间层单元数往往是网络成败的关键,因为中间层处理单元数选用太小,则网络所能获取的用以解决问题的信息太少,难以处理复杂的问题;但若中间层处理单元数过多,不仅使网络的训练时间急剧增加,难以在人们所能接受的时间内完成训练,更重要的是过多的中间层处理单元还可能出现所谓“过度吻合”问题。也就是说,如果网络具有过多的信息处理能力,甚至把训练集中一些无关紧要的非本质的东西,也学的惟妙惟肖时,则网络就难以分辨数据中真正的模式。
一般来说,中间层单元数可根据下式确定,
n1=n+m+α
式中n1――中间层单元数 m――输出层单元数 n――输入层单元数
α――1-10之间的整数
本文中,m取3,n取5,根据上面公式中间层单元数n1取5。从而该水泵故障诊断神经网络结构如图所示。
图1
2.5 神经网络关键程序实现
(1)创建网络。
使用newff()函数创建网络,网络参数设置如下:
隐藏层神经元设置为5,输出层神经元个数为3,根据神经网络的要求和所要达到的网络输出目的,选择输入层到隐藏层间的传递函数为tansig,即S型的正切函数,隐藏层到输出层间的传递函数为logsig型函数,即为S型的对数函数。
使用训练函数trainlm来训练网络。
(2)设置训练次数。
将训练次数设置为1000次。
(3)设置学习效率。
学习速率决定每一次循环训练中所产生的权值变化量,用η表示。η较大时,权值的变化量就较大,学习速率比较快,但有时会导致振荡。η较小时,学习速率慢,然而学习过程平稳。这样,在实际的学习过程中,可以将η值取为一个与学习过程有关的变量,并且在学习刚开始时η值相对大,然后随着学习的深入,η值逐渐减小。在一些简单的问题中,η可取为一个常数,满足0
(4)网络训练。
使用学习样本和目标向量训练网络,P和T分别设为训练样本向量和目标向量。
(5)诊断测试。
利用待诊断数据样本P_test,使用sim()函数实现测试。
3 结束语
本文采用Dasylab测试软件采集故障信号,以信号频谱中各阶倍频和分频作为智能诊断的特征因子,提取故障样本,进行BP网络的训练。利用MATLAB建立了水泵故障诊断神经网络学习和诊断程序,实现了基于人工神经网络理论的某型号水泵故障诊断模型。结果表明,本神经网络故障诊断模型不仅克服了传统诊断方法的弊端,而且大大提高了水泵故障诊断的准确率和诊断效率。
参考文献
[1]廖伯瑜.机械故障诊断基础[M].北京:冶金工业出版社,2003:1-36.
[2]田景文.工神经网络算法研究及应用[M].北京:北京理工大学出版社,2006:70-90.
[3]韩力群.人工神经网络教程[M].北京:北京邮电大学出版社,2006:50-85.
神经网络提取特征范文4
关键词：遗传算法；BP神经网络；乳腺肿瘤；计算机辅助诊断
DOIDOI：10.11907/rjdk.161973
中图分类号：TP319
文献标识码：A 文章编号文章编号：16727800（2016）011014404
0 引言
乳腺癌作为全球女性中最为频发的恶性肿瘤疾病和癌症死亡的首要原因，严重危害女性身心健康。近年来，我国乳腺癌的发病率和死亡率逐年上升，且呈明显的年轻化趋势。乳腺癌在初期常无明显临床症状，或仅表征为轻微的疼痛[1]。迄今为止，乳腺癌发病的确切原因还未找到，尽管环境、遗传因素和生活方式是造成乳腺癌的主要因素，但60%以上的乳腺癌患者身上并不存在这些明显的危险因素[2]。因此，早发现、早诊断仍是当前提高乳腺癌治愈率和降低死亡率最有效的途径[3]。
肿瘤作为乳腺癌的直接病理征象和主要诊断依据，大约90%的乳腺癌患者在X影像上有清晰的肿瘤征象。由于X线是一种无创、微辐射的检查方法，检查费用低，而且对肿瘤与钙化比较敏感，因此X线乳腺图像已经成为检测乳腺癌的黄金标准，通过它来检测乳腺异常是预防乳腺癌的重要方法之一[4]。随着医学影像学和计算机辅助诊断技术的发展，基于X线乳腺图像的CAD系统得到了广泛应用，但是不同CAD系统的诊断效果也由系统自身决定[5]。2013年，Marc Lobbes比较了两个CAD系统（Second Look 和 AccuDetect Galileo）的病灶检测能力，并分析了326份病例，结果显示，AccuDetect Galileo在检测肿瘤与微钙化（尤其是针对致密性乳腺）时效果更佳[6]。目前，针对X线图像的乳腺肿瘤辅助诊断算法主要分为图像增强、肿瘤分割、特征提取和优化，以及良恶性肿瘤识别4部分。
近年来，随着BP神经网络理论的完善和成熟，在计算机辅助诊断领域得到了广泛应用。由于BP神经网络具有强大的非线性映射能力，在使用乳腺肿瘤病灶组织图像时，建立基于神经网络的乳腺肿瘤辅助诊断方法模型，不仅能够提高乳腺癌的诊断准确率，而且可以为临床医生提供帮助。但是BP神经网络在进行辅助诊断建模时，会因其输入特征的多维性而造成模型精度低、建模时间长等问题。所以，本文提出了基于遗传算法―BP神经网络的乳腺肿瘤CAD方法。首先，提取乳腺肿瘤ROI的几何特征、形状特征、灰度特征、纹理特征、频率特征和边缘特征79维；然后用遗传算法（GA）对提取的特征进行约简，去除冗余特征后选择最能体现肿瘤良恶性的特征组合17维；最后基于GA-BP神经网络模型进行乳腺肿瘤良恶性分类，探讨GA-BP模型在乳腺肿瘤分类识别中的性能。
1 基础知识
1.1 遗传算法
遗传算法（Genetic Algorithm，GA）是模拟达尔文生物进化论的自然淘汰与遗传选择生物进化过程的一种计算模型。其核心思想源于适者生存的自然选择规律，具有“生存+检测”的迭代过程。它将所要解决的问题解空间映射到遗传空间，再对解空间进行编码。一般用一串“1、0”数字串表示每个可能的解，并将该解称为一个染色体，解的每一个分量称为一个基因。在算法开始时，先随机选择一群染色体作为候选解，用预先设定好的评价指标计算每个染色体的适应值，并淘汰适应度较低的染色体，保留适应度高的优良染色体，然后对这些染色体进行选择复制、交叉和变异等操作，如此进行一代一代的“进化”，直到找到算法的最优解。
遗传算法相对于一些传统的优化算法，优点表现在：①遗传算法在搜索过程中不易陷入局部最优，能以很大概率找到整体最优解，具有良好的适应性与鲁棒性，是一种经典的全局最优化算法；②遗传算法具有隐含并行性，运算效率高，适用于大规模的并行计算机。然而，遗传算法的缺点表现在易早熟、局部收敛性差等。
1.2 BP神经网络
BP网络[7]的拓扑结构由输入层、隐含层和输出层组成。图1为一个典型的三层BP神经网络结构图，层与层之间采用全连接方式，同一层之间不存在相互连接，隐含层包括一层或多层。
2 本文算法
本文首先对乳腺肿瘤图像进行分割，提取ROI区域，其次提取几何特征、形状特征、灰度特征、纹理特征、频率特征和边缘特征共79维，然后采用遗传算法进行特征选择，选择17维特征用于BP神经网络的计算机辅助诊断，从而识别乳腺肿瘤的良恶性，最后基于GA-BP神经网络的辅助诊断模型为临床提供参考意见。
2.1 基于遗传算法的特征选择
基于BP神经网络的遗传算法优化辅助诊断，是使用遗传算法选择BP神经网络的最佳输入特征，优化后的BP神经网络能够更好地识别乳腺肿瘤的良恶性并减少建模时间，以提高辅助诊断效果。利用遗传算法选择特征，必须经过输入变量编码、初始种群产生、适应度计算、交叉变异选择、优化结果输出等过程[8]。本文GA优化变量的主要步骤如下：（1）输入变量编码。本文首次提取的特征有79维，经GA选择17维特征作为BP神经网络的输入，即输入变量为17个，个体的每个基因只能取“1”和“0”两种情况，1表示输入变量参与建模，0表示输入变量不参与建模。（2）初始种群产生。随机产生20个初始个体组合作为一个种群，遗传算法以这20个个体作为初始点进行迭代。（3）适应度计算。本文选取测试集数据误差平方和的倒数作为适应度函数，对每个个体进行训练和预测，如式（1）所示。
式（1）中，T′={t′1，t′2，…，t′n}为测试集的预测集，T={t1，t2，…，tn}为测试集的期望集，n为测试集的样本数目。（4）选择交叉变异。选择操作使用比例选择算子，计算出所有个体的适应度和各个个体的相对适应度，作为该个体被选中并遗传到下一代的概率。变异操作一般采用单点变异算子，随机产生一个变异点，改变其基因上的基因值，经过一轮选择交叉变异，又可以产生新的适应度更高的种群。（5）优化结果输出。经过一代代的迭代优化，当满足迭代终止条件时，输出的末代种群对应的便是问题最优解，即经过选择后的特征。
2.2 BP神经网络模型建立
2.2.1 模型拓扑结构设置
BP神经网络的拓扑结构由输入层、隐含层和输出层3部分组成，本文将特征数据作为网络输入，乳腺肿瘤的良恶性类别作为神经网络输出，从而构建基于BP神经网络的乳腺肿瘤辅助诊断模型。
（1）隐含层层数：本文考虑到基于BP神经网络的乳腺肿瘤辅助诊断模型的输入和输出规模较小，选用一层隐含层。
（2）隐含层节点个数：本文采用初始隐含层节点范围公式计算隐含层数目。其中，s表示隐含层节点数目，m表示输入层节点数目，n表示输出层节点数目，a是1～10之间的整数。本文设定隐含层数目为10。
2.2.2 模型重要参数设置
要建立一个BP网络，除了对隐含层层数和节点个数的设置，还需要对BP神经网络训练函数、节点传递函数、误差界值、学习率等参数进行初步设置。本文选择系统默认的Levenberg-Marquardt优化算法作为BP神经网络的训练函数[9]；初步设置BP神经网络默认的节点传递函数tansig为隐含层节点传递函数；网络需要输出的值是线性具体值，所以网络输出层的节点传递函数初步选择purelin；误差界值设置为0.01，既足以满足网络的精度要求，又可以保证网络收敛速度；学习率初步设置为0.1，既能避免学习率过大造成的网络不收敛，又避免学习率过小造成的时间复杂度高。具体设置如表1所示。
3 算法仿真实验
实验数据：本研究中的乳腺肿瘤病例样本数据来自于DDSM机器学习数据库。选取555例乳腺瘤数据样本作为实验数据，其中包括344例良性乳腺肿瘤数据，211例恶性乳腺肿瘤数据。
实验环境如下：操作平台为Windows7操作系统，仿真平台为MATLAB 2012图像处理软件，硬件环境为4G内存、750G硬盘、i5-3230M处理器。
3.1 图像分割
首先从555例实验图像中提取ROI，图3为5例良性乳腺肿瘤图像与5例恶性乳腺肿瘤图像以及经过图像分割处理后的ROI。
3.2 特征提取
针对3.1节分割后的555个ROI进行特征提取，提取到的特征有79维，基于不变矩的形状特征为：R1、R2、R3、R4、R5、R6、R7；基于图像内容的几何特征为：周长、面积、圆形度、矩形度、伸长度、紧致度、欧拉数；基于灰度直方图的灰度特征为：平均灰度、一致性（标准差）、灰度波动、倾斜度、峰度、梯度能量；基于灰度共生矩阵的纹理特征为：能量、熵、惯性矩、相关性、逆差距、方差、和的均值、和熵、差熵、和的方差、差分方差、相关信息度量（f12，f13）、最大相关系数；频率特征为空间频率；边缘特征为：边缘锐度、边缘平均梯度，具体特征见表2。
3.3 基于遗传算法的特征选择实验
实验数据使用在3.2节实验中所得的555幅图像的79维特征数据。按照遗传算法特征选择的步骤进行仿真，随着进化代数不断增加，群体适应度越来越高，也即预测值与期望值之间的误差越来越小，群体整体表现越来越好。当迭代次数达到设定的最大迭代次数时，终止进化，并输出该种群中适应度最好的个体对应输入变量的基因编号。它们分别是：1，4，8，9，10，12，14，15，17，18，19，22，23，24，25，26，28，即选择后输入特征是：基于不变矩的1阶、4阶等2个矩特征；基于灰度直方图的平均灰度、一致性、灰度波动、峰度等4个灰度特征；基于图像内容的周长、面积、矩形度、伸长度、紧致度等5个灰度特征；边缘锐度、边缘平均梯度等2个边缘特征；基于灰度共生矩阵（0°方向）的能量、熵、惯性矩、逆差距4个纹理特征，共17维特征，具体见表3。即经过遗传算法的选择，确定该17维特征参与下一步的辅助诊断仿真。
3.4 基于BP的乳腺肿瘤辅助诊断实验
实验数据使用在3.3节实验中所得的555例图像的17维特征数据。BP神经网络的输入是17维特征数据，期望输出是良性乳腺瘤和恶性乳腺瘤两个类别，通过仿真实验来检验只含有选择后的特征输入的BP网络性能。网络的期望输出值只能取1或2作为己标记的良恶性乳腺肿瘤分类。网络的预测输出值大于0.5且小于等于1.5，则视为良性乳腺瘤；如果该值大于1.5且小于等于2.5，则视为恶性乳腺瘤。
将555份样本数据随机排序并编号后，采用5-折交叉法将其分为5组，其中1～111号为第1组、112～222号为第2组、223～333号为第3组、334～444号为第4组、445～555号为第5组。每次实验使用的训练样本数据和测试样本数据如表4所示。5次仿真实验的结果迭代次数、建模时间和识别率如表5所示。
由表5可知，本文模型的平均迭代次数为8.6次，乳腺肿瘤辅助诊断准确率的平均值为96.756 76%，并且每次仿真的迭代次数和准确率非常接近。在仿真过程中发现，建模时间基本在2s左右，建模速度较快。总之，在进行辅助诊断时，输入特征的维数应根据需要筛选核特征，去除无关冗余信息，不仅能提高网络性能，也会降低时间复杂度。
在第5次仿真实验中，良性肿瘤64例，恶性肿瘤47例，训练样本共111例。其中良性肿瘤确诊63例，误诊1例，良性肿瘤检测率为98.44%；恶性肿瘤确诊45例，误诊2例，恶性肿瘤检测率为95.74%。总检测样本111例，确诊108例，误诊3例，检测准确率为97.30%。仿真实验预测结果如图4～图6所示。图4为预测结果图，图5为线性回归曲线图，图6为均方误差收敛图。
4 结语
本文在BP神经网络与乳腺肿瘤辅助诊断方法的基础上，利用遗传算法对BP神经网络所需的特征进行选择，优化了BP神经网络辅助诊断模型，从而提高了模型整体性能。首先使用遗传算法对BP神经网络的输入特征进行提取，然后选择17维有效特征用于BP神经网络模型建模。仿真实验结果表明，基于GA特征选择的BP神经网络模型对乳腺瘤的诊断准确率达到96.76%，在减少输入特征的情况下，建模时间更少，识别率更高。因此，基于遗传算法―BP神经网络的乳腺肿瘤辅助诊断模型取得了良好的诊断效果。
参考文献：
[1] 胡永升.现代乳腺影像诊断学[M].北京：科学出版社，2001.
[2] 刘君，方志沂.乳腺癌的早期诊断[J].中国全科医学，2002，5（6）：431432.
[3] 郝欣，曹颖，夏顺仁.基于医学图像内容检索的计算机辅助乳腺x线影像诊断技术[J].中国生物医学工程学报，2009，28（6）：922930.
[4] AFSANEH JALALIAN，SYAMSIAH B T MASHOHOR， HAJJAH ROZI MAHMUD，et puteraided detection/diagnosis of breast cancer in mammography and ultrasound：a review[J].Clinical Imaging，2013，37（3）：420426.
[5] C DROMAIN，B BOYER，R FERRE，et putedaided diagnosis （CAD） in the detection of breast cancer[J].European Journal of Radiology，2013，82（3）：417423.
[6] MARC LOBBES，MARJOLEIN SMIDT，KRISTIEN KEYMEULEN，et al.Malignant lesions on mammography：accuracy of two different computeraided detection systems[J].Clinical Imaging，2013，37（2）：283288.
[7] XIA C，YANG Z，LEI B，et al.SCG and LM improved BP neural network loadforecasting and programming network parameter settings and data preprocessing[C].2012 International Conference on Computer Science & Service System （CSSS），IEEE，2012：3842.
神经网络提取特征范文5
以上文章都结合卷积神经网络模型对交通标志分类做了大量的研究，避免了复杂的人工特征提取算法的设计，研究结果具有一定的参考性。在现有卷积神经网络模型的启发下，以上文章都采用分类器。而训练分类器需要大量样本，因而在小样本数据下，采用分类器容易造成过拟合，降低网络的泛化性。同时，由于SVM分类器在小样本数据集上具有出色分类性能，本文提出一种基于卷积神经网络和多类SVM分类器[[4]的交通标志识别模型。此模型利用卷积神经网络强大的特征提取和泛化能力，使得算法在复杂环境中依然具有可靠的识别结果。 首先，本文通过迁移学习策略「51L61对AlexNet网络[7]特征提取部分进行微调，并将微调结果作为本文的特征提取器。然后将卷积神经网络提取的特征作为多类SVM分类器的输入。同时为了进一步防止过拟合现象的发生，本文在SVM分类器中加入dropout层，利用随机置零策略进行参数选择。最后，文章通过实验结果证实本文提出的分类模型相比于采用softmax分类器有更好的准确率、在复杂背景中具有较高的识别率和较强的鲁棒性棒。1卷积神经网络和SVM
1.1 AlexNet网络
AlexNet网络是著名的卷积分类网络，可成功实现对1000类别物体的分类。其结构可以分为特征提取器和分类器两部分。
特征提取器主要由卷积层、池化层、激活函数组成。卷积层由大小不同的卷积核组成，卷积核类似于传统视觉中的特征提取算子。但区别于传统视觉算子，卷积核参数由网络自己学习得到，可以提取图像从底层到高层的不同特征信息。池化层常连接在卷积层之后，一般常用最大池化操作。池化层可以加强网络对平移变化的鲁棒性。激活函数为网络引入非线性因素，使得网络可以逼近任意函数形式。
分类层主要由全连接层和多类逻辑回归函数组成。全连接层学习用合理的方式组合特征，可以看为函数映射。逻辑回归函数进行类别概率判别，逻辑回归判别见公式。同时，为了防止全连接层过拟合，AlexNet网络引入dropout层，dropout[9]采用随机置零的方式，防止神经元以特定的方式组合工作，从而防止深度网络的过拟合。p}Y}}}=j1二(‘);B)=艺 e醉x})丫‘eBTx}' }e' j代表类别，二(i)为输入，k代表类别总数，8，表示将样本x}')映射到j类的参数，B代表er,r=i,z,~… ,，组成的矩阵，p(少‘)=j}x(仍表示x}'}属于j类的概率。1.2标准SVM SVM是基于结构风险最小化理论的有监督学习算法，通过寻找最优分割超平面来实现分类[}10}。相比于神经网络，SVM在小样本数据集上也能表现出良好的分类效果，因而得到广泛使用。标准的SVM通过寻求公式(2)的最优解来找到最优超分割平面。minw,b含，，w，，(2)yc> (w·二(‘)+b) >_ 1，i=1, 2,……，m尹)代表第i个样本标签，x}'}代表第i个样本特，m为训练集大小。分类模型设计
本文提出的分类模型主要分为两部分，特征提取部分和多类SVM分类器。整体结构如图1所示。
图1中，特征提取器主要对输入图片进行特征提取和融合，最终得到图像的高阶特征并将提取到的信息特征送入多类SVM分类器。dropout层进行参数随机丢失步骤，此步骤通过随机失活神经元可有效防止过拟合的发生;然后结合不加正则化项的SVM算法进行分类，得到最终输出结果。
2.1特征提取器
神经网络提取特征范文6
【关键词】图像分类深度 卷积神经网络 加权压缩近邻
1 研究背景
手写数字识别是一个经典的模式识别问题。从0 到9这10 个阿拉伯数字组成。由于其类别数比较小，它在些运算量很大或者比较复杂的算法中比较容易实现。所以，在模式识别中数字识别一直都是热门的实验对象。卷积神经网络 （Convolutional Neural Networks，CNN），在手写体识别中有着良好的性能。卷积神经网络的神经元是局部连接，神经元之间能够共享权值。深度卷积神经网络不但可以解决浅层学习结构无法自动提取图像特征的问题，并且提高了分类的泛化能力和准确度。
2 深度卷积神经网络
深度卷积神经网络是一种具有多层监督的神经网络，隐含层中的卷积层和池采样层是实现深度卷积神经网络提取特征的核心模块，并通过使用梯度下降算法最小化损失函数来进行权重参数逐层反向调节，再经过迭代训练提高分类精确度。
深度卷积神经网络的首层是输入层，之后是若干个卷积层和若干个子采样层和分类器。分类器一般采用Softmax，再由分类器去输出相应的分类结果。正常情况下，一个卷积后面都跟一个子采样层。基于卷积层里权值共享和局部连接的特性，可以简化网络的样本训练参数。运算之后，获得的结果通过激活函数输出得到特征图像，再将输出值作为子采样层的输入数据。为了实现缩放、平移和扭曲保持不变，在子采样层中将之前一层对应的特征图中相邻特征通过池化操作合并成一个特征，减少特征分辨率。这样，输入的数据就可以立即传送到第一个卷积层，反复进行特征学习。将被标记的样本输入到Softmax分类器中。
CNN 能够简化网络的样本训练参数，降低计算难度。这些良好的性能是网络在有监督方式下学会的，网络的结构主要有局部连接和权值共享两个特点：
2.1 局部连接
深度卷积神经网络中，层与层之间的神经元节点是局部连接，不像BP 神经网络中的连接为全连接。深度卷积神经网络利用局部空间的相关性将相邻层的神经元节点连接相邻的上一层神经元节点。
2.2 权重共享
在深度卷积神经网络中，卷积层中每一个卷积滤波器共享相同参数并重复作用，卷积输入的图像，再将卷积的结果变为输入图像的特征图。之后提取出图像的部分特征。
在得到图像的卷积特征之后，需要用最大池采样方法对卷积特征进行降维。用若干个n×n 的不相交区域来划分卷积特征，降维后的卷积特征会被这些区域中最大的或平均特征来表示。降维后的特征更方便进行分类。
3 实验结果
为了验证卷积神经网络的有效性，本实验中使用以最经典的MNIST 和USPS 库这两个识别库作为评测标准。手写数字MNIST数据库有集60000 个训练样本集，和10000 个测试，每个样本向量为28×28=784维表示。手写数字USPS 数据库含有7291 个训练样本和2007 个测试样本，每个样本向量为16×16=256 维。
表1给出了卷积神经网络在MNIST 和USPS 库上的识别结果。从表1中可知，深度卷积神经网络对MNSIT 库识别率能够达到97.89%，与用BP 算法得到的识别率94.26%相比，提高了两个多百分点。对USPS 库识别率能够达到94.34%，与用BP 算法得到的识别率91.28%相比，也提高了三个多百分点。
因此，使用深度卷积神经网络算法训练在图像识别中获得更高识别率。因此，深度卷积神经网络在识别手写体字符时有着较好的分类效果。
4 总结
本文介绍深度卷积神经网络的理论知识、算法技术和算法的结构包括局部连接、权重共享、最大池采样以及分类器Softmax。本文通过深度卷积神经网络对两组手写识别库实验来验证CNN 有着较低的出错率。
参考文献
[1]赵元庆，吴华.多尺度特征和神经网络相融合的手写体数字识别简介[J].计算机科学，2013，40（08）：316-318.
[2]王强.基于CNN的字符识别方法研究[D].天津师范大学，2014.
[3]Krizhevsky A，Sutskever I，Hinton G E.ImageNet Classification with Deep Convolutional Neural Networks.Advances in Neural Information Processing Systems，2012，25（02），1097-1105.
[4]郝红卫， 蒋蓉蓉.基于最近邻规则的神经网络训练样本选择方法[J].自动化学报，2007，33（12）：1247-1251.
作者简介
关鑫（1982-），男，黑龙江省佳木斯市人。硕士研究生学历。现为中国电子科技集团公司第五十四研究所工程师。研究方向为计算机软件工程。
