前言：中文期刊网精心挑选了神经网络正则化方法范文供你参考和学习，希望我们的参考范文能激发你的文章创作灵感，欢迎阅读。
神经网络正则化方法范文1
Guo Qingchun； He Zhenfang；Kou Liqun；Kong Lingjun；
Zhang Xiaoyong；Cui Wenjuan
（①Shaanxi Radio & TV University，Xi'an 710068，China；
②Cold and Arid Regions Environmental and Engineering Research Institute，Chinese Academy of Sciences，Lanzhou 730000，China）
摘要： 宏观经济政策的制定要参照各次产业的发展水平，所以对产业发展水平进行评估和预测就显得十分必要。通过运用改进BP算法神经网络的建模方法对我国第三产业产值比重进行分析，最后建立了单隐层的BP神经网络模型。结果表明基于改进BP算法的神经网络模型预测精度高，收敛速度快，具有良好的泛化能力，模型的通用性和实用性强。
Abstract: The formulation of macroeconomic should consult the industry development level, so it is very important to assess and predict the industrial development level. Through the application and improvement of modeling method of BP algorithm neural network, the production value of the tertiary industry in China is analyzed, finally single hidden layer of BP neural network model is established. The research results show that the model based on the improved BP neural network has high forecast precision, fast convergence rate, good generalization ability, strong universality and strong practicality.
关键词： 第三产业 产值比重 BP神经网络 预测
Key words: tertiary industrial；the proportion of output-value；BP Neural Network；predict
中图分类号：F20 文献标识码：A文章编号：1006-4311（2011）15-0009-02
0引言
第三产业的产值比重是衡量一个国家经济发展水平的重要指标之一，第三产业的兴旺发达已经成为全球性的经济发展趋势，成为了现代经济的一个重要特征。而第三产业受到人均国民生产总值、第一产业及第二产业的就业比重和产值比重的影响，而且这种影响是非线性的、不确定的、模糊的，传统的经济数学模型是很难得到满意结果的。
人工神经网络是目前一种有效的预测方法，大量的仿真实验和理论研究已经证明BP算法是一种有效的神经网络学习算法，它具有很强的处理非线性问题的能力，近年来已经广泛应用到各个领域[1-4]。但在实际应用中，BP算法也暴露出一些自身的缺点，算法容易陷入局部极值点，收敛速度慢等，这使得BP算法只能解决小规模的问题，求得全局最优的可能性较小，这样限制了BP算法在实际中的应用。因此应用改进BP算法的人工神经网络模型预测第三产业的产值比重，和常规方法相比在计算速度、训练时间等方面都有显著提高。
1数据来源和预处理
数据来源于《中国统计年鉴（2009年）》，资料时间范围为1978年-2008年。在发展中国家，第三产业主要受人均国内生产总值和第二产业的影响，所以采用的数据有：人均国内生产总值，第二产业的产值比重，第二产业的就业比重。一般来说，在实际应用中，由于所采集的数据跨度较大，为提高训练速度和灵敏性以及有效避开Sigmoid函数的饱和区，一般要求输入数据的值在-1~l之间。通过标准化(y=2*(x-min(x))/(max(x)-min(x))-1)处理，构成一组新序列。
2BP神经网络模型的建立
BP模型实现了多层学习的设想，当给定网络一个输入模式时，它从输入层单元传到隐含层单元，经隐含层单元逐层处理后再发送到输出层单元，经输出层单元处理后产生一个输出模式，这是一个逐层状态更新的过程，称为前向传播，如果输出响应与期望输出模式有误差，不满足要求，则转入误差反向传播，将误差值沿连接通路逐层反向传送并修正各层连接权值和阈值，当各个训练模式都满足要求时，则学习结束。
研究中直接把影响第三产业产值比重的3项指标（人均国内生产总值，第二产业的产值比重，第二产业的就业比重）作为BP神经网络的输入向量，把第三产业产值比重作为输出向量，这样就确定了输入层节点数为3，输出层节点数为1。BP模型中，转移函数常用的有两种：sigmoid函数和线性函数（y=x），sigmoid函数又有两种函数：tansig函数和logsig函数，本研究穷尽了这二种转移函数的搭配组合，测试不同组合对网络性能的影响，结果表明，当输入-隐层为tansig函数、隐层-输出层为线性函数时，效果最好。
若输入层和输出层采用线性转换函数，隐含层采用Sigmoid转换函数，则只有一个隐含层的网络能够以任意精度逼近任何有理函数，所以第三产业产值比重预测模型也只选用一层隐含层来构建网络。在预测中分别组建了隐层节点数从1～25的BP网络，经过大量试算，最后根据试报效果，确定了较为理想的隐层单元数是5。
由于传统神经网络存在不足，因此需对其进行改进，trainbr（Levenberg-Marquardt优化方法与Bayesian正则化方法）函数采用Levenberg-Marquardt优化方法进行网络权值和阈值的最优化搜索，并采用Bayesian正则化方法在网络训练过程中自适应地调节性能函数比例系数y的大小，使其达到最优，并且采用trainbr函数训练后BP网络具有较好的推广能力。
3结果
利用1978年-2003年的第三产业产值比重数据作为训练样本，采用改进BP算法的trainbr训练函数进行训练构建的神经网络，不断调整输入层和隐含层、隐含层和输出层的权值和阈值，达到预定精度，结束训练，然后采用2004年-2008年的第三产业产值比重数据作为检验样本，利用训练好的网络对2004年-2008年的第三产业产值比重进行预测。结果表明训练样本模拟值和实际值的平均相对误差为0.037%，它们的相关系数为0.998297；检验样本预测值和实际值的平均相对误差为1.408%，它们的相关系数为0.732383；无论是训练样本的残差和误差，还是检验样本的残差和误差，都较小，而且它们的相关系数都较高，该方法进行预测时，如2007年我国第三产业产值比重预测值为40.75%，实际值为40.37%，二者相差不大；2008年的预测值为40.83%，实际值为40.07%，相对误差仅为1.9%。
4结论
利用1978年-2003年的数据作为训练样本，建立了基于改进BP算法神经网络的GDP预测模型，并对2004年-2008年进行了预测，通过模型建立和研究可以得出以下结论：
训练样本模拟值和实际值的平均相对误差为0.037%，它们的相关系数为0.998297；检验样本预测值和实际值的平均相对误差为1.408%，它们的相关系数为0.732383；说明预测精度高和泛化能力强。
改进BP算法的神经网络采用Levenberg-Marquardt优化方法进行网络权值和阈值的最优化搜索，并采用Bayesian正则化方法在网络训练过程中自适应地调节性能函数比例系数y的大小，系统的计算速度更快、预测精度更高，应用该方法对我国1978-2008年第三产业的产值比重进行计算和预测，结果比较合理。
改进BP算法的人工神经网络能够捕捉到第三产业产值比重和人均国内生产总值、第二产业的产值比重、第二产业的就业比重之间的高度复杂的非线性函数映射关系，很好地解决了第三产业产值比重预测的难题，为经济政策的制定提供了科学依据，实践证明这种方法具有较大的理论意义和应用价值。
参考文献：
[1]王晓东，薛宏智.基于BP神经网络的股票涨跌预测模型[J].价值工程，2010，29（31）：47-49.
[2]朱刘阳.一种雷达信号自适应盲分离算法[J].价值工程，2010，29（30）：211-212.
神经网络正则化方法范文2
关键词：图像复原；盲复原；逆滤波；神经网络复原
1 图像退化及复原模型
1.1 图像降质的数学模型
图像复原处理的关键问题在于如何建立退化模型。假定输入图像f（x，y）经过某个退化系统后输出的是一幅退化的图像。为了方便讨论， 把噪声引起的退化（即噪声）对图像的影响一般作为加性噪声考虑，这也与许多实际应用情况一致，如图像数字化时的量化噪声、随机噪声等就可以作为加性噪声，即使不是加性噪声而是乘性噪声，也可以用对数方式将其转化为相加形式。原始图像f（x，y） 经过一个退化算子或系统H（x，y） 的作用，然后和噪声n（x，y）进行叠加，形成退化后的图像g（x，y）。图像退化的过程可以用数学表达式写成如下的形式：
g（x，y）=H[f（x，y）]+n（x，y）
n（x，y）是一种统计性质的信息下图表示退化过程的输入和输出的关系，其中H（x，y）包含了退化系统的物理过程，即所要寻找的退化数学模型。
1.2 图像的退化恢复模型
数字图像的图像恢复问题可以看作是：根据退化图像g（x ，y）和退化算子H（x ，y）的形式，沿着逆向过程去求解原始图像f（x ，y）， 或者说逆向地寻找原始图像的最佳近似估计。
2 研究背景与意义
图像复原是数字图像处理技术的一个重要研究方向，在现实生活中，有着非常广阔的应用前景和市场。数字图像处理研究很大部分是服务于数字图像复原的，而运动模糊图像的复原又是图像复原中的重要课题之一，从六十年代起就有人研究它。初期研究的主要原因是对卫星所拍摄的图像进行复原，因为卫星相对地球是运动的，所拍出的图像是模糊的（当然卫星所拍摄图像的模糊原因不仅仅是相对运动而造成的，还有其他原因如大气湍流所造的模糊等等）。美国的喷气推进实验室（JPL）对徘徊者飞行器发回的月球照片进行了图像恢复处理。传统的图像恢复方法可以很好地恢复出来原始图像，但是需要事先知道系统的先验知识（例如系统的点扩散函数）。在先验知识不足的情况下，如何恢复出来原始图像？这就需要模糊图像盲恢复技术。根据不同的应用背景和先验知识，大致可以两种方法恢复两种类型的模糊图像，以满足不同的应用要求。
第一种方法：如何快速恢复模糊图像，进行适时性图像处理？这个技术在实际生活中有着广泛应用。
第二种方法：如何在事先不能确定模糊系统点扩散函数的情况下，恢复模糊图像，改善图像的质量，这就是图像盲恢复的问题。
3 国际国内研究发展和现状
从历史上来看，数字图像处理研究有很大部分是在图像恢复方面进行的，包括对算法的研究和针对特定问题的图像处理程序的编写。数字图像处理中很多值得注意的成就就是在这两方面取得的。
在六十年代中期，去卷积（逆滤波）开始被广泛地应用于数字图像恢复。这一阶段对模糊图像的研究主要是把因相对运动而拍摄的模糊图像复原过来，从而增强人们的判读能力。早期做图像复原研究，主要强调尽可能使模糊图像复原到原貌，增加它的判读性，在此发展了很多的复原方法，诸如：差分复原、维纳滤波等.这些方法各有特点，较好的解决了运动模糊图像的判读问题，但是在应用上均有一定的限制。
虽然经典的图象复原方法不少，但归纳起来大致可分为逆滤波法，或称相关变换法（ inv ersefiltering or t ransfo rm related techniques） 和代数方法（ alg ebraic techniques） 两种。
3.1 传统复原法
3.1.1 逆滤波方法
逆滤波法大致有经典逆滤波法、维纳滤波法、卡尔曼滤波法等. 其中，在傅立叶变换域，经典逆滤波的变换函数是引起图象失真的变换函数的逆变换，其虽在没有噪声的情况下，可产生精确的复原图象，但在有噪声时，将对复原图象产生严重的影响，虽然滤波函数经过修改，有噪声的图象也能复原，但它仅适用于极高信噪比条件下的图象复原问题； 维纳滤波法是通过选择变换函数，同时使用图象和噪声的统计信息来极小化均方复原误差，这虽然在一定程度上克服了逆滤波法的缺点，但是维纳滤波法需要较多有关图象的先验知识，如需要对退化图象进行满足广义平稳过程的假设，还需要知道非退化图象的相关函数或功率谱特性等等，而在实际应用中，要获得这些先验知识有较大的困难，为此，Ozkan 等人在研究图象序列的复原问题时，提出了一种解决空间和时间相关性的多帧维纳滤波法，是近年来维纳滤波法的新发展； 卡尔曼滤波是一种递归滤波方法，其虽可用于非平稳图象的复原，但是因计算量过大，而限制了其实际应用的效果。 Wu 和Kundu 又对卡尔曼滤波方法进行了改进，不仅提高了速度，并考虑了应用于非高斯噪声的情况； Cit rin 和Azimi-Sadjadi 也对卡尔曼滤波方法进行了改进，提出了块卡尔曼滤波方法； Koch 等提出了扩展卡尔曼滤波（ extended Kalmam filter） 复原方法，该方法可以较好地复原模糊类型不相似的退化图象.除了上述的逆滤波方法外，还有参数估计滤波法，它实质上是维纳滤波法的变种. 20 世纪90 年代初，又提出了基于递归图象滤波的自适应图象复原方法及合成滤波方法，它代表了滤波方法新的发展方向. 1998 年Kundur 等人首先明确提出了递归逆滤波（ recursiv e inv er se filter ing ） 算法 ，2000 年Chow 等人又进行了改进，即在代价函数中增加了空间自适应正则化项，从而很好地抑制了噪声，并减少了振铃现象，较好实现了在低SNR 条件下的盲图象复原. 2001 年，Eng 等人结合模糊集的概念，提出了自适应的软开关中值滤波方法，它能在有效地去掉脉冲噪声的同时，很好地保存图象的细节，是一种值得重视的新的图象复原方法。
3.1 2 代数方法
Andrews 和Hunt 提出了一种基于线性代数的图象复原方法。这种方法可能比较适合那些相对于积分运算，则更喜欢矩阵代数，而相对于分析连续函数，又更喜欢离散数学的人的口味。它为复原滤波器的数字计算提供了一个统一的设计思路。代数方法可分为伪逆法、奇异值分解伪逆法、维纳估计法和约束图象复原方法等。 其中，伪逆法，实质上是根据图象退化的向量空间模型来找到引起图象退化的模糊矩阵，但由于模糊矩阵总是很大的，因此在计算上往往不可行； 而奇异值分解伪逆法则是利用矩阵可分解成特征矩阵系列的思想，将模糊矩阵进行分解，由于简化了计算，从而有利于模糊矩阵的估计计算，但在有噪声存在时，经常会出现不稳定的现象； 维纳估计法虽然考虑了噪声的情况，但它仅适合噪声是二维随机过程，且已知其期望和协方差的情况。前面的方法仅把图象看成是数字的阵列，然而一个好的复原图象应该在空间上是平滑的，其在幅度值上是正的，而约束图象复原方法就是将这些因素作为约束条件，如基于维纳估计法和回归技术而提出的图象复原方法就是一种约束图象复原方法，而且通过选取不同的约束参数和回归方法可以得到不同的图象复原算法。传统的图象复原算法或面临着高维方程的计算问题，或要求恢复过程满足广义平稳过程的假设，这就是，使得具有广泛应用价值的图象复原问题没有得到圆满的解决的根本原因。
3.2 神经网络图象复原的方法
神经网络图象复原方法的发展方向自从神经网络图象复原首次提出十多年来，其研究在不断地深入和发展，描述它的现状已属不易，展望它的未来更是困难，况且科学研究具有不确定性. 据笔者判断，如下诸方面是亟待解决的问题，或研究活动已有向这些方面集中的趋势。
3. 2.1小波神经网络用于图象复原将是研究的重点
自1992 年Zhang 提出小波神经网络以来，如今已提出了各种类型的小波网络，且小波与神经网络的结合成了一个十分活跃的研究领域。通过学者们的理论分析和模拟实验表明： 由于小波神经网络具有逼近能力强、可显著降低神经元的数目、网络学习收敛的速度快、参数（ 隐层结点数和权重） 的选取有理论指导、能有效避免局部最小值问题等优点，因此将其用于图象复原是一个值得研究的方向。将小波的时频域局部性、多分辨性等性质，与神经网络的大规模并行性、自学习特性等优点结合起来，不仅将使用于图象复原的小波神经网络具有自适应分辨性，也将使正则化参数的选取更具有自适应能力. 最终使复原图象既能保持图象的细节，又能很好地抑制图象中的各种噪声。
3.2.2细胞神经网络、BP 网络、自组神经网络
值得进一步研究细胞神经网络（ CNN ） 由于其具有易于硬件实现的特点，因而具有很强的商业价值，但由于其自身还有很不成熟的地方，因此值得深入地研究. 其研究方向有： 细胞神经网络理论基础的进一步完善及在此基础上建立细胞神经网络中邻域系统的概念； 与图象数据局部相关性等概念结合起来研究，以建立新的图象复原理论，形成新的图象复原技术。BP 网络对受污染或带噪声的训练样本，不仅能进行正确的映射，且与其纯样本仍相似。 正是BP 网络的泛化能力强，使它在解决图象复原问题时，可能比其他神经网络具有更好的潜在性能。 将BP 网络用于图象复原是很值得进一步研究的.大家知道，人脑的学习方式是“自主的”，即有自组织和自适应的能力的，即人脑能在复杂、非平稳和有“干扰”的环境及其变化的情况下，来调整自己的思维和观念，还能根据对外界事物的观察和学习，找到其内在的规律和本质属性，并能在一定的环境下，估计到可能出现的情况以及预期会遇到和感觉到的各种内容及情况。 自组织神经网络（SONN） 正是基于人脑的这些功能而生成的，由于它具有能从输入的数据中，揭示出它们之间内在关系的能力，因此将其用于“盲图象”的复原将是非常有利的。
3.2.3 需要提出更适合图象复原的新神经网络模型
小波神经网络是为逼近任意非线性函数而提出来的，但为了图象复原的需要，可考虑针对图象复原的特殊情况，提出新的神经网络模型。 如，因为大多数图象是由平滑区域和轮廓细节组成的，其图象数据在平滑区域虽具有较强的相关性，但与轮廓细节相邻的数据应极不相关，所以，提出一种专用于图象复原的“相关性神经网络模型”是必然的期待； 再有，因为多项式具有较广的拟合性和较好的收敛性，所以应提出的“多项式神经网络”，将它们用于图象复原也是值得研究的。
3.2.4 神经网络与其他理论的结合
研究是寻求新模型、新方法的重要途径目前神经网络的研究正由单纯的神经计算转向计算智能，并结合脑科学的研究向生物智能方向发展。 为此，神经网络图象复原的研究也应考虑吸收模糊、分形、混沌、进化计算、信息融合等交叉学科的研究成果。 与模糊系统的结合将是一个重要的研究方向，因为，神经网络与模糊系统有如下很多的相同之处： （ 1） 它们在处理和解决问题时，无需建立对象的精确数学模型，而只需要根据输入的采样数据去估计其要求的决策； （ 2） 在对信息的加工处理过程中，均表现出了很强的容错能力； （ 3） 它们都可以用硬件来实现. 由此可见，将神经网络与模糊系统结合，用于图象复原将是有意义的研究工作。
4 未来展望
图像恢复发展到现在，已经有了许多成熟的算法，但是还是存在许多问题，等待着我们去解决。目前图像恢复的最新发展有：
1. 非稳图像复原，即空间可变图像复原。
2. 退化视频信号的复原问题，以及摄像机拍照图像复原，这是一个需要进一步研究的领域。
3. 运动补偿时空复原滤波，同时将时间相关应用到运动补偿中。
4. “Telemedicine“的出现，远程诊断极大的依赖于远程接受的图像质量，图像恢复在医学领域中有相当重要的作用。
5. 模糊 PSF 的 Identification 仍然是一个困难的问题，尤其在空间可变的 PSF 的估计中。
6. 空间可变恢复方法，可以利用 Wavelets 和 Markov 随机场等方法进行复图像恢复，这是一个具有发展潜力的研究方向。
参考文献
1 冯久超，黄海东. 基于神经网络的盲图象恢复[ J ] . 计算机科学，2000，27（ 1） ： 67～68.
2 Er ler K，Jernigan E. Adaptive image restorat ion using recursive image f ilters [ J ] . IEE E Trans actions on Signal Process ing，1994，42（ 7） ： 1877～1881.
神经网络正则化方法范文3
针对传统多输入多输出（MIMO）支持向量机（SVM）没有考虑多个输出端之间依赖关系的问题，提出了一种新的基于主曲线的MIMO SVM算法。该算法基于所有输出端的模型参数位于一个流形上的假设，首先在现有的多维支持向量回归机（MSVR）的基础上，构建一个流形正则化的优化目标，其中正则项为输出端模型参数到通过所有参数集合中间的主曲线的投影距离；其次，由于该优化目标为非凸，采用交替优化的方法，交替计算模型参数和参数集合的主曲线，直至收敛。采用仿真数据和实际的载荷识别工程数据进行验证，结果表明，与MSVR和SVM单独建模方法相比，该算法可有效提高预测精度和数值稳定性。
关键词：
支持向量机；多输入多输出；主曲线；交替优化；流形正则化
0引言
多输入多输出（MultiInputMultiOutput， MIMO）模型常见于机械制造、动力控制、信道检测等领域[1]，其特点在于同时对多个输出目标进行建模，以便同时获得较好的回归建模效果和较少的耗时。提高MIMO建模的精度有着明确的工程应用价值。
传统的MIMO建模方法是将一个MIMO模型分解为多个子模型，单独进行回归建模[1]。该方法简单明了，但重复建模会增加计算量。神经网络的网络结构决定了它可以同时预测多个输出端，但对于小样本问题，该方法较依赖初值设定，容易陷入局部极值，导致过学习。目前MIMO建模广泛采用的方法是多维支持向量回归机（Multidimensional Support Vector Regression， MSVR）[2]。该算法构建于经典支持向量机（Support Vector Machine， SVM）[3]的理论基础之上，通过在超球空间重定义ε不敏感损失函数，将多个输出端同时纳入风险评估，最终采用迭代变权最小二乘法求解相应的对偶问题，从而得到各输出端的预测模型。该方法可有效适用于小样本MIMO建模问题，目前已成功解决多点载荷识别、脑电源信号定位等问题[4-5]。
与传统SVM等方法相比，MIMO建模的关键在于能否有效利用多个输出端之间的依赖关系，增加模型的信息含量。但是，现有的方法很少考虑到输出端之间的具体关系。例如，尽管MSVR将多个输出端纳入统一的风险函数，但没有明确它们之间具体的依赖关系，这将限制MSVR建模效果进一步的提升。为了解决该问题，本文提出了一种新的MIMO建模算法。该算法首先对各输出端之间的关系进行假设，即所有输出端回归模型的参数位于一个流形上；其次，在现有MSVR的基础上，添加一个流形正则项，该项为输出端模型参数到通过所有参数集合中间的主曲线的平方距离；最后，采用交替优化的方法，求得最优模型参数。据作者文献调研结果，本文为首次将输出端的关系引入到MIMO建模算法中，并采用主曲线而非函数回归来实现该关系。
4结语
提高MIMO建模效果的关键在于有效利用输出端之间蕴含的背景知识，而这需要对输出端之间的依赖关系进行有效的界定和建模。而直接采用回归分析建模，无法有效描绘输出端参数的真实关系。本文假设MIMO输出端的模型参数位于一个流形之上，在现有的MSVR的基础上，构建了基于流形正则化的MIMO算法，并采用主曲线作为低维流形的表示，计算各输出端参数到该流形的投影距离，最终采用交替优化的方法，优化得到最优模型参数，并在仿真数据和圆柱壳振动数据集验证了该算法的有效性。该方法的特点主要是构建了流形正则化的优化目标，因此也适用于其他形式的MIMO SVM算法。
参考文献：
[1]
周欣然， 滕召胜， 赵新闻. 基于LSSVM的MIMO系统快速在线辨识方法[J]. 计算机应用， 2009， 29（8）： 2281-2284.
[2]
SNCHEZFERNNDEZ M， DEPRADOCUMPLIDO M， ARENASGARCA J， et al. SVM multiregression for nonlinear channel estimation in multipleinput multipleoutput systems[J]. IEEE Transactions on Signal Processing， 2004， 52（8）：2298-2307.
[3]
VAPNIK V N. The nature of statistical learning theory[M]. New York： Springer， 1995.
[4]
MAO W T， TIAN M， YAN G R. Research of load identification based on multipleinput multipleoutput SVM model selection[J]. Proceedings of the Institution of Mechanical Engineers， Part C： Journal of Mechanical Engineers Science， 2012， 226（5）： 1395-1409.
[5]
李建伟， 汪友华， 吴清. 基于多维输出支持向量回归机的脑电源定位[J]. 中国组织工程研究与临床康复， 2009， 13（17）： 3256-3259.
[6]
张军平， 王珏. 主曲线研究综述[J]. 计算机学报， 2003， 26（2）： 129-146.
[7]
KGL B， KRZYZAK A， LINDER T， et al.Learning and design of principal curves[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2000， 22（3）： 281-297.
[8]
齐红威， 张军平， 王珏. 主曲线异常检测及其在股票市场中的应用[J]. 计算机研究与发展， 2005， 42（8）： 1306-1311.
[9]
CAWLEY G C， TALBOT N L C. Preventing overfitting during model selection via Bayesian regularisation of the hyperparameters[J]. Journal of Machine Learning Research， 2007， 8： 841-861.
神经网络正则化方法范文4
[关键词] 支持向量机 时间有效性 技术指标 短期预测
证券市场具有高收益与高风险并存的特性,关于证券市场分析与预测的研究一直为人们所关注。但是由于影响市场的因素众多,而且它们之间的相互作用是非线性和时变的,因此建立完整的动力方程来描述其内部相互作用因素或状态变量之间的关系是非常困难的,也是证券分析研究领域的热点之一。如果将股票价格序列看作系统的输出,则可以缓解无法建立市场动力方程的遗憾。作为系统的输出,价格序列毕竟是影响市场各因素相互作用的结果,因此,价格序列必定承载着关于系统状态变量的信息。
众多股市分析方法的应用效果都难如人意。常用的预测方法有时间序列法、灰色模型法、证券投资分析方法、专家评估法等。随着非线性科学的发展,人们提出了神经网络方法,通过综合系统的不确定性和工程经验,来解决复杂的设计问题。神经网络方法存在最终解过于依赖初值,存在过学习的现象,训练过程中存在局部极小问题,且收敛速度慢,网络的隐节点难以确定等问题。
支持向量机 (Support Vector Machine,简称SVM)方法基于统计学习理论,由Vapnik等人在90年代中期提出。支持向量机目前已成为机器学习界的热点,成功应用于分类和回归问题。当前,SVM已经在模式识别领域取得了很好的应用效果,广泛应用于文本识别、语音识别、人脸识别。近年来,人们发展了回归型支持向量机,它可以按任意精度逼近非线性函数,具有全局极小值点和收敛速度快的优点。与神经网络方法相比有显著的优越性,且在非线性时间预测方面取得很好的效果。
最近的研究指出股票市场受宏观经济形势、行业周期、公司财务等多方面因素影响,股票市场是一个复杂多变的系统。很多的因素影响着股票价格,在一定时间宏观经济变量和股市技术指标被证明对股票价格走势有一定的预测作用。比如:市场容量和信心被证明在预测期货交易价格的作用。
股价和成交额作为基础性技术指标,许多复杂的技术指标都是根据它们转换而来。本文以日收盘价和日成交价作为研究对象,根据输入变量时间长短不同,设计9组方案。通过SVM建模,进行9组对比试验,将试验结果指标化,找到预测精度最高的那组试验。根据精度最高的试验组,确定收盘价、成交额在影响未来股价方面的最佳时刻。该时间点可以反映股价波动的短期周期性
支持向量机理论
支持向量机
支持向量机广泛应用于函数回归,模式识别以及密度估计等问题中,与传统的神经网络不同,SVM应用的是结构风险最小化原则,而不是经验风险最小化原则,即SVM寻求的是一般误差上界的最小化而不是单纯训练误差的最小化,由于SVM 具有模型的自动选择(参数,基函数的位置等),可以将训练转变为二次规划问题(有全局最优解)以及对于小样本良好的学习能力等特性"引起了越来越多研究者的兴趣。SVM在回归(Support vector regression, SVM)尤其是股票价格等非线性时间序列预测中的应用近年来颇受人们的关注。
SVMs回归函数的形式如下:
式中是一个高维的特征空间(feature space)中的函数,系数b是一个常数。 和b通过将下式最小化来求解。
其中第一项是经验风险,第二项是正则化的风险,是全部的风险。参数C称为正则化参数,调整它的大小可使上述两种风险取得折衷。函数称为损失函数。损失函数有多种形式,常用的损失函数是不敏感损失函数,即
式中称为管道大小,它反映函数逼近的精确程度。参数C和 都是使用者定义的自由参数。
为求解和b,引入正松弛变量将公式()转换为最小化的原规划问题。
St.
最后,对上面的约束条件引入拉格朗日乘子,可以得出方程(2)中的决策函数:
St.
公式(8)中,是拉格朗日乘数。它们满足如下公式:
公式(12)中是核函数。核函数的值等于两个向量在特征空间的内积。常用的多项式核函数的表达式为:
对于核函数我们选择高斯径向核函数:。高斯核函数是普遍使用的核函数,因为它对应的特征空间是无穷维的,有限的数据 样本在该特征空间中肯定是线性可分的。
实际预测过程中使用SVMs回归方法对经过预处理过的样本数据进行训练,计算出支持向量xi,参数。将它们代入(1)式,再代入经过预处理的测试集样本,就可以计算出映射到[-1,1]区间的预测值,把这个结果作逆映射到原来的区间就得出了所求的预测值。
实证研究
试验设计
图1 SVM 预测流程图
数据处理:
预测过程要经过选择研究样本,选取数据;数据预处理;设定模型参数;输入训练数据,生成模型;预测输出预测值;计算评价指标并对结果进行分析等过程。整个过程见图1。
对象选择:
本文以深证综指作为研究对象。指数短期波动期间,研究收盘价和成交量在指数预测中的时间有效性。收集日收盘价、日成交额、涨跌比率作为研究数据。训练数据集总共有120组数据(2009.07.03到2009.10.25),预测数据集共有55组数据(2009.10.28到2010.03.23)
表1 股价数据集
Xij表示输入向量,Yij表示输出值。Xij表示第i(1~9)个方案,第j天的输入向量。Yij值是第i个方案第j天的涨跌比率。ai表示第i天的收盘价,vi表示第i天的成交量。
数据预处理:
数据预处理中采用的办法是转换数据的尺度,将全部数据线性映射到[-1,1]的区间内。之所以这样做,输入变量不同其数值的大小也不同,只有将它们都映射到相同的区间内,才有利于衡量它们对因变量的影响。经过这样处理以后,需要在数据后处理时把[-1,1]上的数据逆映射到原来的区间之内。线性转换公式如下:
参数的选择:
SVM回归预测的参数选择面临二个问题:一是决定核函数的类型,二是选择合适的自由参数c、g、p。通常如果函数是光滑的,高斯核函数有优良的逼近效果。在对数据没有更多的附加信息。因此,本实验中采用了高斯核函数。公式如下:
不同的输入向量,对c、g、p的取值会产生不同的影响。在输入变量确定的前提下,所有的方案都使用gridregression.py寻找回归最优参数。所有方案的参数确定标准一样,避免不同的参数选择过程对预测结果产生影响。这样各个方案的预测结果只受有输入向量的影响。通过将预测结果对比,找出最佳的输入向量。
评价指标:
预测结果采用2个指标。第一个指标v1是平均绝对差。第二个指标v2是方向一致性指标。其中v1是对预测值偏离实际值的一种度量,它的值越小表示预测的结果越准确。v2则能衡量出预测价格方向的正确比率,它的值则是越大越好。指标的计算公式如下:
其中是实际值,是预测值。
实验结果分析
下图2可以明显看出方案7、8的预测结果都为负值,方案9的预测结果都为正值。在实际情况中连续涨(跌)10日是极其少见的。更何况是连续涨(跌)55天在实现情况下不可能的。方案7、8、9更能体现是在股价中期预测,本文研究的是股价短期波动。所以剔除方案7、8、9。
图2 实际值与方案7、8、9的预测值
图3 实际值与方案1、2、3、4、5、6的预测值
表4显示:方案3的v1值(0.524015)最小,说明方案3的预测精度最高。同时方案3的v2值(0.537)最大,说明方案3预测股价涨跌方向的能力是最强的。方案3是以提前3天的收盘价、成交额作为输入向量x3j(aj-1,vj-1,aj-2,vj-2 aj-3,vj-3)。试验结果显示当天的收盘价、成交额对预测未来3天的股价有一定的指导意义。当天收盘价、成交额在预测第4、5、6、7、8、9天股价方面就失去有效性,甚至对预测结果产生负面影响。
结论
从技术分析的角度分析,试验证明通过分析提前3天的收盘价,成交额可以有效预测当前的股价。该结论反映股价的短期波动周期为3天。方案1、2、4、5、6的预测结果跟跟方案3的预测结果相差不是很大,说明股价的短期波动周期不是很明显。在实现生活中股价的影响因素是多方面的比如:宏观经济、行业周期、企业的经营水平等等。从不同的角度分析股价的波动的时间有效性是不一样的。股价的周期有一个季度、一年、4年、8年、10年等等。技术分析在预测价格短期波动是比较有效地方法。以后的研究重点:
(1)研究不同影响股价的因素如:宏观因素、行业周期、企业财务状况等对股价影响的时间有效性。综合中期、长期指标,再对各个指标时间周期进行组合分析。
(2)日开盘价、日最高价、日最低价等技术指标对股价也有一定的影响作用。分析它们在股价预测中的时间有效性。
尽管试验结果取得一定的成效,但还有很多可以改进的地方。研究不用指标的时间有效性,并对各个周期进行组合分析,能对股票市场投资有很好的指导意义。
参考文献:
[1]胡蓉:多输出支持向量回归及其在股指预测中的应用,计算机技术与发展[J],2007,10
[2]吕淑萍 赵咏梅:基于小波神经网络的时间序列预测方法及应用[J]. 哈尔滨工程大学学报,2004, 25(2):180-182
[3]高玮:基于进化神经网络的股市预测研究[J] 计算机科学.2004,31(B09): 191-l93
[4]Vapnik V. The nature of statistic learning theory. New York:Springer;1995
[5]Matilla-Garcia,G.,&Arguellu,C.(2005).A hybrid approach based on neural networks and genetic algorithm to the study of protability in the Spanish stock market. Applied Economics Letter, 12,303-308
[6]Black,A.J.,&Mcmillan,D.G. Non-linear predictability of value and growth stocks and economic activity.Journal of Business Finance and Accounting, (2004).31,439474
[7]Zhang Xue-gong(张学工). Introduction to Statistical Learning Theory and Support Vector Machines(关于统计学习理论与支持向量机)[J]. Acta Automatica Sinica(自动化学报), 2000,26(1):37-47
[8]Liu Jiang-hua(刘江华), Cheng Jun-shi (陈佳品). Support Vector Machine Training Algorithm Review (支持向量机训练算法综述)[J]. Information and Control (信息与控制), 2002,31(1):45-50
[9]Cao Li-juan, Tay Francis E H. Financial Forecasting Using Support Vector Machines [J]. Neural Comquting &Applications, 2001, 10(2): 184-192
神经网络正则化方法范文5
0 引 言
随着信息化进程的不断加快，计算机网络已在各个领域得到广泛应用，并给人类的生产、生活带来了极大的便利和巨大的经济效益;但与此同时，计算机网络安全问题却日益突出，如何客观、科学地评价计算机网络安全已成为计算机网络安全研究领域的重要课题。针对此问题，国内许多学者都进行了相关研究并提出了多种评价方法，如层次分析法、模糊综合评价法、灰色评价法等主观评价方法[1]。主观评价法在确定权重时随意性大，受专家的经验和知识等因素影响，很难得出被广为认可的结论。鉴于此，很多学者提出了基于神经网络的评价方法，并取得了较好的评价效果[2?5]。
但是，神经网络方法存在一些固有的缺点，如网络的结构不好确定、收敛速度慢、易陷入局部极值、过学习、推广能力不强和训练需要大量数据样本等问题。支持向量机(Support Vector Machine，SVM)是V.Vapnik等人于20世纪90年代在统计学习理论的基础上发展起来的一种新型机器学习算法，其克服了神经网络方法很多固有的缺点[6]。它通过结构风险最小化准则较好地解决了以往许多机器学习方法中高维数、非线性和小样本等难题，具有训练时间短、全局优化、泛化性能好、适应性强和抗干扰能力强等优点，在预测、模式识别、系统辨识、故障诊断、优化控制和数据挖掘等领域得到了广泛的应用[7]。支持向量回归机(Support Vector Regression，SVR)是支持向量机在回归领域的应用，被广泛应用于各种预测问题并取得了非常理想的效果。因此，本文利用支持向量回归机来解决计算机网络安全评价问题。
1 计算机网络安全评价指标体系的构建
建立科学、合理的评价指标体系是进行计算机网络安全评价的基础和前提，影响计算机网络安全评价的因素有很多，并且多种因素相互影响。评价指标过多或过少都会影响评价的效果，评价指标过多，存在重复性，会受干扰;评价指标过少，可能所选的指标缺乏足够的代表性，会产生片面性。因此，构建计算机网络安全评价指标体系需要遵循指标体系构建的有关原则。
1.1 指标体系构建的原则
(1) 系统性原则。指标体系应能全面反映计算机网络安全的本质特征，指标体系的整体评价功能大于各分项指标的简单总和。应注意使指标体系层次清楚、结构合理、相互关联、协调一致，要抓住主要因素，以保证评价的全面性和可信度。
(2) 一致性原则。评价指标体系应与计算机网络安全评价目标一致，从而充分体现评价活动的意图，所选的指标既能反映直接效果，又要反映间接效果。
(3) 独立性原则。同层次上的指标不应具有包含关系，保证指标能从不同方面反映计算机网络安全的实际情况。
(4) 科学性原则。以科学理论为指导，以计算机网络安全要素以及其本质联系为依据，定性与定量分析相结合，正确反映计算机网络安全整体和内部相互关系的特征。
(5) 可比性原则。计算机网络安全评价的指标体系可比性越强，评价结果的可信度就越大。评价指标和评价标准的制定要符合客观实际，便于比较。
1.2 计算机网络安全评价指标体系本文在深入分析计算机网络安全影响因素的基础上，根据指标体系构建的原则，从管理安全、逻辑安全和物理安全角度出发，构建了如图1所示的计算机网络安全评价指标体系。为了便于分析计算，管理安全、逻辑安全和物理安全三个二级指标分别用A，B，C代替，二级指标下的三级指标分别用A1～A4，B1～B9和C1～C6代替。
2 计算机网络安全评价指标的规范化和安全等级
在进行计算机网络安全评价前，必须对通过各种方法得到的指标值进行规范化处理。指标包括定性指标和定量指标。一般来说，定性指标和定量指标的规范化方法有所不同。对于定性指标，由于其可能取值有多种，一般是通过建立一一映射或定性等级量化表来进行规范化;对于定量指标，一般是把指标值映射为上、下限分别为1和0的实数，这种数学变换关系是一个从实数集[R]到[0，1]的函数，称为指标的规范化函数。定性指标也叫模糊性指标，通过专家打分可以将定性指标转化为确定指标，这种方法在实践中经常被采用。定性指标的规范化方法最终归结为两种途径：一是转化为确定的定量值;二是采用模糊数或区间数的形式表示。本文采取专家打分的方式来评价定性指标，然后将各分值规范化为0～1之间的数值。对于定量指标，考虑到指标体系中的定量指标均为效益型指标，因此可以利用式(1)进行规范化处理。
3 支持向量回归机算法
4 基于支持向量回归机的计算机网络安全评价
模型
以上构建了计算机网络安全评价指标体系，提出了指标的规范化方法和安全等级的划分方式，在此基础上，可以构建如图2所示的基于支持向量回归机的计算机网络安全评价模型。
5 仿真实例
为了验证所构建的基于支持向量回归机的计算机网络安全评价模型的有效性，收集了10组计算机网络安全相关数据作为样本，如表2所示。其中前8组数据作为训练样本，后2组数据作为校验样本。采用Matlab 7.0.1软件并调用支持向量机工具箱，编写基于支持向量回归机的计算机网络安全评价模型，通过对训练样本进行训练，最终将支持向量回归机的相关参数分别设置为：不敏感值[ε]=0.001，正则化参数[C=1 000，]径向基核函数的宽度参数[σ=8]。
经过计算，可以得出如表3所示的5～8组训练样本的预测误差，从中可以看出，所建立的基于支持向量回归机的计算机网络安全评价模型的训练效果非常好，4组训练样本的绝对误差均为0.000 1，平均绝对误差仅为0.022 7%，准确性较高。为了检验所建立的评价模型的泛化能力，对后2组样本进行预测，所得结果和误差也列于表3。通过计算得到校验样本的平均绝对误差为0.005 8%，远小于文献[4]提出的PSO?BP神经网络模型所预测的平均绝对误差0.022%，也小于文献[3]提出的改进型BP神经网络模型所预测的平均绝对误差0.01%，这说明本文所建立的评价模型具有较强的泛化能力，预测的准确性较高。
6 结 论
如何科学有效地对计算机网络安全等级进行评价，并根据评价结果对安全等级较低的计算机网络采取有效措施以提高安全等级，最大限度地降低安全风险和可能带来的损失，是当前计算机网络安全研究领域的热点问题。本文针对以往计算机网络安全评价模型尤其是神经网络评价模型存在的不足，建立了计算机网络安全评价指标体系，提出了一种基于支持向量回归机的计算机网络安全评价方法。仿真实例的预测结果表明，建立的基于支持向量回归机的计算机网络安全评价模型具有较强的泛化能力和较高的预测精度，为计算机网络安全评价提供了一种新的评价方法。
神经网络正则化方法范文6
关键词：桥梁损伤识别振动神经网络空间小波分析曲率模态静载试验汽车动力响应单元模态综述
中图分类号： TU997 文献标识码： A 文章编号：
一引言
通过恰当的方法及时了解桥梁的当前状态，特别是及时发现危及桥梁安全的损伤，是桥梁安全评价的核心问题，一些传统的结构检测方法都以局部无损检测技术为主，尽管目前这种技术可以对某些缺陷进行较为精确的定位，探查，甚至定量分析。但对于隐秘构件的损伤以及大型复杂接哦古的检测则仍是力不从心。以下具体介绍了几种主要的桥梁损伤识别的方法，各种方法具有较强的针对性，利用不同的实验依据对桥梁进行损伤检测都能得出较为精确的实验结果，对于以后桥梁损伤识别方法研究的发展具有良好的指导性作用。
二桥梁损伤识别方法
1 基于振动的桥梁损伤识别方法
随着使用年限的增加，工程结构中桥梁的长期检查仍然是定期人工检查，鉴于定期人工检查的局限性，基于振动的桥梁损伤识别方法逐渐引入现代桥梁损伤识别中来。基于振动的损伤识别方法按照所利用的特性量是否使用结构模型可以分为有模型识别方法和物模型识别方法：无模型损伤识别的方法是通过分析比较直接从振动响应的过程或者相应的傅里叶谱和其他变换得到的特征量，从而识别损伤的方法；有模型识别方法按照求解问题的方法可以分为动力指纹分析法或模式识别方法和模型修正法两类。
2 基于神经网络的桥梁损伤位置识别方法
大型桥梁的损伤检测过程可以分为损伤报警、损伤区域定位、具体损伤构件和损伤程度的识别三个阶段，对桥面结构损伤区域的定位常用的方法是用损伤区域定位指标如莫泰曲率指标、模态柔度指标等来指示损伤区域。由于这些结构指标对测量数据的数量过多的要求，使得这些方法在大型工程结构上的实际应用受到较大的限制，因此神经网络技术在损伤检测中的使用价值得到进一步体现。
3 桥梁损伤检测的曲率模态方法
根据结构动力学理论可知，结构损伤的存在会影响结构的动态特性一般会降低结构的刚度、增大阻尼、改变振动频率与振动模态、引起结构边界条件的变化等，是结构显示出与正常结构相区别的动态特性，因此可以利用结构系统各种模态参数的变化作为特性标识量来诊断结构的损伤。利用曲率模态法进行结构损伤检测之前首先要解决损伤标识量选择问题，用于损伤识别的物理量最好是局域量，并且需要满足两个基本条件：一是对局部损伤敏感；二是位置坐标的单调函数。在试验中必须控制噪声的控制问题，当位移模态噪音小于1%时，噪音的影响不太明显，超过1%时，则损伤位置很难检测出来。
4 利用动静力测量数据的桥梁结构损伤识别方法
模型修正理论的结构损伤在结动力学中最大的困难是结构模态测试数据不完备、结构模型噪声和测量的误差，为借助更多反映结构状况的实测信息，基于振动模态数据的子结构修正法提出来一种联合运用动力和静力量测数据的损伤识别方法，这一方法客服了工程实测中自由度不足的困难。利用静动力测量数据的桥梁损伤识别方法中首先是一种利用结构振动模态数据修正结构刚度的子结构算法（包括基于振动模态数据的子结构修正、基于静力位移量测值的子结构修正和推广的子结构修正法），然后将这一方法推广为同时利用振动模态数据和静力位移量测技术的损伤识别方法。运用缩阶的理论分析模型解决实测自由度不足的问题。最后从对一悬臂梁的损伤仿真试验中证明了利用静动力测量数据的桥梁损伤识别方法在现有测试条件下能够较好的识别结构的损伤，实验结果有较高的可信度。
5 基于过桥汽车动力响应的桥梁损伤识别方法
根据Yang等分析过桥汽车的动力响应可以反映桥梁参数的变化，本文将汽车在车-桥系统中作为传感器的作用的动力响应在时域识别桥梁的损伤。主要是将桥梁等效为等长的欧拉梁单元，汽车等效为单自由度3参数模型，江桥梁各单元抗弯刚度的减小定义为损伤因子。然后根据损伤因子采用最小二乘法和正则化方法可用测试得到汽车加速度响应识别桥梁损伤。实验结果表明，损伤识别的结果对汽车参数变化比较敏感，汽车过桥行驶速度和采样频率对迭代次数有显著影响；损伤识别误差随着桥面不平顺和测试的噪音的增加而加大。
6 基于单元模态应变能法的桥梁结构损伤识别方法
当前国内外对桥梁结构损伤识别的方法有静力法和动力发。基于单元模态应变能法师根据桥梁结构损伤前后动力特征变化的分析，导出单元损伤引起的结构模态振型的改变系数，然后运用结构局部损伤因子法建立单元损伤敏感的指示因子，从而推导出单元损伤前后的单元模态应变能的变化，并对损伤单元与未损伤的单元之前的关系进行了研究。最后以单元模态应变能的变化率作为损伤定位的判别参数，对桥梁结构进行损伤识别。基于单元模态应变能法的桥梁损伤识别对系杆拱桥局部损伤进行识别有较好的识别效果，对于其他桥梁应该在知道损伤前、后的模态振型和单元刚度振型等信息的前提下才可以运用单元模态应变法对其进行损伤识别诊断。
三结束语
桥梁损伤识别方法的研究涉及了振动理论、传感技术、测试技术、系统识别理论、信号分析处理、数据通信、计算机、随机过程和可靠度等多门学科，是一个系统工程。经过多年来的积极探索，国内外许多知名人士已经去得了很多成果。但是由于桥梁结构受到许多不确定因素和复杂工作环境的影响，以及对桥梁在使用年限的工作特性的变化缺乏全面深入的了解因此当前取得的成就和研究还仅仅处于一个基础性探索阶段，距离实用性的系统规范还有很大的差距，因此对于桥梁损伤识别方法的研究还需要新的理论突破及现代科技、材料、信息技术、经济等的进步来促进桥梁损伤识别方法的发展。
参考文献
[1]唐和生，小波基带宽的变化对结构损伤识别的影响[J].同济大学学报（8）
[2]冯忠绪。混凝土搅拌理论与设备[M] .北京：人们交通出版社
