前言：中文期刊网精心挑选了神经网络降维方法范文供你参考和学习，希望我们的参考范文能激发你的文章创作灵感，欢迎阅读。
神经网络降维方法范文1
关键词：主成分分析；混合蛙跳算法；BP神经网络；帕金森氏病；分类
中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2013）04-0861-05
Based-on PCA of SFLABP Neural Network Model in Application of Parkinson Disease’S Classification
ZHANG Zhi-hao，TANG De-yu
（College of Medical Information Engineering，Guangdong Pharmaceutical University，ZhongShan 528458，China）
Abstract：For the shortcomings of BP neural network which is low learning efficiency and is easy to trap into local optimum， according to these problems， a new BP neural network model optimized by Shuffle Frog Leaping Algorithm based on Principal Component Analysis is proposed. Using Principle Component Analysis to extract the features of high dimensional data， the input variables； the bias of BP neural network are optimized by Shuffle Frog Leaping Algorithm and then build the classification model of Parkinson's disease based on SFLABP neural network. At last， taking the data of Parkinson from UCI for example， the experiment result demonstrates the new model is better than the traditional BP neural network.
Key words：principal component analysis （PCA）； shuffle frog leaping algorithm （SFLA）； BP neural network； Parkinson； classification
随着智能计算的不断发展，人工神经网络由于其自身的适应能力和学习能力，在医疗诊断上的应用越来越广泛，其中BP神经网络[1]是人工神经网络中应用最广的一种神经网络，但由于其具有学习效率低、参数选择敏感、网络结构难确定、易陷入局部收敛等缺点，给实际应用带来了一定的困难，尤其是当网络输入变量过多时，网络结构更复杂，网络训练负担过重，学习效率骤降，将高维数据在不影响较多期望的前提下降维，网络的学习效率才会有所提高，BP网络的实际应用也将更有价值。
混合蛙跳算法，是2003年由Eusuff 和Lansay提出的一种基于启发式搜索的全局优化群体智能算法，它具有全局搜索能力强、参数少、原理简单易实现等特点，将混合蛙跳算法与BP网络结合，利用SFLA的全局搜索优化BP网络的结构参数，可以有效解决BP网络易陷入局部最优等问题。
为了解决BP网络中的缺陷，该文利用了主成分分析法降维与SFLA 全局搜索能力强等优点，网络输入使用PCA降维，网络参数使用SFLA优化，提高了BP网络的学习效率，实验证明，新模型更优。
1 主成分分析
主成分分析是由霍特林于1933年第一个提出的，主要是根据降维的思想，在损失较少信息期望的前提下，将多个相互关联的指标转化为几个综合指标的多元统计分析方法。其主要计算步骤为：
设有m个指标，n个对象的各项指标组成了原始数据矩阵
1）对进行标准化处理，使各项指标的均值为0，方差为1，具有可比性，即令：
（1）
2）计算各指标的相关系数矩阵R与R的特征值
（2）
3）确定主成分的个数
计算各个主成分的方差贡献率与累计贡献率，一般取累计贡献率达的特征值所对应的第一、第二、…，第p个主成分。
（3）
4）计算主成分的因子载荷矩阵I
其中为λ的特征向量。 （4）
5）根据因子载荷矩阵，确定各主成分表达式，得到各主成分得分。
2 混合蛙跳算法
混合蛙跳算法[2]，在模拟青蛙群体寻找食物时，将蛙群分为几个子种群，每个子种群以及每只青蛙觅食的思想相互传递相互影响，将全局信息混合交换与局部信息深度搜索相结合，局部深度搜索能够快速有效地在一个特定区域内寻优，加快寻优速度；而全局混合交换可以避免个体陷入局部最优，使得算法能够跳出局部最优，不断靠近全局最优。算法的基本流程[3]如下：
1）初始化种群X。确定青蛙的数量F、种群以及每个种群青蛙的个数m，n，与青蛙最大步长。
2）随机产生初始青蛙，计算各个蛙的个体适应度值，并按个体适应度值的大小进行降序排列，并记录最优解。
3）将青蛙进行分组，将青蛙分成m个子种群，每个子种群有n只青蛙，分组规则如下：
（5）
即将第1只青蛙放入第1个子种群，第2只青蛙放入第2个子种群，…，第m只青蛙放入第m个子种群，第m+1只青蛙放入第1个子种群，第m+2只青蛙放入第2个子种群，依此类推，直至全部青蛙分组完毕。
4）对每一个分组进行模因进化，即局部搜索最优。进化过程如下：
a）找出该分组中个体适度值最差与最优的个体
b）对个体适度值最差的个体进行更新，更新策略为：
i.蛙跳步长更新： （6）
ii.位置更新： （7）
如果优于，则=，否则，再重复i，ii步骤，若此时的还比差，则随机产生一只新的青蛙代替
2）重新将进化完的各个分组进行混洗，对青蛙进行重新排序和分组，得到最优解。
3）重复计算（3）（4）（5）直至满足迭代条件为止。
3 BP神经网络
BP神经网络[1]是一种单向传播的多层前馈网络，其主要特点是信号前向传递，误差反向传播。其拓扑结构如图所示：
由图1可知，BP神经网络是一种具有三层或三层以上的神经网络，包括输入层、隐含层和输出层，层与层之间多采用全连接的方式，可以被看成是一个从输入到输出的高度非线性映射，即：
以典型的3层BP神经网络结构为例，转移函数采用Sigmoid函数，， （8）
则：
其中为权值，为阈值，为隐含层输出，为输入层节点数，为输出层节点数，
4 PCA-SFLA-BP神经网络模型
标准的BP网络算法学习效率低，收敛速度慢。当输入层的节点数较多时，也易陷入“维数灾”的问题，同样会影响其收敛的速度。
主成分分析[4]基于降维的思想，可以减少BP网络陷入“维数灾”的问题；混合蛙跳算法是一种群体智能优化算法，通过个体间的协作与竞争来实现在多维空间中对最优解的搜索。
因此，在进行BP神经网络训练时，我们使用PCA对网络的输入层节点数进行降维，使用混合蛙跳算法改进优化BP网络的权值和阈值，从而提高网络的学习效率[5][6]。其中适应度函数定义如下：
式中，N为网络输入节点数，为网络预测输出值，为样本实际输出值，q为用于网络训练时输入输出的数据维数，s为网络输出节点数。
整个模型流程图如图2所示：
5 实验结果与分析
为了验证模型的有效性，选用UCI机器学习数据库中的Parkinson数据集作为测试，该数据集有195个样本，由Little于2007年所建，主要针对31位病人，用生物医学仪器进行约6次的发音测试后记录而成，共有23个字段，其中有22个字段为测试的属性，如：MDVP、FO、Jitter、Shimmer、RAP、PPQ、HNR等一些声学参数，1个类标号（status），其值为0和1，1表示为确定病例。其中1有147例 ，0有48例。
上述数据集两类中分别随机选取100例和36例作为网络训练，其余的作为网络测试。并对网络输出重新定义，即将类标号进行了处理，其中[0 1]表示0，[1 0]表示1。
隐含层节点数l采用公式：其中n为输入层节点数，m为输出层节点数，a取1-10。
（11）
构建BP神经网络n-l-m，且本文中混合蛙跳算法的各参数分别为：青蛙规模F=20，子种群数量（模因组组数）m=5，每组中蛙的数量n=4，模因进化迭代次数Ne=10，全局迭代次数max gen=10，相当于总迭代次数为在这种平台上得到了本次实验结果。
5.1利用主成分分析选取网络的输入变量
将UCI中Parkinson[8]数据集的22个属性作为原始数据，按照前面主成分分析的步骤对原始数据进行主成分分析。得到特征值碎石图见图3，累计方差贡献率见表1。由表1可确定前4个特征值的累计方差贡献率已大于80%，所以选取4个主成分，同时也可得出各主成分的表达式与主成分得分，将主成分得分作为网络的输入变量。其中之一的表达式如下：
5.2构建SFLA-BP的帕金森病分类模型
利用主成分得分作为网络的输入，即输入层为4，分别以隐含层为4，6，8，10，输出层为2构造SFLA-BP神经网络的Parkinson分类模型，隐实验结果以随机某10次结果的平均值，其中得到某次实验（隐含层节点数为10）的均方误差图见图4，结果见表2。
由图4可得，应用了主成分分析法，减少网络的输入变量个数，网络的结构得到了简化，以及应用了SFLA优化BP的网络参数，学习率得到提高，网络训练的次数减少，由表2可知：网络的预测效果比较精确，模型有效可用。
5.3 预测结果比较
为了更好地对新模型与传统BP模型进行比较，该文多做了以下两个实验，对未经过主成分分析的数据，建立三层BP神经网络模型与SFLA-BP模型，实验结果仍然以随机某10次结果的平均值，其中得到某两次实验的均方误差图见图5，6，结果见表3，4。
可见：对于Parkinson数据集，PCASFLABP分类模型训练速率与准确率都优于SFLABP网络，更优于传统的BP网络，能较好地改善BP网络。
6 结束语
通过对BP神经网络的研究，该文提出的模型明显优于单纯的BP网络。该模型通过主成分分析对数据集进行降维，SFLA全局优化网络参数，较好地解决了BP神经网络参数复杂、易早熟的问题，得到了较好地分类效果，将对Parkinson诊断方面有较大的帮助。
参考文献：
[1] Haykin S.神经网络原理[M].北京：机械工业出版社，2004.
[2] Eusuff M M， Lansey K E. Optimization of water distribution network begin using shuffled frog leaping algorithm[J].Journal of Water Resources Planning and Management，2003，129（3）：210-225.
[3] 王晓笛，何灿.混洗蛙跳算法的研究[J] 电脑知识与技术，2011，7（19）：4661-4664.
[4] 许新征，丁世飞，杨胜强，等.煤与瓦斯突出的PCA-BP神经网络预测模型研究[J].计算机工程与应用，2011，47（28）：219-222.
[5] 智晶，张冬梅，姜鹏飞.基于主成分的遗传神经网络股票指数预测研究[J].计算机工程与应用，2009，45（26）：210-212.
[6] 余华，黄程韦，张潇丹，等.混合蛙跳算法神经网络及其在语音情感识别中的应用[J].南京理工大学学报，2011，5（35）：659-663.
神经网络降维方法范文2
关键词:邮件过滤;预处理;特征选择;神经网络集成
中图分类号:TP393文献标识码:A文章编号:1009-3044(2010)01-171-03
The design of Spam Filtering System Based on Neural Network Ensemble
LIU Bao-ping, LI Ai-jun
(Information Management,Shanxi University of Finance & Economics,Taiyuan 030006,China)
Abstract: It is a very important function to deal with spam in the email services.On the basis of expressing the standard email corpus as the form of vector space model,and reducing the emails dimension,this paper uses neural network ensemble to construct the email classifier,then to filter the email;this method experiments on the spam corpus,it proved that the method of the spam filtering is effective.
Key words: email filtering;preprocess;feature selection;neural network ensemble
随着Internet的普及,垃圾邮件问题日益严重。垃圾邮件不仅占用网络带宽,降低整个网络运行效率,给用户时间和精力造成极大浪费,而且可能侵犯收件人隐私权,成为黑客利用的工具,对现实社会造成危害。对电子邮件进行过滤是有效对付垃圾邮件的主要手段。
目前,很多研究者已经对垃圾邮件的过滤方法进行了研究,其主要的邮件过滤方法有:1)黑白名单过滤,提供实时的黑白名单服务。其优点是节省带宽,缺点是对垃圾邮件识别率不高。2)基于规则的过滤方法,设置一些规则对邮件进行评估,邮件特征符合规则则加分,分数达到预先设定的阈值就判定为垃圾邮件。优点是易理解、推广,缺点是依赖于不断地更新邮件规则。3)基于统计的过滤方法,是针对邮件内容进行过滤的一种机器学习的方法,过滤正确率高,速度快,被认为是垃圾邮件处理技术中很受欢迎的一种方法[1]。这种基于机器学习的过滤方法已成为当前研究的主要方向,已有的算法包括贝叶斯分类方法、神经网络方法、KNN方法、Winnow方法等。但如何进一步提高邮件分类的准确率成为新的研究目标。
要提高邮件分类的准确率,分类器设计就成为邮件过滤过程中极其重要的环节。目前基于机器学习的分类方法已有多种,其中,基于神经网络的分类器是邮件分类中比较有效的方法[2]。但是,神经网络容易限于局部极小值,造成邮件的误分。而神经网络集成是用有限个神经网络对同一个问题进行学习,集成在某输入示例下的输出,由构成集成的各神经网络在该示例下的输出共同决定[3]。该方法可以显著地提高神经网络系统的泛化能力[4]。因此,采用神经网络集成的方法设计邮件分类器将会进一步提高邮件分类的准确性,本文就此方面进行研究。
1 基于神经网络集成的垃圾邮件过滤
1.1系统模型
本邮件过滤系统(如图1)主要是针对电子邮件内容进行识别、过滤。电子邮件过滤系统主要由邮件预处理、特征选择、分类器设计三个环节组成。本过滤系统中对邮件的处理过程:首先对邮件的原始语料库进行预处理,把标准邮件集处理成了机器学习算法可以直接处理的向量空间模型的形式;然后利用基于信息增益(IG)的属性选择方法对其进行降维处理,选取合适的维数;最后利用神经网络集成算法分别进行分类分析。
1.2 邮件预处理
为了便于邮件的过滤,对邮件数据集要进行预处理。
1.2.1 基于向量空间模型的邮件表示
本系统通过对邮件的原始语料库进行预处理,把标准邮件集处理成了机器学习算法可以直接处理的向量空间模型的形式。具体处理步骤如下:
1) 初始情况下,先定义一个特征项集合,把邮件语料库中所有出现的词都作为特征项集合的候选特征,输出一个特征项集合的字典。
2) 扫描语料库,把语料库中的每一封邮件都表示成维数(维数等于字典的长度)相等的向量形式,并以稀疏矩阵的形式存储(降低内存使用量)。
3) 移除那些在语料库中出现次数不大于4次(低频词),以及在每篇邮件中都出现的候选特征。这是因为低频词在语料库中出现的次数太少,对分类几乎不起作用;在每篇邮件中都出现的高频词,不具备区分类别的能力。这一步的特征移除可以加速特征选择过程,进一步降低内存需求。
4) 输出经步骤3)处理后的以向量空间模型表示的邮件数据集。
1.2.2 特征选择
为了能有效地分析垃圾邮件的特征,要对邮件数据进行降维。对于垃圾邮件常用的特征选择方法有:文档频率(Document Frequency)、信息增益(Information Gain)、互信息(Mutual Information)、 ?字2统计量(EHI)等。其中,信息增益被认为是最有效的属性选择方法之一[5]。因此,本文采用信息增益的方法对邮件数据集进行降低维处理,取信息增益值最大的前M个词为特征词。将邮件数据集进一步表示成M维的向量空间形式。信息增益表征的是特征词t在语料库中出现前后的信息熵之差,具体到分为垃圾邮件(spam)和正常邮件(ham)的二类问题,IG的公式如下:
其中,C1和C2分别代表合法邮件和垃圾邮件的类别;表示Ci类邮件在语料库中所占的比率;P(t)和P(t)分别表示特征词t 在语料中出现的概率和未出现的概率;表示t出现在Ci类中的概率;表示t未出现在Ci类中的概率。
1.3 分类器设计
在众多关于邮件分类的研究中,主要以单分类器为主,对过滤垃圾邮件效率的进一步提高又一定的局限,而集成分类器分类效果的贡献是非常显著的,因此采用集成的方法可以有效地提高垃圾邮件的过滤。
集成学习目的是利用模型之间的差异性提高学习系统的泛化性能。集成实现方法的研究主要集中在两个方面,即如何生成集成中的各个个体以及怎样将个体的输出结论组合。在生成集成中个体方面,最重要的技术是Boosting[6]和Bagging[7]。Boosting和Bagging是两种用来提高学习算法准确度的方法,大量关于Boosting和Bagging的实验和应用已证明了这两种方法的有效性。结论的结合的方法有投票法,加权投票法以及朴素贝叶斯法等等,其中,投票法包括绝对多数投票法或相对多数投票法。通常,在对分类器进行集成时,大多采用相对多数投票法,即若输出结果为某一分类的神经网络的数目最多,则判定属于该分类。
神经网络在很多领域已得到成功的应用,其网络模型在学习过程中容易陷入局部极小值被认为是它的主要缺点之一。然而,Perrone和Cooper[8]却认为,这一特性对神经网络集成泛化能力的提高起到了重要作用。因此神经网络集成用于邮件过滤系统,能够提高过滤系统的性能。
1.3.1集成系统中个体分类器的生成
经过实验,系统选取RBF神经网络作为基分类器,个体分类器的生成则采用基于样本选择的Boosting和Bagging。
1) Boosting算法的步骤见表1所示。
2 )Bagging算法的主要步骤见表2所示。
1.3.2 集成系统中结论的合成
Bagging采用多数投票方法进行假设的综合,有研究表明,简单的、不加权的投票方法是鲁棒的。 Boosting对每个基分类器的分类结果根据其分类错误率加以权值,然后对加权后的结果投票,最常用的权值计算方法是分类正确率或其变形。
2 实验及结果分析
2.1 语料选择
本文选取垃圾邮件的PU系列语料 作为实验数据。PU系列语料由希腊学者Androutsopoulos提供,其来源于提供者某个时段收到的真实电子邮件。该语料去掉了邮件的附件、HTML标记等,只保留了邮件主题和正文的纯文本内容,为保护提供者的隐私,语料采用加密的形式,用不同的整数替代邮件中的每个词干。
2.2 评价指标
垃圾邮件过滤系统的性能主要通过以下几个指标来评价:
1) 召回率(Recall):即垃圾邮件检出率,反映了过滤系统对垃圾邮件的发现能力,召回率越高,“漏识别”的垃圾邮件就越少。
2) 正确率(Precision):即垃圾邮件检对率,反映了过滤系统对垃圾邮件的判对能力,正确率越大,误判垃圾邮件的可能性越小。
3) 精确率(Accuracy):对所有邮件做出正确判断的概率。
4) 错误率(Error rate):对所有邮件做出错误判断的概率。
5) F值:将召回率和正确率综合成一个指标,是召回率和正确率的调和平均值。
此外,在垃圾邮件过滤的实际过程中,我们容易想到,将合法邮件判为垃圾邮件比将垃圾邮件判为合法邮件的代价要大,本文中用混淆矩阵(Confusion Matrix)反应此代价。
2.3 实验结果与分析
有研究者[9]用实验证明了,PU1语料、PU2语料、PUA语料效率最好的维数分别为1000维、100维、200维。据此,本文将PU1语料、PU2语料、PUA语料分别处理成了1000维、100维、200维的向量空间模型形式。然后将处理好的数据采用的RBF神经网络、AdaBoost(目前最流行的Boosting算法[10])、Bagging等分类算法对实例进行分类,采用十折交互验证法(10-fold-cross-validation)作为评估方法,得到如下实验结果,如图2、图3、图4和表3所示:
图2PU1上的试验结果 图3PU2上的试验结果
上述实验结果表明,对同一个语料库,神经网络集成算法较RBF神经网络算法,提高了精确率和F值,而正确率在提高的同时召回率有所下降,召回率在提高的同时,正确率有所下降,这是判别指标本身的性质。而且,从表3的混淆矩阵,可以看出AdaBoost算法和Bagging算法较RBF算法来说,将正确邮件误分为垃圾的邮件的概率也减少了,即代价减少了。
整体来说,评价指标值提高了,主要的原因就是神经网络集成将经过单个训练的神经网络的输出结果加以合成,采用了多数表决的方法,提高了邮件过滤的性能。实验结果表明神经网络集成方法对于垃圾邮件过滤的是非常有效的。
3 结论
该文重点研究了采用神经网络集成对垃圾邮件进行过滤的方法,同时对邮件过滤系统的数据进行了预处理,经过实验,与单分类器的过滤性能进行比较,结果证明了神经网络集成方法可以进一步提高垃圾邮件过滤的准确率。今后的工作重点是研究邮件多标签分类方法。
参考文献:
[1] 蒋秋香.垃圾邮件过滤技术的发展与现状[J].网络与通讯安全,2007(09).
[2] 黄国玉,龙润生.基于神经网络的邮件分类识别模型研究[J].南京大学学报,2008(06).
[3] Sollich P,Krogh A.Learning with ensembles:How overfitting can be useful.In: Touretzky D,Mozer M,Hasselmo Meds.Advances in Neural Information Processing Systems 8,Cambridge,MA:MIT Press,1996.190-196.
[4] 周志华.神经网络集成[J].计算机学报,2002(01).
[5] Y.Yang.A Comparative Study on Feature Selection in Text Categorization[C].Proceedings of the Fourteenth International Conference on Machine Learning,1997.
[6] Schapire R E.The strength of weak learnability.Machine Learning,1990,5(2):197-227.
[7] Breiman L.Bagging predictors.Machine Learning,1996,24(2):123-140.
[8] Perrone M P,Cooper L N.When networks disagree:Ensemble method for neural networks.In:Mammone R J ed.Artificial Neural Networks for Speech and Vision,New York:Chapman &Hall,1993.126-142.
神经网络降维方法范文3
【关键词】 PPP项目； 风险评价； 主成分分析法； BP神经网络
中图分类号：F224；F283 文献标识码：A 文章编号：1004-5937（2016）07-0056-04
一、引言
PPP（Public-Private-Partnership）项目，即公私合营项目，是指政府与私人企业以特许经营协议为前提合作建设的城市基础设施项目。近年来公私合作投资和经营的PPP项目在国内外已经开展，主要是减轻政府财政压力、提高运作效率、分散风险等，PPP项目越来越受到社会重视，具有积极意义[ 1 ]。然而，建设过程中，参与主体多、项目成本高、建设周期长的特点也使得其面临的风险因素多而杂，因此，能否准确定位风险因素并对其进行精准评价关乎PPP项目的成功与失败。
二、文献综述
国外对PPP项目风险评价方法的研究起步较早，也较为成熟。Cheng J H（2001）[ 2 ]建立了基于德尔菲法、模糊数学方法以及AHP法的风险评价模型，将其用于选择台湾地区BOT交通项目的融资模式；Thomasctal（2006）[ 3 ]提出了运用故障树法和德尔菲法的PPP项目风险评估方法框架。
国内学者对PPP基础设施项目风险评价方法的研究始于21世纪初，陈敬武等（2006）[ 4 ]采用模糊综合评价方法，使PPP项目的风险评价更加有效；张玮、张卫东（2012）[ 5 ]利用网络层次分析法（ANP）对主要风险因素进行分析评价；贾丽丽等（2014）[ 6 ]采用熵权法对风险因素赋权后运用灰色关联理论进行风险评价，以确定各风险承担主体。
纵观现有文献，国内外学者对PPP项目风险评价的研究多是从案例研究、统计分析及建立评价方法的角度来展开的，且对PPP项目的风险评价所用方法多集中于层次分析法、模糊综合评价法、灰色关联法等，这些方法适用于指标较少、指标间信息独立的情况。本文将统计学领域的主成分分析法和预测领域的BP神经网络进行结合，对PPP项目的风险因素进行评价分析，以期为我国PPP基础设施项目风险管理提供新思路。
三、PPP基础设施项目风险评价指标的确定
本文采用历史数据法即广泛查阅国内外相关文献及书籍并对其所涉及的PPP基础设施项目风险因素进行整理，同时综合考虑项目风险的来源及风险作用的影响范围，将PPP基础设施项目风险影响指标划分为7个一级指标和36个二级指标，据此建立PPP基础设施项目风险评价指标体系（如表1所示）。
四、PPP基础设施项目风险评价方法的建构
本文将主成分分析法和BP神经网络相结合，提出了PPP基础设施项目风险评价方法。该方法具体实施过程如图1。
五、PPP基础设施项目风险评价方法的实证
（一）数据样本获取
本文选择山西省拟建的16个PPP基础设施项目，通过收集项目信息并进行相关问卷调查，请工程建设领域的10位专家分别对16个项目的36个二级风险指标进行评分（本次评估按照风险可能性很大、比较大、中等、不大、较小五个等级，分别在8―10、6―8、4―6、2―4和0―2区间打分），并取10位专家的平均分作为各风险指标分值。具体评分结果见表2。
（二）主成分分析法对指标降维
主成分分析法是从变量间的相关关系出发，将多个变量（或指标）综合成少数几个变量（或指标）的方法[ 7 ]。根据主成分分析法降维步骤，本文采用SPSS软件对表2的原始数据进行分析，最终获得的方差表及成分矩阵表如表3、表4。
同理可得另外五个主成分的表达式。为了取消各维数据间的数量级差别，避免因为输入输出数据数量级差别较大而造成网络预测误差较大，可利用最大最小法并通过MATLAB算法实现（见表5）。其中，xmin为数据序列中的最小数；xmax为数据序列中的最大数。
（三）BP神经网络的训练与测试
BP神经网络是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络类型之一[ 8 ]。本文采用单隐层的BP神经网络进行风险评价，由于经过主成分分析后的输入样本为11维的向量，因此输入层共有11个神经元。根据经验公式及试凑法，确定中间层有23个神经元。本文在对风险进行评价时，考虑了风险很大、比较大、中等、不大、较小五种可能，故而将网络输出设置为5维的输出数据（具体见表6），因此，输出层共有5个神经元。据此建立11×23×5的BP神经网络结构。
按照BP神经网络的一般设计原则，将中间层神经元的传递函数设为S型正切函数。由于输出已被归一化到[0，1]区间，故将输出层神经元的传递函数设定为S型对数函数。网络所用的训练算法为可变学习速率的梯度下降算法，对应函数为traingda。并设定：训练学习率为0.05，训练动量因子为0.9，训练步数为 1 000次，训练目标差为1e-5。
本文选择前14个项目为训练样本，训练过程中，网络经过243次迭代就完成训练。为测试网络效果，将15―16项目数据输入，结果表明：项目15―16的风险等级分别为：中等，不大。该结果同专家打分结果一致，说明该网络可以很好地进行风险评价。
为了进一步说明经过主成分分析后的方法较单一BP神经网络更加有效，本文将原始数据归一化后，建立了36×16×5的BP神经网络结构，并采用相同的训练次数和训练目标差对该网络进行训练，之后再对15―16项目进行网络预测。表7展示了测试过程中采用PCA-BP神经网络和单一BP神经网络的误差对比。
实验结果表明：PCA-BP神经网络方法是一种高效的PPP项目风险评价方法，且其优于单一BP神经网络评价方法。在收敛速度方面，PCA-BP要经过4秒共354次收敛，而单一BP神经网络要经过54秒共1 853次收敛；在精确度方面，PCA-BP方法的误差保持在2%以下，而单一BP神经网络预测则误差幅度较大。
六、结论
本文运用主成分分析和BP神经网络组合的方法来进行PPP项目风险评价，研究表明：该方法较单一BP神经网络风险评价方法更为有效，原因在于：（1）利用主成分分析法筛选出相互独立且包含众多信息的新指标作为BP神经网络的输入端；（2）区别于已有文献，本文将SPSS运算后得出的成分矩阵的每一列除以相应成分的特征值的平方根作为主成分的系数；（3）将神经网络预测目标设定为5维向量，使得评价结果更加接近实际。
当然，本文还有一些不足之处。首先，中间层神经元个数的选择具有一定的主观性；其次，本文只选取了山西省拟建的16个PPP基础设施项目，样本数量受到了限制。以上问题是未来工作时需重点考虑的，同时也为接下来的进一步研究提供了思路。
【参考文献】
[1] 朱向东，肖翔，征娜.基于三方博弈模型的轨道交通PPP项目风险分担研究[J].河北工业大学学报，2013（2）：97-101.
[2] CHENG J H. A view of public and private sectors for Taiwan's BOT transportation project financing using fuzzy multi-criteria methods[J].Proceedings of the 10th IEEE International Conference on Fuzzy Systems. Australia，The University of Melbourne，2001，12（2）： 356-359.
[3] THOMAS A V， SATYANARAYANA N.Kalidindi，modeling and assessment of critical risks in BOT road projects[J].Construction Management and Economics， 2006，24（4）：407-424.
[4] 陈敬武，袁志学，黄耕，等.PPP项目风险的模糊综合评价方法研究[J].河北工业大学学报，2006（5）：46-50.
[5] 张玮，张卫东.基于网络层次分析法（ANP）的PPP项目风险评价研究[J].项目管理技术，2012（10）：84-88.
[6] 贾丽丽，和鑫，王辉.城市轨道交通PPP融资模式风险评价研究[J].石家庄铁道大学学报（社会科学版），2013（4）：29-33.
神经网络降维方法范文4
关键词：因子分析 神经网络 人才评价 电力企业
一、引言
技能人才是电力企业人才的重要组成部分，科学评价人才是促进人才成长、提升企业人力资源管理水平的关键。长久以来，技术技能人才的评价更多地局限于职称评定、职业技能鉴定和竞赛比武等，随着对评价技术认识的不断深入，传统评价手段暴露出信效度不高、程序复杂、成本高昂等不足。这些一定程度上影响了人才评价的基础性、导向性作用，也制约了人才评价在更大范围、更深层次上的发展和应用。大数据技术的出现为解决上述问题提供了一种可能性。随着互联网、云计算、移动应用等科技的发展，基于大数据的特定领域技术将成为现代大型企业的关注焦点。通过建立有效的数学分析方法，对庞大的、历史的、全面的数据进行有效分析，有望促使人才评价技术不断优化和改善。
总体来看，我国在基于大数据人才评价方面的研究还处于起步阶段。李红光等以层次分析法为基础建立数学模型对人才进行评价（李红光，杨晨，2009）；石珊提出以基本素质和工作业绩相结合，现场能力和理论知识相结合的技能人才评价方法（石珊，2013）；吕凤军针对技能人才的特点构建指标体系，利用AHP层次分析法对各指标进行了权重的确定进而计算评价等级（吕凤军，2012）；邢洁等将遗传算法与BP神经网络相结合构建评价模型取得了一定效果（邢洁，刘芳，2012）；张洪燕用熵值法对指标进行筛选然后用结构方程模型的方法对评价指标体系进行实证分析（张洪燕，2012）；陈苏超等运用模糊层次分析法对三级评价指标进行筛选，利用模糊神经网络模型对人才进行评价（陈苏超，薛华，2014）。可见，目前在建立人才评价指标体系是对相关数据的利用和挖掘比较有限，聘请相关专家对人才评价指标进行评定增加了成本；在建立评价模型时，多数研究者通过确定各指标权重得出人才评价结果，这种线性模型要求对各指标精确评分，往往只有行业内经验丰富的人力资源专家才能做到（王媛，马小燕，2006）。基于神经网络的评价模型也往往由于原始数据处理不充分或参数不合理导致结果不理想。
本研究充分考虑与技能人才评价相关的数据指标，采用因子分析法进行指标变量构建，充分利用全量数据的特性，挖掘潜在的相关指标，使指标的选择更加客观。然后经过模糊化处理与变量转换，并以L-M优化算法代替梯度下降法进行神经网络的训练，最终得出技能人才的评价结果。
二、评价指标选择
1.数据采集
作为高风险、高投入的技术密集型企业，电力企业对技术技能人才有着较高的要求。要想客观高效地构建技能人才评价指标体系，体现大数据技术在该领域应用的优势，就必须尽可能多地采集相关数据，并通过一定的技术方法找出对人才评价有潜在影响的指标。为了避免遗漏并保证数据采集的系统性，本文将技能人才评价所有相关的数据进行了分类，简要示例见表1。采集的初始数据基本涵盖了对评价结果有影响的因素，从而构建全量数据集。
2.数据预处理
为了便于计算，并符合神经网络的输入要求，这里将字符型变量变换为数值型变量，然后用S（Sigmoid）函数将变量取值映射到[0，1]区间。通过引入模糊语言变量将属性指标进行量化。若为实数域上的模糊集，其三角隶属度函数如下：
缺失值用该变量取值的中位数代替。根据现有的历史数据，每个样本数据均对应于一个评价等级。样本集基本涵盖了以往技能人才评价的全部信息，据此训练出的神经网络模型可最大限度拟合人才评价的非线性过程，从而得到接近最优的评价结果。
3.评价指标的确定
对于技能人才的评价是一项复杂的系统工程，应从多方位、多角度、多层次对其进行考核与评估（李淼淼，2011）。传统的评价体系构建往往是根据层次分析法（AHP）确定各个参与评价的指标。本研究初步建立的评价指标体系主要根据电力行业技能人才定义的内涵及外延采集全量范围的数据，提取变量后用因子分析法确定参与人才评价建模的指标或指标组合。因子分析法把初始变量表示成各个因子的线性组合，可将现有的变量变成少数几个新的变量进入后续的神经网络学习，同时保证新变量几乎带有原来所有变量的信息，从而在有效降维的同时提高了评价模型的客观性与准确度。最终确定的参与模型评价的指标将由数据集决定。
经过因子分析，将能发现原始数据中的共性因子，挖掘潜在的对人才评价有较大影响的指标，并实现有效降维，从而降低了后面神经网络的结构复杂度，一定程度上提高了模型效率与精度。
三、评价模型的建立
1.确定神经网络模型结构
神经网络模型是一种数学方法，其本质是模拟人类实际的神经网络，由大量的神经元按照某种规律连接而成的复杂网络系统（孟倩倩，2015）。技能人才评价是一种典型的非线性过程，神经网络则能有效地拟合这种过程，完成输入到输出的非线性映射。由因子分析法确定的评价指标几乎代表了与技能人才评价相关的全量数据，用S函数处理之后可作为BP神经网络的输入，神经网络的任务是经过训练后，实现对技能人才的评价。其总体结构图如图1所示。为了简化神经网络结构，防止训练时间过长或陷入局部最优并出现过拟合现象，采用多个神经网络分别训练不同类别样本的策略，并采用L-M优化算法代替梯度下降法。
四、实证分析
总体来看，某电力企业人才总量相对充足，但人才结构不够合理，高端技术技能人才相对匮乏。技能人才的结构性失衡一方面说明培养机制有待改善，另一方面，说明评价选拔方法也有待优化。近年来，某电力企业积极探索新模式，尝试新技术的应用，在技能人才评价方面开展了大量工作。根据目前技能人才评价现状，以岗位胜任力为基础，参考表1的思路采集与技能人才评价相关的全量数据。
1.数据预处理
根据第二部分提出的评价指标选择方法，首先将原始数据进行初始指标提取后用模糊化方法进行量化，然后根据公式对指标取值进行计算得到相关矩阵。本文选取了300条数据进行试验，因子分析简要结果如下：
共提取了5个公因子（主成分），其成分矩阵如表2所示。
为了更利于解释所得因子的逻辑意义，增加了因子旋转分析，并生成了旋转空间的成分图，如图2（前三个成分）：由此可看出各个初始变量在不同成分变量上的权重。这也从侧面反映了不同变量之间的逻辑关系，如：专业知识得分、素质测评平均和平均作业效率三个变量联系紧密，组成了成分2的主要权重。这种方法一方面筛选了主要变量，另一方面降低了数据维度。在本例中原始数据共27个变量，涵盖了表1中基本数据、考评数据、行为数据等三大部分。因子分析后生成5个主要变量并在每个原始变量上取不同权重值。
2.神经网络训练
因子分析在保留初始指标信息量的同时找出变量间共线性，简化输入指标数量，减小了神经网络的结构复杂性。经过上述步骤的处理，神经网络输入变量为五个，其中每个变量值为各个原始变量的加权，模型实际输出变量为对应的评价等级，由第三部分2中所述方法计算得到，模型的期望输出值对应于数据样本集中每条数据的评价等级。确定输入输出及期望值后，按上述训练过程进行迭代计算。
3.模型评估
为了直观反映模型效果，采用clementine进行仿真计算。经过反复尝试，将该神经网络最优迭代次数设置为950，经过950次的迭代后结束训练。数据评价预测准确率为89.3%，如下图，其中正确预测267例，预测错误32例，且错例中评价等级为中的被错判成差与良各6例；评价等级为良的有9例被错判为中，评价等级为优的全部预测正确。由此说明该模型对正向等级预测效果较为稳定。
下列图示是对模型的性能评估（以评价结果 “中”为例）。F1为信息增益百分比（Gain）图，指的是信息不确定性的减少量。F2为功效点（Lift）图。它是将每个分位点中成功数占记录数的百分比与在训练样本中成功数所占百分比做比较。对于一个好的模型来说：Gains 图将陡峭地升高到100%然后渐渐变得平缓并一直保持下去，而一个较差的模型将从较低的左端以接近斜对角线上升到右端；Lift图描述的是与不利用模型相比，模型的预测能力提升的程度。一个性能较好的模型，其曲线应该从左端高于1.0处开始，能够短暂保持在一个高度稳定的水平上，到图像右端时突然急剧地减小到1.0。性能较差的模型，整个图像中曲线将一直围绕在1.0附近。
具体到本研究中，如果以评价等级“中”为例来对模型的性能进行评估，其中下面两图横坐标均为百分位点，如20百分位，它表示在所有测量数据中，测量值的累计频次达20%。F1纵坐标为信息增益百分比（Gain）。Gain分布的20百分位表示有20%的评价样本数据小于约70%的信息增益，从曲线的整体走势来看，说明信息增益提升非常快，模型区分数据的能力比较强，分类效果明显。F2纵坐标为功效点（Lift）。Lift的走势从左端的4.0处开始，短暂的稳定在3.5左右后急剧减小到1.0。说明与不利用模型相比，本研究的模型预测能力有较大的提升。
整体来说，该机器学习模型较为可靠。相比于传统方法，该评价模型采用因子分析法构建指标体系，模型性能较高，评价结果较准确。
五、结语
本研究在简要分析传统人才评价方法不足的基础上，结合电力行业技能人才的特点与大数据技术，首次将BP神经网络模型引入电力企业的技能人才评价，介绍了一种基于数据模型的技能人才评价方法。该方法以某电力企业为背景，根据技能人才的内涵及特征广泛采集与评价有关的数据并提取指标变量，用因子分析法构建评价指标体系，在最大限度保留全量数据信息的基础上有效精简了建模指标。然后采用L-M优化算法的BP神经网络学习样本数据进而得到技能人才评价模型。解决了经典神经网络评价模型由于原始数据处理不充分或参数不合理导致结果不理想的问题，同时，也解决了传统人才评价方法对相关数据的利用和挖掘比较有限的不足，使人才评价的结果更客观，降低操作成本。当需要对技能人才进行评价的时候，评价指标数据经过处理后输入训练好的模型中即可得到评价结果。相较于传统方法，该评价模型更加准确客观，提升了人才评价工作的效率。有望为今后企业高技能人才的评价、评级提供科学有效的分析手段，具有较强的应用价值与广泛的应用前景
参考文献
[1]李光红，杨晨.高层次人才评价指标体系研究[J].科技进步与对策，2009（4）：186-189
[2]石珊.基于AHP法的重庆市高技能人才评价体系研究[J].现代经济信息，2013（2）：376-377
[3]李光红，杨晨.高层次人才评价指标体系研究[J].科技进步与对策，2009（4）：186-189
[4]吕风军.基于多层面分析的高技能人才评价指标体系构建[J].企业经济，2012（6）：56-58
[5]邢洁，刘芳.基于遗传神经网络的天津滨海新区人才竞争力评价[J].科学管理研究，2012，30（4）：97-99
[6]张洪燕.基于熵值法和SEM 的高层次外贸人才评价指标体系研究[J].江苏科技大学，2012
[7]陈苏超，薛华.基于模糊神经网络的高层次创新型科技人才的评价[J].太原理工大学学报，2014，45（4）：420-424
神经网络降维方法范文5
关键词:人工神经网络;故障诊断;水泵
中图分类号:TU
文献标识码:A
文章编号:1672-3198(2010)04-0295-02
1 人工神经网络理论应用于水泵故障诊断研究的理论意义
采用人工神经网络(ANN)技术解决机械故障诊断问题的主要着眼点在于:
(1)ANN的大规模分布式并行处理能力,适于解决复杂的诊断问题。
(2)ANN具有较强的非线性处理能力,适宜于解决故障诊断中复杂的非线性模式识别问题。
(3)ANN具有任意复杂映射的强有力的逼近能力,适宜于解决故障领域中的预测与控制问题。
水泵工作故障往往表现为工作平稳性恶化、振动加剧以及噪声增大,这往往又是衡量机器制造质量和工作性能的重要指标。本文以某型号离心泵为对象,通过测取故障振动信号来进行故障诊断。
水泵转子由于制造误差、装配不当或在不适当的条件(载荷、等)下使用,常会发生以下故障:①转子不平衡;②不对中;③油膜涡动。而这些故障将会使轴承的旋转精度降低,产生振动、噪声,增加轴承旋转的阻力,最终将使轴承受到阻滞或卡死,造成整个工业系统的失效。振动中不平衡、不对中以及油膜涡动占整个故障发生率的80%。因此对上述故障进行诊断具有非常重要的意义。
神经网络之所以适合于故障诊断,是因为神经网络具有以下优越性:自组织和自学习能力可以根据对象的正常历史数据训练神经网络,然后将此信息与当前测量数据进行比较,以确定故障;联想记忆神经网络具有滤出噪声及在有噪声情况下得出正确结论的能力,可以训练神经网络来识别故障信息,使其能在噪声环境中有效地工作,这种滤除噪声的能力使得神经网络适合在线故障检测和诊断;非线性映射能力神经网络对于高维空间模式识别和非线性模式识别问题的分类精度高,具有分辨故障原因及类型的能力,这为实现故障诊断奠定了基础。因此,神经网络理论在故障诊断领域显示出了极大的应用潜力。本文将新兴的神经网络理论应用于水泵的故障诊断和状态检测,以某型号水泵的实测数据为例,对神经网络模型进行训练分析,取得了令人满意的结果,具有实际应用价值。
2 人工神经网络应用于水泵故障诊断技术的实现
2.1 样本数据的获取
实验采用便携式Dasylab测试系统进行测试,在现场对三种故障进行模拟,将数据信号存储在磁盘中,得到水泵三种故障:(1)转子不平衡;(2)转子不对中; (3)油膜涡动的时域曲线和频域曲线。对各个故障的频域曲线,提取了五个不同频率的幅值作为描述水泵故障的特征值,并把这组特征值作为输入量。
2.2 特征提取
要从样本中提取对诊断故障贡献大的有用信息,这一工作就是特征提取。特征提取就是利用已有特征参数构造一个较低维数的特征空间,将原始特征中蕴含的有用信息映射到少数几个特征上,忽略多余的不相干的信息,从数学意义上讲,就是对一个n维向量X=[x1.x2,…,xn]T进行降维变换成低维向量Y=[y1,y2,…,yn]T,m
由于水泵设备总是运行在噪声、电磁干扰等环境中,在振动信号分析与处理方法中,常用快速傅立叶(FFT)变换对振动信号进行频谱分析。
2.3 样本数据的预处理
原始样本数据不宜直接作为神经网络输入,那会使网络连接权值相差极大,使网络输出性能变得不稳定。因此在输入网络前通常需要将数据进行预处理。为了一开始就使各变量的重要性处于同等地位,神经网络学习和测试时要对提取的数据进行归一化处理,即:令
x′i=xi-xminxmax-xmin(1.1)
xi――不同频率下的幅值
xmin――最小幅值xmin=min(xi)
xmax――最大幅值xmax=max(xi)
这样,网络所有输入都在[0, 1]内。
2.4 水泵故障诊断神经网络模型结构
由于故障机理(故障征兆和故障原因之间的关系)往往隐含于故障实例之中,通过一些故障实例(称为故障样本)对神经网络进行训练学习,可以建立起系统的故障诊断模型,而故障诊断的推理规则隐含于神经网络的网络拓扑结构和网络权值之中。
多层前馈神经网络的输入和输出之间的关系,可以看成是一种映射关系,这种映射是一个高度非线性映射,如果输入节点数为L,输出节点数为N,网络是从L维欧氏空间到N维欧氏空间的映射。三层神经就已经能够逼近任意函数了,因此,水泵故障诊断神经网络采用三层结构即输入层、输出层和隐含(中间层)。通过有监督的训练方法训练网络权值。
(1)输入层设计。
特征参数组成特征向量,特征向量作为网络输入。所以,特征参数选取的正确与否直接影响到网络的性能。
通常,选取的方法应该通过理论分析、专家经验、试验找出对水泵性能影响较大,同时对各种故障都有较明显反应的变量作为特征参数,然后将这些特征参数组成特征向量,经过数据的预处理,作为BP网络的输入。第二章通过水泵故障机理的分析可以发现5个参数在故障情况下变动明显。因此,本文选取以上5个参数作为BP网络的输入参数。
输入层中神经元节点的个数对应着上述状态特征描述参数矢量或数组。通过对水泵故障的分析,提取了频域曲线中五个不同频率的幅值作为描述水泵故障的特征值,并把这组特征值作为输入量,所以水泵故障诊断神经网络的输入单元为5个。
(2)输出层设计。
网络输出向量,通常是具体问题的目标结果。本文的目的是判断某一状态下处于何种故障,输出层中神经元节点的个数对应于神经网络要识别的故障模式矢量或矩阵。本故障诊断神经网络需要对不平衡、不对中和油膜涡动三种故障进行识别。因此水泵故障诊断神经网络的输出为3个单元。
如以上所述,BP神经网络的输入神经元有5个,输出神经元有3个。隐层神经元数目是由训练样本数目决定的。
(3)中间层设计。
中间层数及其神经元节点的个数与输入的技术特征参数的复杂程度及所需识别的故障模式种类有关。当输入模式和输出模式相当不同时,就需要增加中间层,形成输入信号的中间转换。处理信号的能力随层数的增加而增加,如果有足够的中间层单元,输入模式也总能转换为适当的输出模式。一般来说,还没有任何理论根据采用两层以上的中间层。对大多数的实际问题来说,一层中间层即三层网络己经足够了。根据经验,采用两层以上的中间层几乎没有任何益处。采用越多的中间层,训练时间就会急剧增加,这是因为中间层越多,误差向后传播的过程计算就越复杂,使训练时间急剧增加。另外中间层增加后,局部最小误差也会增加,网络在训练过程中,往往容易陷入局部最小误差而无法摆脱,网络的权重难以调整到最小误差处。
根据试验的需要和具体的分析,本研究所建立的网络为一层中间层,确定中间层以后的一个重要问题是选择适当的中间层处理单元。可以说,选用中间层单元数往往是网络成败的关键,因为中间层处理单元数选用太小,则网络所能获取的用以解决问题的信息太少,难以处理复杂的问题;但若中间层处理单元数过多,不仅使网络的训练时间急剧增加,难以在人们所能接受的时间内完成训练,更重要的是过多的中间层处理单元还可能出现所谓“过度吻合”问题。也就是说,如果网络具有过多的信息处理能力,甚至把训练集中一些无关紧要的非本质的东西,也学的惟妙惟肖时,则网络就难以分辨数据中真正的模式。
一般来说,中间层单元数可根据下式确定,
n1=n+m+α
式中n1――中间层单元数 m――输出层单元数 n――输入层单元数
α――1-10之间的整数
本文中,m取3,n取5,根据上面公式中间层单元数n1取5。从而该水泵故障诊断神经网络结构如图所示。
图1
2.5 神经网络关键程序实现
(1)创建网络。
使用newff()函数创建网络,网络参数设置如下:
隐藏层神经元设置为5,输出层神经元个数为3,根据神经网络的要求和所要达到的网络输出目的,选择输入层到隐藏层间的传递函数为tansig,即S型的正切函数,隐藏层到输出层间的传递函数为logsig型函数,即为S型的对数函数。
使用训练函数trainlm来训练网络。
(2)设置训练次数。
将训练次数设置为1000次。
(3)设置学习效率。
学习速率决定每一次循环训练中所产生的权值变化量,用η表示。η较大时,权值的变化量就较大,学习速率比较快,但有时会导致振荡。η较小时,学习速率慢,然而学习过程平稳。这样,在实际的学习过程中,可以将η值取为一个与学习过程有关的变量,并且在学习刚开始时η值相对大,然后随着学习的深入,η值逐渐减小。在一些简单的问题中,η可取为一个常数,满足0
(4)网络训练。
使用学习样本和目标向量训练网络,P和T分别设为训练样本向量和目标向量。
(5)诊断测试。
利用待诊断数据样本P_test,使用sim()函数实现测试。
3 结束语
本文采用Dasylab测试软件采集故障信号,以信号频谱中各阶倍频和分频作为智能诊断的特征因子,提取故障样本,进行BP网络的训练。利用MATLAB建立了水泵故障诊断神经网络学习和诊断程序,实现了基于人工神经网络理论的某型号水泵故障诊断模型。结果表明,本神经网络故障诊断模型不仅克服了传统诊断方法的弊端,而且大大提高了水泵故障诊断的准确率和诊断效率。
参考文献
[1]廖伯瑜.机械故障诊断基础[M].北京:冶金工业出版社,2003:1-36.
[2]田景文.工神经网络算法研究及应用[M].北京:北京理工大学出版社,2006:70-90.
[3]韩力群.人工神经网络教程[M].北京:北京邮电大学出版社,2006:50-85.
神经网络降维方法范文6
我们在教学的过程中，也比较比较注重案例教学。例如，在讲授神经网络时，我们可以用上海证券交易所中股市中股票随时间变化的数据为例，让学生讨论如何应用神经网络对股票价格进行预测。人工神经网络是一种模仿自然界动物神经网络行为特征，进行分布式并行信息处理的算法数学模型，能够较好地处理具有一定复杂性的数据，在预测、拟合等方面取得了很好的应用效果。让学生采用神经网络进行实际数据分析和处理，可以增强他们学习的积极性，更主动地投入到学习中去。我们也要求他们使用回归分析的方法对股票价格进行预测，然后和神经网络预测的结果进行比较。通过这个过程，可以使学生们不但了解了神经网络与回归分析算法的异同，加深他们对神经网络的认识。
加强实验教学，增强学生动手能力
信息与计算科学专业是以信息领域为背景，数学与信息、管理相结合的交叉学科专业。该专业培养的学生具有良好的数学基础，能熟练地使用计算机，初步具备在信息与计算科学领域的某个方向上从事科学研究，解决实际问题，设计开发有关软件的能力。毕业生适合到企事业单位、高科技部门、高等院校、行政管理和经济管理部门，从事科研、教学和计算机应用软件的开发和管理工作，也可以继续攻读信息与计算科学及相关学科的硕士学位。从信息与计算科学专业的培养目标可以看出信息与计算科学专业的本科生不但需要掌握理论知识，还需要具有将所学知识用来解决实际问题的能力。数据挖掘作为一门应用性较强的课程，需要学生能够运用数据挖掘知识分析和解决实际问题，要求学生能够熟练掌握数据挖掘的程序设计，以便在将来的就业中具有更好的适应性，因此实验环节的教学有着其必要性。基于这些原因，我们在这门课中引入实验环节，并将其纳入考核要求。我们实验所用的基本软件是SAS统计分析软件。SAS软件是一个集统计分析、报表图形、信息系统开发和大型数据库管理等多种强大功能为一体的大型软件系统，是目前国际上主流的统计分析软件之一。我们信息专业在大三时开设这门课程，之前已经学过C语言和JAVA等程序设计方法，有了一定的编程基础，因此学习使用SAS软件并不是特别困难。而且，在SAS软件中，系统自带了许多数据挖掘函数，这方便了同学们的使用。我们在平时的学习中，将一些SAS软件的基本程序设计基础知识先发给同学们，让他们利用课后时间自己在个人电脑上进行熟悉，从而使得他们熟悉基本SAS程序设计方法，这样可以在实验课上直接运用SAS软件进行数据挖掘程序的编写。在实验课上，我们主要将要实验的内容和相关数据资料提供给同学，要求同学自己用数据挖掘的知识和SAS软件进行编程实现，并写出实验分析和小结。另外，在实验中，我们也要求学生尽可能将一些实验结果用图表的形式如崖底碎石图等表示出来，以利于进一步分析。对于少部分学有余力的同学，我们也引导他们自编相关的程序。比如说在SAS软件中进行K－均值聚类用fastclus这个函数就可以了，但是学生对程序具体实现过程可能不是很清楚。如果学生能够将程序K－均值聚类详细程序步骤自己编写出来，就可以表明学生对所K－均值聚类算法也有了较清楚的认识。另外，对于属于数学建模协会的同学，我们也引导他们将数据挖掘的知识和数学建模中某些问题相结合起来，对于以往出现的一些可以利用数据挖掘知识分析的问题让他们利用相关的数据挖掘知识对其进行分析和求解，通过这样的方式，可以这样拓展这些同学的思路，也为数学建模培养了人才。
灵活的课后作业形式，提高学生的综合能力
