前言：中文期刊网精心挑选了神经网络的基本概念范文供你参考和学习，希望我们的参考范文能激发你的文章创作灵感，欢迎阅读。
神经网络的基本概念范文1
词：人工神经网络模糊系统进化计算粗糙集理论决策树支持向量机
将知识发现技术应用在医院信息系统中．在国外已有多年的研究，并有丰富的实践经验的积累。国内近几年也陆续有研究．但总体上还处在研发阶段，这里将知识发现技术在医院中的应用作一简单介绍。
1人工神经网络
一种模仿生物神经网络的。以人工神经元为基本运算单元的一种互联的，分布式存储信息的智能信息处理系统。人工神经网络具有很强的自组织性，鲁棒性和容错性，在医学数据挖掘中得到了广泛的应用。采用bayesian神经网络结构．能够找出服用抗精神病药物与心肌病发作的关系；结合领域的统计知识，将bayesian神经网络用于医护工作的研究可以取得优良的效果：运用组合神经网络可对危及生命的心律失常进行归类；文献[1]中将专家系统与神经网络的集成应用于医疗辅助诊断的智能决策支持系统。采用单参数动态搜索算法训练神经网络明显优于传统的BP算法，极大地提高了神经网络的训练速度和分类精度。准确性97％．明显高于临床医生的诊断准确性83％。还可以通过伸进网络来预测肝癌患者术后的效果。动态检测患者的麻醉深度和合控制物的用量等。
2模糊系统
建立在模糊数学基础上的一种推理方式．它将人的定性思维和判断方法定量化，以适合计算机对信息处理的需要。在数据挖掘中，模糊逻辑经常与神经网络或最近邻技术联合起来应用。在医学数据挖掘和信息处理中利用模糊神经网络，可以从心跳记录中识别心室的过早收缩。还可以用来分析肝脏的超声图像等。
3进化计算
模拟自然界中生物的进化过程和进化方式对工程问题进行优化求解的技术．包括遗传算法、遗传规划、进化规划和进化策略。在医学数据挖掘中，运用并行遗传算法可为治疗二尖瓣脱垂综合症提供决策：采用进化规划可以对胸痛症状疾病进行诊断：运用交互的进化计算方法可以有效的发掘临床中的噪声数据：采用进化计算方法还可以对脊柱侧凸进行分类。
4粗糙集理论
利用粗糙集合中的属性约简和规则约简理论来对数据进行客观而有效的处理，从而迅速的获得知识。文献中阐述了粗糙集的基本概念。算法模型，并对该项技术应用于胸痛发病结果的预测。非肿瘤辨别诊断．类风湿类型的诊断．胎儿早产的诊断，急性阑尾炎分类诊断，做简单介绍。粗糙集理论在医学数据挖掘中可用于肺癌的诊断II．用于医院院内感染的知识发现，预测脊髓损伤患者的下床活动时间和检测宫颈癌病变的不同阶段等。
5决策树
通过对决策树进行剪枝处理，最后把决策树转化为规则，利用这些规则可以对新事例进行分类。决策树在医学数据挖掘中用于上呼吸道感染者的病情危重度分析．将决策与多层感知器网络技术结合还可以从大脑胶质瘤病例中获得胶质瘤恶性程度的术前诊断知识151。
6支持向量机
神经网络的基本概念范文2
关键词：数据挖掘；知识；医学；智能
中图分类号：TP311文献标识码：A文章编号：1009-3044(2011)30-7365-02
随着信息技术的飞速发展，计算机信息管理系统在各类医疗、研究机构得到了广泛的应用。大量关于病人治疗的临床信息，医院管理信息等信息的不断累积使得医学数据库迅速膨胀。传统数据库查询检索策略及统计学分析方法只能从大量的数据中获取一些表层信息，而无法发现数据之间内在关联及隐藏知识。利用数据挖掘技术从海量的医学信息中提取有价值的知识和规则，以智能的方法来处理和分析科学实验或临床研究数据，从而更好地为医院的决策管理、医疗和科研服务已成为一个非常重要的研究课题[1]。
1 数据挖掘的基本概念
目前有关数据挖掘的定义有很多，比较公认的一种是：数据挖掘（Data Mining）是从大量的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们未知的、潜在的有用信息和知识。这些信息可表示为概念、规则、规律和模式等。广义的数据挖掘对象包括数据库、数据仓库、文件系统、Web信息及各种形式的数据集。数据挖掘所要处理的问题，就是在庞大的数据集中寻找出有价值的隐藏事件加以分析，并以一定的置信度对未来进行预测，将这些有意义的信息归纳成结构模式，用来对决策形成参考。
2 医学数据挖掘特点
1）处理数据的规模十分巨大。由于医疗工作自身的特点――如病情观察的不可间断、各种医疗检查结果的纷繁复杂，医学数据库是一个涉及面广、信息量大的海量信息库，医学数据挖掘经常会面对尺度为GB甚至TB数量级的数据库。
2）挖掘对象是复杂的、各种类型的数据。医学数据库中含有各种不同来源，不同性质的数据，包括纯数据记录（如患者生命体征的各项参数、化验结果）、文字（如患者的病历记录、诊断结果）、信号(如肌电、脑电信号)、图像(如B超、CT检测结果)，以及音频和视频等形式的健康传媒类信息[2]。
3）挖掘结果是潜在的、未知的信息，这些信息有助于预测未来趋势及行为，为医疗活动做出前瞻性的科学决策。对医学数据进行挖掘的一个主要目的是预测疾病发作，将数据挖掘技术应用于医学领域可以对正常人的各项体征数据和生物数据进行各种分析对比，挖掘出相关关系，对某些疾病的前兆特征分析，以便能预防或及时救治，挽救患者生命。
3 医学数据挖掘方法
数据挖掘的任务有两个，即描述和预测。与之对应，数据挖掘方法分为描述型方法和预测型方法。前者是通过判别数据之间的关系或模式，探索被分析数据的隐藏属性；后者利用从历史数据中发现的已知结果，推断或预测未知的可能值。在实际应用中，需根据对象的性质及要解决的具体问题，采用不同的数据挖掘方法。
1）决策树法。决策树方法是一种通过逼近离散值目标函数的方法，利用信息增益原理，将数据库中具有最大信息量的属性字段作为决策树一个节点，节点的每一个后继分支对应于该属性的一个可能值，在每个分支子集中重复建立树的下层节点和分支。决策树方法主要应用于医学数据挖掘中的分类过程――通过现有医疗数据，对患者的病症信息进行分类，分析患有该类疾病病人的共同特征以及可能患有的疾病类型，找出真正原因，从而做出针对该类疾病的最佳治疗方案。利用决策树法可大大增加诊断的准确度，提高诊断效率。
2）神经网络（neural networks）。人工神经网络是一种模仿生物神经网络的，通过训练来学习的非线性预测模型，具有很强的容错性、自组织性和鲁棒性。神经网络以人工神经元为基本运算单元的，能够对大量复杂的数据进行分析，并完成及其复杂的模式抽取及趋势分析，在医学数据挖掘中具有非常广泛的应用。利用神经网络可动态监测病人的麻醉深度，从而控制物的使用剂量；采用贝叶斯（Bayesian）神经网络结构能够找出服用抗精神病药物与心肌炎和心肌病发作的关系；还可以运用组合神经网络可对危及生命的心率失常进行归类等。
3）关联规则。关联规则描述和分析了数据库中一组对象之间某种共生现象，反映了事物之间存在的关联性――如两者“同时发生”或“两者存在因果关系”等。在医学领域同样存在关联现象，若某种疾病同时表现出若干种症状，则这几种症状与该疾病之间存在着关联性，且症状之间也呈现某种关联[3]。关联规则分析可为疾病的鉴别诊断提供参考依据。有研究者利用关联规则分析法对糖尿病数据库进行多维数据分析，以期望发现长期血糖浓度过高与并发症之间的关联；还有研究者对37000例肾病患者的症状（包括临床检验和检测）进行了追踪观察，监测尿蛋白水平、肾小球过滤率以及患者贫血状况，结果发现以上三种生理指标中的任何一项异常都伴随着心脏病发病率的上升[4]。
4）聚类分析。聚类分析是根据所选样本间关联的标准将其划分为几个组，同组内的样本具有较高的相似度，不同组的则相异。聚类分析方法适用于对孤立点的检测及用于探讨样本间的内部关系，从而对样本结构做出合理的评价。有研究者[5]利用聚类方法分析流行病学因素对肺癌患者临床医学状况的影响。首先从SEER的数据库中选取21758例肺癌病例，每一例数据包含23个流行病学特征属性和22个临床临床医学状态特征属性，继而根据流行病学特征属性的相似程度将病例数据划分成20类，比较各类别之间的临床医学状态特征属性的差异，在此基础上还可更进一步分析各类流行病学因素对肺癌患者临床医学状况的不同影响。
3 结束语
医学数据挖掘是信息网络技术、人工智能、模式识别、统计学等学科与医疗科学相结合的产物，对提高医疗服务质量和医院科研、管理水平发挥着重要作用，具有极其广阔的应用前景。医学数据挖掘面向整个医学数据库或医学信息集合提供知识和决策，因此挖掘对象是涉及面广、数据量大、且包含着各种类型数据的海量信息库；在挖掘方法中，决策树法、人工神经网络、关联规则、聚类分析等方法显示出了独特的优势，已经在医学信息处理和疾病诊疗方面得到了应用。随着理论研究的深入和进一步的实践探索，数据挖掘技术将在临床、科研、教学以及医院决策管理等方面发挥巨大的作用。
参考文献：
[1] 王华,江启成,胡学钢.数据挖掘在医学上的应用[J].安徽医药,2008.12(8):746-748.
[2] 袁占花,李祥生.数据挖掘在医学信息系统中的应用[J].电脑开发与应用,2009,22(7):55-57.
[3] 龚著琳,陈瑛,苏懿,等.数据挖掘在生物医学数据分析中的应用[J].上海交通大学学报:医学版,2010,30(11).
神经网络的基本概念范文3
关键词： 模式识别； 神经网络； 卷积； 文字识别
中图分类号： TN711?34； TP391.4 文献标识码： A 文章编号： 1004?373X（2014）20?0019?03
Large pattern online handwriting character recognition based on multi?convolution neural network
GE Ming?tao1， WANG Xiao?li1， PAN Li?wu2
（1. SIAS International School， Zhengzhou University， Zhengzhou 451150， China；
2. Henan University of Animal Husbandry and Economy， Zhengzhou 450011， China）
Abstract： Online handwriting character recognition is an important field in the research of pattern recognition. The traditional recognition method is based on the common convolutional neural networks （CNNs） technology. It has an efficient recognition rate for the small pattern character set online handwriting characters， but has low recognition rate for the large pattern character set recognition. A recognition method based on multi?convolutional neural networks （MCNNs） is presented in this paper to overcome the situation that the previous methods have the low recognition rate for large pattern character set and improve the recognition rate for the large pattern handwriting character set recognition. The stochastic diagonal Levenbert?Marquardt method is used in the system for training optimization. The experimental results show that the proposed method has the recognition rate of 89% and has a good prospect for online handwriting character recognition for large scale pattern.
Keywords： pattern recognition； neural network； convolution； character recognition
0 引 言
随着全球信息化的飞速发展和对自动化程度要求的不断提高 ，手写文字识别技术被广泛地应用到许多方面。特别是近几年拥有手写功能的手机、平板电脑等智能电子产品的普及，联机手写文字识别研究已经成为一个备受关注的主题。联机手写字符识别要求实时性较高，识别过程中要求特征空间的维数比较高，在进行特征样本训练时要求训练的数目很大，要匹配的特征值或特征对象比较多 [1?2]。
卷积神经网络（Convolutional Neural Networks，CNNs）的优点在于图像的识别过程中对视觉模式的获得是直接从原始图像中获得的，所以在设计系统时图像的预处理工作很少，与一般神经网络相比是一种高效的识别方法。卷积神经网络在模式识别的一些领域具有很好的鲁棒性，如在识别有变化的模式和对几何变形的识别方面。利用卷积神经网络的手写识别方法具有如下一些优点：对于要检测的图像可以与事先制定网络拓扑结构之间有较高的匹配率；特征提取和模式分类同时进行；训练参数往往是系统计算量的重要参数，而卷积神经网络中利用权值共享技术，这样就可以大大降低该参数，在设计系统结构时使得结构变得更简单，从而使得整个系统具有更好的适应性[3?5]。
目前，人机交互系统的手写字符识别、汽车车牌号识别和信息安全中常用的人脸识别等领域都有卷积神经网络的成功应用。文献[6]用一个4层的卷积神经网络LeNet?5对Mnist库进行识别实验，获得了98.4%的识别率，用2层的BP网络的识别率[4，6]是87%。许多学者对卷积神经网络在联机手写文字识别方面做了多方位的研究。 但是，这些成功的联机手写文字识别主要是针对小模式字符集，利用以往的这些方法对大规模模式分类的联机手写文字的识别依然有识别率不高的问题。本文介绍了卷积神经网络的基本概念和一种典型的卷积神经网络结构，给出了基于多重卷积神经网络的字符识别和词语识别模型。通过使用大字符集的UNIPEN数据库进行训练和测试，本文提出的方法在大模式联机手写识别上，取得了较高的识别速度和满意的识别率。
1 卷积神经网络
文献[6?7]中详细地描述了卷积神经网络如何保证图像对位移、缩放、扭曲鲁棒性能。典型的手写字符卷积神经网络LeNET 5的结构图如图1所示[6?7]。
图1 典型的卷积神经网络结构
在图1中，输入层接收要识别32×32的手写字符图像，经过简单的大小归一化和图像灰度处理，之后的结果作为一个采样层的图像；然后用一个可学习核进行卷积操作，卷积结果经过激活函数的输出形成这一层的神经元，每个神经元与输入图像的一个5×5的邻域相连接，从而得到由6幅特征图组成的第一个隐层（C1层）。每个特征图有25个权值（如方向线段，端点、角点等），考虑到边界效果，得到的特征图的大小是28×28，小于输入图层[3?9]。卷积层的数学计算过程可表示为：
[xlj=fi∈Mjxl-1j*kernellij+blj] （1）
式中：[l] 代表层数；kernel是卷积核；[Mj]代表输入特征图的一个选择。每个输出图有一个偏置[b]。
每个卷积层的结果作为下一个次采样层的输入，次采样层的作用是对输入信息进行抽样操作。如果输入的特征图为n个，则经过次采样层后特征图的个数仍然为n，但是输出的特征图要变小（例如，各维变为原来的50%）。因此隐层S2是由6个大小为14×14的特征图组成的次采样层。次采样层计算公式可以用式（2）表示：
[xlj=fβl-1jdown（xl-1j）+blj] （2）
式中down（・） 表示次采样函数。次采样函数一般是对该层输入图像的一个n×n大小的区域求和，因此，输出图像的大小是输入图像大小的[1n]。每一个输出的特征图有自己的β和b。
类似的，C3层有16个10×10的特征图组成的卷积层，特征图的每个神经元与S2网络层的若干个特征图的5×5的邻域连接。网络层S4是由16个大小为5×5的特征图组成的次采样层。特征图的每个神经元与C3层的一个2×2大小的邻域相连接。网络层C5是由120个特征图组成的卷积层。每个神经元与S4网络层的所有特征图的5×5大小的邻域相连接。网络层F6，包括84个神经元，与网络层C5进行全连接。最后，输出层有10个神经元，是由径向基函数单元（RBF）组成，输出层的每个神经元对应一个字符类别。RBF单元的输出yi的计算方法如式（3）所示：
[yi=j（xj-wij）2] （3）
很多研究人员通过对字符集作弹性训练，经测试发现在MNIST字符集上的识别率可以高达99%以上[6?7] 。卷积神经网络的优势主要是对小模式集上，如对数字或26个英文字母组成的集合都有着较高的识别率。然而，对大模式集的识别仍然是一个挑战，因为设计一个优化的并足够大的单一网络是比较困难的，且训练时间也较长。因此，本文的目的旨在通过组合多个对某一字符集有高识别率的卷积神经网络，从而构成多重卷积神经网络，进而提高卷积神经网络对大模式集手写字符的识别率。
2 多重卷积神经网络
2.1 多重卷积神经网络字符识别
根据传统卷积神经网络的运算过程以及其在处理大模式集手写字符时存在的不足，本文提出一种多重卷积神经网络来改进传统的卷积神经网络模型，用多个拥有高识别率的小卷积神经网络组成一个多重卷积神经网络。每一重小卷积神经网络对某一具体字符集有较高的识别率，另外，单重卷积神经网络除了有一个正式的输出集之外，还产生一个未知的输出（即难以识别的字符），即如果一个输入字符没有被正确识别，它将被输出为一个未知字符，然后输入模式转到下一重卷积神经网络进行识别。最后，通过一个拼写检查模块进行判断，选择最好的结果输出。系统的流程如图2所示。
其中CNN 1是识别手写数字的卷积神经网络，CNN 2是识别手写小写英文字母的卷积神经网络，该模型具有极强的扩展性，可以添加多任意模式的卷积神经网络（如中文，日文等）。
图2 多重卷积神经网络字符识别示意图
2.2 随机对角Levenberg?Marquardt训练方法
传统的结构比较简单、单一的卷积神经网络多采用基本的Back Propagation（BP）规则训练网络，往往需要几百次迭代，网络的收敛速度较慢。本文采用LeCun博士提出的随机对角Levenberg?Marquardt 算法对网络作训练，该算法需要的迭代次数明显比基本的BP 算法少[4，9]。随机对角Levenberg?Marquardt算法的公式为：
[ηki=ε?2E?w2ij+μ] （4）
式中[ε]是全局的学习率，一般取初始值0.01，太大会使网络无法收敛，太小则会降低收敛速度，且使网络更容易陷入局部极小值，训练过程中可以用启发式规则改变[ε]的值，本文取最下值为5e-005； [?2E?w2ij]是一个估计值，根据训练集的大小可以调整样本数量，文中随机选取200个样本估算它的值；[μ]用来避免[?2E?w2ij] 太小时[ηki]的变化过大 。
2.3 多重卷积神经网络词句识别
本文提出的多重卷积神经网络对手写词语的识别方法可以简单地描述为：首先对输入的手写图像进行预处理和分割，然后通过多重卷积神经网络模块分别进行识别，最后采用单词识别模块对识别结果进行判断，选择最好的结果输出。其过程如图3所示。
图3 多重卷积神经网络联机手写词句识别过程
本文提出的多重卷积神经网络联机手写文字识别方法克服了传统卷积神经网络文字识别的对字符集的限制，每一重卷积神经网络是一个针对小模式的卷积神经网络，易于训练和优化，更重要的是此方案的灵活性非常好易于调节参数，可扩展性强。每一重卷积神经网络都具有可重用能力，可以根据需要加载一个或多个网络，可以根据新的模式添加新的网络而不需改变或重建原来的网络。
3 训练和实验
为了评估多重卷积神经网络对基于大模式字符集的联机手写文字识别的性能，本系统采用MNIST和UNIPEN两种不同的手写字符训练集进行测试。UNIPEN数据库是在1992年举行的IEEE IAPR会议上提出并建立的，其目的是创建一个大型的手写体数据库用于为在线手写识别提供研究和开发的基础，得到了多个知名公司或研究所的支持并完成了UNIPEN的规范设计。在进行数据比对实验中，本文采用许多研究使用的MNIST手写数字数据库，该数据库是NEC 研究中心设计的，是NIST（The National Institute of Standards and Technology）数据库的一个子集，该训练集中有大量训练样本和测试用例。本文默认用以下定义：
[识别率=正确识别数样本总数×100%]
[失误率误识率=错误识别数样本总数×100%]
实验测试是在通用的台式电脑上进行的。整个识别原型系统采用C#编写，运行在.NetFrame 4.5平台上。经测试对MNIST训练集识别正确率可达[9]99%，对UNIPEN数字识别正确率可达97%，对UNIPEN数字和大写字母识别正确率可达89%（1a，1b） ，对UNIPEN小写字母识别正确率可达89%（1c） 。图4是对UNIPEN小写字母3次训练的均方误差比较。
图4 训练的误差数据
从图4中可以看出，在开始的几个训练周期内，均方误差（MSE）下降得很快，然后在第13个周期后神经网络达到一个稳定的值，约为0.148 5。也就是说，网络在第13个周期后，改善程度就很小。所以修改训练错误率的值为0.000 45后重新进行18代的第二次训练，均方误差有所降低。经过第三次的训练后趋于稳定，对UNIPEN小写字母识别正确率可达89%。经测试，通过使用随机对角Levenberg?Marquardt方法，收敛速度比基本BP算法快了许多，经过68代训练后识别正确率可达89%。
4 结 语
本文提出了基于多重卷积神经网络的联机手写字符的识别方法，通过使用多个识别率高的卷积神经网络和随机对角 Levenberg? Marquardt方法，可以适用于大模式联机手写识别。经过实验数据比较，该方法在大模式联机手写识别过程中具有很高的识别率，与此同时识别速度也很快，有很好的实时性，总体效果很好。在当今触摸屏应用遍及生产生活的各个方面的趋势下，该方法有着广阔的应用前景。同时此方法为今后多手写汉字识别的研究提供了很好的借鉴。
注：本文通讯作者为潘立武。
参考文献
[1] 吴鸣锐，张钹.一种用于大规模模式识别问题的神经网络算法[J].软件学报，2001，12（6）：851?855.
[2] 张辉.大规模联机手写汉字识别数据库整理、统计与实验分析[D].广州：华南理工大学，2012.
[3] 徐姗姗，刘应安，徐，等.基于卷积神经网络的木材缺陷识别[J].山东大学学报：工学版，2013，43（2）：23?28.
[4] 吕刚.基于卷积神经网络的多字体字符识别[J].浙江师范大学学报：自然科学版，2011，34（4）：425?428.
[5] PHAM D V. Online handwriting recognition using multi convolution neural networks [M]. Berlin Heidelberg： Springer， 2012： 310?319.
[6] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient?based learning applied to document recognition [C]// Proceeding of IEEE. USA： IEEE， 1998： 2278?2324.
[7] SIMARD P Y， STEINKRAUS Dave， PLATT John. Best practices for convolutional neural networks applied to visual document analysis [C]// International Conference on Document Analysis and Recognition （ICDAR）. Los Alamitos： IEEE Computer Society， 2003： 958?962.
神经网络的基本概念范文4
关键词:Smith 控制；人工免疫；预测控制；时滞系统；反馈控制
中图分类号: TP273+.5文献标志码:A
引言
在工业过程控制领域中，许多被控对象不同程度地存在滞后性同时伴随复杂的不确定性，以致难以采用精确数学建模方法给出有效的可控模型，传统的Smith预估控制对此实际应用效果不理想［1］。改进的模糊Smith预估控制［2-3］在一定程度上减少了对被控模型的敏感性，但模糊控制器置于前馈部分，对Smith预估器所在的反馈部分未做改进，故没有从根本上解决不精确建模对Smith预估控制的不良影响。基于神经网络的Smith预估控制［5-6］则较好地解决了这一问题。然而神经网络具有隐层单元数目难以确定、权值受初始值影响较大、学习时间长、学习过程容易陷入局部最小等问题，使得基于神经网络的Smith预估控制难以实际应用。有学者采用支持向量机对被控对象进行建模［7］，解决了传统Smith预估控制需要预先知道被控对象精确数学模型的问题，但是支持向量需解二次规划问题，其存储需求随着训练样本大小的平方增长，因此当数据量大时训练速度很慢,限制了其的应用。近年来基于预测控制与Smith相结合的控制方法为其研究提供了新的思路［9-10］。本文结合生物免疫自体非自体识别原理及反馈机制，提出了一种Smith免疫自适应预测控制方法。对被控模型采用非线性自回归滑动平均模型并进行免疫自适应预测，通过克隆选择算法实现滚动优化来跟踪预测模型中的时滞参数。这种策略对时滞时间不确定的系统以及系统模型发生误差时有很好的控制效果。
1基本概念
1.1Smith 预估模型
神经网络的基本概念范文5
数据挖掘是指从数据集合中自动抽取隐藏在数据中的那些有用信息的非平凡过程，这些信息的表现形式为：规则、概念、规律及模式等。它可帮助决策者分析历史数据及当前数据，并从中发现隐藏的关系和模式，进而预测未来可能发生的行为。数据挖掘的过程也叫知识发现的过程。
二、数据挖掘的方法
1.统计方法。传统的统计学为数据挖掘提供了许多判别和回归分析方法，常用的有贝叶斯推理、回归分析、方差分析等技术。贝叶斯推理是在知道新的信息后修正数据集概率分布的基本工具，处理数据挖掘中的分类问题，回归分析用来找到一个输入变量和输出变量关系的最佳模型，在回归分析中有用来描述一个变量的变化趋势和别的变量值的关系的线性回归，还有用来为某些事件发生的概率建模为预测变量集的对数回归、统计方法中的方差分析一般用于分析估计回归直线的性能和自变量对最终回归的影响，是许多挖掘应用中有力的工具之一。
2.关联规则。关联规则是一种简单，实用的分析规则，它描述了一个事物中某些属性同时出现的规律和模式，是数据挖掘中最成熟的主要技术之一。关联规则在数据挖掘领域应用很广泛适合于在大型数据集中发现数据之间的有意义关系，原因之一是它不受只选择一个因变量的限制。大多数关联规则挖掘算法能够无遗漏发现隐藏在所挖掘数据中的所有关联关系，但是，并不是所有通过关联得到的属性之间的关系都有实际应用价值，要对这些规则要进行有效的评价，筛选有意义的关联规则。
3.聚类分析。聚类分析是根据所选样本间关联的标准将其划分成几个组，同组内的样本具有较高的相似度，不同组的则相异，常用的技术有分裂算法，凝聚算法，划分聚类和增量聚类。聚类方法适合于探讨样本间的内部关系，从而对样本结构做出合理的评价，此外，聚类分析还用于对孤立点的检测。并非由聚类分析算法得到的类对决策都有效，在运用某一个算法之前，一般要先对数据的聚类趋势进行检验。
4.决策树方法。决策树学习是一种通过逼近离散值目标函数的方法，通过把实例从根结点排列到某个叶子结点来分类实例，叶子结点即为实例所属的分类。树上的每个结点说明了对实例的某个属性的测试，该结点的每一个后继分支对应于该属性的一个可能值，分类实例的方法是从这棵树的根结点开始，测试这个结点指定的属性，然后按照给定实例的该属性值对应的树枝向下移动。决策树方法是要应用于数据挖掘的分类方面。
5.神经网络。神经网络建立在自学习的数学模型基础之上，能够对大量复杂的数据进行分析，并可以完成对人脑或其他计算机来说极为复杂的模式抽取及趋势分析，神经网络既可以表现为有指导的学习也可以是无指导聚类，无论哪种，输入到神经网络中的值都是数值型的。人工神经元网络模拟人脑神经元结构，建立三大类多种神经元网络，具有非线形映射特性、信息的分布存储、并行处理和全局集体的作用、高度的自学习、自组织和自适应能力的种种优点。
6.遗传算法。遗传算法是一种受生物进化启发的学习方法，通过变异和重组当前己知的最好假设来生成后续的假设。每一步，通过使用目前适应性最高的假设的后代替代群体的某个部分，来更新当前群体的一组假设，来实现各个个体的适应性的提高。遗传算法由三个基本过程组成:繁殖(选择)是从一个旧种群(父代)选出生命力强的个体，产生新种群(后代)的过程；交叉〔重组)选择两个不同个体〔染色体)的部分(基因)进行交换，形成新个体的过程；变异(突变)是对某些个体的某些基因进行变异的过程。在数据挖掘中，可以被用作评估其他算法的适合度。
7.粗糙集。粗糙集能够在缺少关于数据先验知识的情况下，只以考察数据的分类能力为基础，解决模糊或不确定数据的分析和处理问题。粗糙集用于从数据库中发现分类规则的基本思想是将数据库中的属性分为条件属性和结论属性，对数据库中的元组根据各个属性不同的属性值分成相应的子集，然后对条件属性划分的子集与结论属性划分的子集之间上下近似关系生成判定规则。所有相似对象的集合称为初等集合，形成知识的基本成分。任何初等集合的并集称为精确集，否则，一个集合就是粗糙的(不精确的)。每个粗糙集都具有边界元素，也就是那些既不能确定为集合元素，也不能确定为集合补集元素的元素。粗糙集理论可以应用于数据挖掘中的分类、发现不准确数据或噪声数据内在的结构联系。
8.支持向量机。支持向量机(SVM)是在统计学习理论的基础上发展出来的一种新的机器学习方法。它基于结构风险最小化原则上的，尽量提高学习机的泛化能力，具有良好的推广性能和较好的分类精确性，能有效的解决过学习问题，现已成为训练多层感知器、RBF神经网络和多项式神经元网络的替代性方法。另外，支持向量机算法是一个凸优化问题，局部最优解一定是全局最优解，这些特点都是包括神经元网络在内的其他算法所不能及的。支持向量机可以应用于数据挖掘的分类、回归、对未知事物的探索等方面。
事实上，任何一种挖掘工具往往是根据具体问题来选择合适挖掘方法，很难说哪种方法好，那种方法劣，而是视具体问题而定。
三、结束语
目前，数据挖掘技术虽然得到了一定程度的应用，并取得了显著成效，但仍存在着许多尚未解决的问题。随着人们对数据挖掘技术的深人研究，数据挖掘技术必将在更加广泛的领域得到应用，并取得更加显著的效果。
参考文献:
苏新宁杨建林邓三鸿等:数据挖掘理论与技术[M].北京:科学技术文献出版社,2003
神经网络的基本概念范文6
关键词:公共政策分析;定量分析;回归分析
一、公共政策分析和定量分析的概念
1.实现公共决策的科学化、民主化和法制化是我国政治体制改革及社会主义民主政治建设的一个基本任务。而掌握实现决策科学化的方法、工具是当前各级各类公共政策分析人员迫切需要加强的能力。
公共政策分析是政策分析人员或者组织对政府为解决各类公共政策问题所采取的对政策的本质、产生原因、及实施效果的研究。
科学决策需要逐步采用现代化的决策方法、程序和技术,尤其需要掌握定量分析工具。所谓定量分析方法,就是指用数学方法对自然界和人类社会中存在的各种现象进行研究,并用数学变量来描述和刻画其中的客观规律的方法。定量分析方法的实质就是数学方法,在社会科学领域中,称其为定量方法,目的在于追求公共政策“ 是什么”,并同传统的定性方法相区别。在政策制定过程中对各种有关的资料数据、信息等能够用确切的数字量化表示出来,建立数学模型,并运用计算机或有关分析软件进行计算,求得政策指定的各种方案并从中选优,最后进行决策[1]。
数学化、模型化和计算机化是定量分析方法的主要特点。
二、定量分析方法的过程和理论基础
过程包括:搜集资料阶段;建立语言模型阶段;建立数学模型阶段;求解数学模型阶段;数学模型评估阶段;建立计算机模型求解阶段。
理论基础主要有:统计学;系统工程学;计量经济学;逻辑学;运筹学等。
三、定量分析方法的分类:
1.线性规划
线性规划是公共管理领域常用的定量分析方法,也是运筹学中最重要、最基础的技术。线性规划问题是由前苏联学者康托洛维奇与1939年提出的,1947年George Dantzig提出了求解线性规划问题的有效方法――单纯形法。
2.回归分析
回归是研究变量之间关系的主要统计方法,大约80%的科研项目研究使用回归分析的方法。该法通过一个变量或一些变量的变化解释另一变量的变化。其主要内容和步骤是,首先根据理论和对问题的分析判断,将变量分为自变量和因变量;其次,设法找出合适的数学方程式(即回归模型)描述变量间的关系;由于涉及的变量具有不确定性,接着还要对回归模型进行统计检验;统计检验后,再利用回归模型,根据自变量去估计和预测因变量的变化情况。
3.相关分析
公共政策分析的变量中,有许多变量之间并不存在着确定性的函数关系,但通过大量的观测数据,可以发现他们之间存在的统计规律性,研究这些变量之间的关系就称为相互关系分析,探讨其相关方向以及相关程度。分为线性相关分析、质量相关、品质相关、偏相关分析和典型相关分析。
4.因子分析、聚类分析和判别分析[2]
1904年,英国心理学家CSpearman创立了因子分析的双因素(普通因素和独特因素)方法。在公共政策分析中,往往需要对反应事物的多个变量进行大量的观测,但与许多变量之间可能存在相关性从而增加了问题分析的复杂性,同时对分析带来不便。因子分析就是从研究相关矩阵内部的依赖关系出发,把一些具有错综复杂关系的变量归结为少数几个综合变量的一种降维的统计分析方法。
聚类分析又称为集群分析,是研究“物以类聚”的一种多元统计分析方法,是应用较为广泛的统计分析技术。该法可以将性质相近的个体归为一类,性质差异较大的个体属于不同的一类,是类内个体具有较高的同质性,类间个体具有较高的异质性。
判别分析是在已知研究对象分成若干类型并已取得各种类型的一批已知样本的观测数据的基础上,根据某些准则建立判别函数,然后将待分类的样本的实测值代入该函数,求出其函数值,最后对未知类型的样本进行判别分类。判别分析和聚类分析的区别主要是,在聚类分析中一般人们事先并不知道或一定要明确应该分成几类,完全根据数据来确定。而在判别分析中,至少有一个已经明确知道类别的“训练样本”,利用这个数据,就可以建立判别准则,并通过预测变量来为未知类别的观测值进行判别。
5.通径分析和结构方程分析
通径分析最先由美国科学家赖特(Wright)于1930年用于多基因遗传病的研究。通径分析在公共管理领域的研究始于20世纪80年代。通径分析是回归分析的进一步深化,旨在将一些简单相关系数分解为许多部分,以显示某一自变量对因变量的直接作用和间接作用效果。可以弥补回归分析的不足,给人们提供更多的资料和信息。通径分析的基本框架包括三个组成部分:变量、通径和通径系数,这三个部分组成完整的通径分析图,也称通径模型。根据研究结果可以解释说明各个自变量对因变量的总作用的大小、方向、作用方式。
结构方程模型是一门基于统计分析技术的研究方法学,是当前非常流行的用于研究一组具有相互关系的变量之间因果关系的一种统计方法。该法的基本原理是比较两个或更多个不同协方差矩阵(或相关矩阵),然后通过分析这些不同的协方差矩阵(或相关矩阵)之间的拟合指数来判断原模型是否符合研究要求。结构方程模型主要由验证性因子模型和各潜变量之间的因果关系模型两部分组合而成。
6.神经网络分析
神经网络的全称是人工神经网络(Artificial Neural Network,ANN),它采用物理上可实现的器件或采用计算机来模拟生物体中互相连接的神经网络的某些结构和功能。
神经网络的信息处理通过神经元的相互作用来实现,知识与信息的存储表现为网络元件互连分布式的物理联系。神经网络模型分为前向型神经网络、反馈型神经网络和自组织与LVQ神经网络。神经网络在公共政策分析中的应用主要是预测以及模式识别(分类)。
7.系统动态学方法
系统动态学(System Dynamics; SD)是美国麻省理工学院(MIT)的Jay W. Forrester(佛睿思特)教授于1956年创立起的一门学科。系统动态学以系统论为基础,吸收了控制论、信息论、计算机模拟技术、管理科学及决策论等知识,是研究复杂系统的定量方法。系统动态学有以下几个特征:(1)它能处理高阶次、非线性、多重反馈、复杂时变系统的问题;(2)它能对系统的长期动态发展进行计算机模拟;(3)它是一种结构型模型,对数字的精确性要求不高;(4)它能对系统设定各种政策参数,通过改变各政策参数值观察系统行为的变化,进而可以找到改善系统绩效的政策方案。该法能帮助公共政策分析解决更多的总体问题和上层决策问题。包括经济分析方法(盈亏平衡分析、投资回收期法)、多目标评价(加权和法、TOPSIS法)、数据包络分析等方法。
8.图与网络分析方法
图论(Graph Theory)是运筹学的一个重要分支,它是建立和处理离散数学模型的一个重要工具。所谓的网络分析,就是利用图论的基本概念和方法对网络做优化分析。它是运筹学的一个应用十分广泛的重要分支,现在图论与计算机科学、系统论、控制论等密切结合,得到广泛的应用。
9.决策分析方法
是政策制定者为了达到某个目标,从一些可能的方案中,进行选择的分析过程,是对影响决策的诸因素作逻辑判断与权衡。较有实用价值的随机性决策分析方法包括:确定性决策、风险性决策、非确定性决策和贝叶斯分析。应用较广泛的有成本―效益分析、资源分配、计划评审技术(PERT)、关键路径法(CPM)、博弈论分析等。
四、定量分析常用的四大软件工具:
1. SPSS软件
2. LISREL
3. Matlab
4. Vensim
参考文献:
[1]. 陈庆云.公共政策分析[J].北京:北京大学出版社,2006
[2]. 范柏乃,兰志勇.公共管理研究与定量分析方法[J].北京:科学出版社,2008.
作者简介:
