前言：中文期刊网精心挑选了人工神经网络的起源范文供你参考和学习，希望我们的参考范文能激发你的文章创作灵感，欢迎阅读。
人工神经网络的起源范文1
关键词：BP神经网络、图像分割、特征提取
Abstract: the image recognition process including the image preprocessing, feature extraction, image understanding and analysis. Which BP artificial neural network in the image segmentation using better; In the feature extraction phase BP neural network is also very good find application, and obtain the better feature extraction results; In the image understanding and the analysis phase using neural network classifier design, can get accurate classification results.
Keywords: BP neural network, image segmentation, feature extraction
中图分类号：TP183 文献标识码：A文章编号：
引言
BP人工神经网络算法是现今应用较为广泛的多层前向反馈式神经网络算法，BP人工神经网络有较好的容错能力、鲁棒性、并行协同处理能力和自适应能力，受到了国内外众多领域学者的关注。由于神经网络高效率的集体计算能力和较强的鲁棒性，它在图像分割方面的应用已经很广泛，Jain和Karu采用了多通道滤波与前向神经网络相结合的方法实现图像纹理分割算法。神经网络算法在特征提取阶段，压缩特征数量，以提高分类速度和精度。在图像识别领域中神经网络作为分类器的研究也得到了很大的进展，尤其是其学习能力和容错性对于模式识别是非常有利的，在一定程度上提高了训练速度和识别率。Le Cun等人提出了多层特征选择(Multilayer Selection Procedure)方法用于字符识别，每一层神经网络处理较低层次的特征，获取该层特征信息并传给上一层。
BP神经网络的基本原理
人工神经网络的研究起源于对生物神经系统的研究，它将若干处理单元（即神经元）通过一定的互连模型连结成一个网络，这个网络通过一定的机制可以模仿人的神经系统的动作过程，以达到识别分类的目的。人工神经网络区别于其他识别方法的最大特点是它对待识别的对象不要求有太多的分析与了解，具有一定的智能化处理的特点。神经网络的学习过程实际上就是不断地调整权值和阈值的过程。根据有无训练样本的指导可以将神经网络的学习方式分为两种：监督学习方式和非监督学习方式，也称为有导师指导学习方式和无导师指导学习方式。监督学习方式，是在给定固定的输入输出样本集的情况下，由网络根据一定的学习规则进行训练学习，每一次学习完成后，通过对比实际的输出和期望的输出，以此决定网络是否需要再学习，如果还没有达到期望的误差，则将实际误差反馈到网络，进行权值和阈值的调整，使实际的误差随着学习的反复进行而逐步减小，直至达到所要求的性能指标为止。非监督学习方式，是在没有外界的指导下进行的学习方式，在学习过程中，调整网络的权重不受外来教师的影响，但在网络内部会对其性能进行自适应调节。
BP神经网络分类器的设计
BP神经网络是基于误差反向传播算法(Back Propagation Algorithm，BPA)的多层前向神经网络，由输入层、输出层、一个或多个隐含层所组成。BP神经网络结构确定之后，通过对输出和输入样本集进行训练，反复修正网络的权值和阈值，达到学习训练的期望误差，以使网络能够实现给定的输入输出映射关系。BP人工神经网络的学习过程分为两个阶段，第一阶段是输入己知的学习样本数据，给定网络的结构和初始连接权值和阈值，从输入层逐层向后计算各神经元的输出；第二阶段是对权值和阈值进行修改，即根据网络误差从最后一层向前反馈计算各层权值和阈值的增减量，来逐层修正各层权值和阈值。以上正反两个阶段反复交替，直到网络收敛。具体实现步骤如下：
(1) 网络的初始化：首先对输入的学习训练样本进行归一化处理，对权值矩阵W和阈值向量赋初值，将网络计数器和训练次数计数器置为1，网络误差置为0。
(2) 输入训练样本，计算输入层，隐含层以及输出层的实际输出。
(3) 计算网络输出误差。将实际的输出和期望的输出值进行对比，采用均方根误差指标作为网络的误差性能函数。
(4) 若误差还没达到期望标准，则根据误差信号，逐层调整权值矩阵和阈值向量。
(5) 若最终调整之后的网络输出达到了误差范围之内，则进行下一组训练样本继续训练网络。
(6) 若全部的训练样本训练完毕，并且达到了期望的误差，则训练结束，输出最终的网络联接权值和阈值。
BP神经网络可以逼近任意连续函数，具有很强的非线性映射能力，而且BP神经网络中间层数、各层神经元数及网络学习速率等参数均可以根据具体情况设定，灵活性较强，所以BP神经网络在许多领域中广泛应用。一般来说，神经网络方法应同传统的人工智能方法相联系的。神经网络本身结构及性能上的特点使其对问题的处理更富有弹性，更加稳健。神经网络的基本特点是采用自下而上的设计思路，使其容易确定具体的目标分割或识别算法，在增加了不确定因素的同时也产生了网络最优化的问题，这就是所谓的伪状态(pseudo-trap)。尽管在实践中并非所有的伪状态对应完全失败的结果，但是毕竟这不符合对之完美的或者说合理的期望。人工智能则一般采用自上而下的方法，偏重于逻辑推理建立系统模型。因此将神经网络同人工智能结合起来，相当于赋予神经网络高层指导的知识及逻辑推理的能力，具有潜在的优势。
输入层中间层 输出层
图1 BP人工神经网络结构
BP神经网络的训练
4.1 BP神经网络的设计
BP神经网络的设计主要包括两方面内容：一是神经网络结构的确定，特别是隐含层层数及隐含层单元数目的确定；二是高精度收敛问题，隐含层和隐含层单元数过多，将导致训练时间过长并出现过度拟和的问题，隐含层单元数过少又导致网络收敛速度慢甚至不收敛，达不到误差精度要求。在确定隐含层层数以及隐含层单元数目时，没有一个严格的理论依据指导，需要根据特定的问题，结合经验公式确定大致范围来进行逐步试算比较得到。
4.2 数据预处理
为了加快网络的训练速度，通常在网络训练前进行神经网络输入和输出数据预处理，即将每组数据都归一化变为[-1,1]之间的数值的处理过程。
4.3 神经网络的训练
%当前输入层权值和阈值
inputWeights=net.IW{1,1}
inputbias=net.b{1}
%当前网络层权值和阈值
layerWeights=net.LW{2,1}
layerbias=net.b{2}
%设置训练参数
net.trainParam.show = 1000;%限时训练迭代过程
net.trainParam.lr = 0.1; %学习率，缺省为0.01
net.trainParam.epochs = 100000; %最大训练次数，缺省为100
net.trainParam.goal = 0.001; %训练要求精度，缺省为0
[net,tr]=train(net,P,T);%调用 TRAINGDM 算法训练 BP 网络
A = sim(net,P) %对 BP 网络进行仿真
E = T - A;%计算仿真误差
MSE=mse(E)
结束语
BP网络因为具有较强的学习性、自适应型和容错性，在很多领域均已经大量运用。本文将BP人工神经网络运用于图像的识别，探索人工神经网络在图像识别领域中的重要的现实意义。研究表明，BP人工神经网络应用于图像识别在一定程度上提高了识别的效率和准确率。但是，BP神经网络算法还存在以下几点不足之处：（1）权的调整方法存在局限性，容易陷入局部最优；（2）网络的结构需要提前指定或者在训练过程中不断的修正；（3）过分依赖学习样本，由于学习样本是有限的或者学习样本质量不高，那么会导致训练达不到效果；（4）对于规模较大的模式映射问题，存在收敛速度慢、容易陷入局部极小点、判断不准确等缺陷。总之，如何解决以上问题，如何进一步提高识别精度，扩大识别范围，使之更具有更好的工程实用性，是有待进一步研究的内容。
参考文献：
[1] WE Blanz，S L Gish．A Connectionist Classifier Architecture Applied to Image Segmentation．Proc．10th ICPR，1990，272-277．
[2] Y Le Cun，L D Jackel，B Boser，J S Denker，H P Graf，I Guyon，D Henderson，R E Howard，and W Hubbard，Handwriten Digit Recognition：Applications of Neural Network Chips and Automatic Learning，IEEE Comm．Magazine．Nov．1989．
[3] A K Jain and K Karu，Automatic Filter Design for Texture Discrimination，Proc．12th Int’l Conf．NeuralNetworks，Orlando，Oct．1994，454-458．
[4] 边肇其，张学工．模式识别（第二版）[M]．清华大学出版社，北京．1999，12．
[5] 陈书海，傅录祥．实用数字图像处理[M]．科学出版社，北京．2005．
[6] 万来毅，陈建勋．基于BP神经网络的图像识别研究[J]．武汉科技大学学报（自然科学版）．2006，6．
[7] 丛爽．面向MATLAB工具箱的神经网络理论与应用（第2版）[M]．北京：中国科学技术出版社，2003．
[8] 王娟，慈林林等．特征方法综述[J]．计算机工程与科学．2005．27（12）．68-71．
[9] 贾花萍．基于神经网络的特征选择与提取方法研究[J]．网络安全．2008，7．33-35．
[10] 龚声荣，刘纯平等编著．数字图像处理与分析[M]．清华大学出版社，北京．2006．7．
人工神经网络的起源范文2
关键词：人工神经网络 遗传算法 模拟退火算法 群集智能 蚁群算法 粒子群算
1 什么是智能算法
智能计算也有人称之为“软计算”，是们受自然（生物界）规律的启迪，根据其原理，模仿求解问题的算法。从自然界得到启迪，模仿其结构进行发明创造，这就是仿生学。这是我们向自然界学习的一个方面。另一方面，我们还可以利用仿生原理进行设计(包括设计算法)，这就是智能计算的思想。这方面的内容很多，如人工神经网络技术、遗传算法、模拟退火算法、模拟退火技术和群集智能技术等。
2 人工神经网络算法
“人工神经网络”(ARTIFICIAL NEURAL NETWORK，简称ANN)是在对人脑组织结构和运行机制的认识理解基础之上模拟其结构和智能行为的一种工程系统。早在本世纪40年代初期，心理学家McCulloch、数学家Pitts就提出了人工神经网络的第一个数学模型，从此开创了神经科学理论的研究时代。其后，F Rosenblatt、Widrow和J. J .Hopfield等学者又先后提出了感知模型，使得人工神经网络技术得以蓬勃发展。
神经系统的基本构造是神经元(神经细胞)，它是处理人体内各部分之间相互信息传递的基本单元。据神经生物学家研究的结果表明，人的一个大脑一般有1010～1011个神经元。每个神经元都由一个细胞体，一个连接其他神经元的轴突和一些向外伸出的其它较短分支——树突组成。轴突的功能是将本神经元的输出信号(兴奋)传递给别的神经元。其末端的许多神经末梢使得兴奋可以同时传送给多个神经元。树突的功能是接受来自其它神经元的兴奋。神经元细胞体将接受到的所有信号进行简单处理(如：加权求和，即对所有的输入信号都加以考虑且对每个信号的重视程度——体现在权值上——有所不同)后由轴突输出。神经元的树突与另外的神经元的神经末梢相连的部分称为突触。
2.1 人工神经网络的特点
人工神经网络是由大量的神经元广泛互连而成的系统，它的这一结构特点决定着人工神经网络具有高速信息处理的能力。人脑的每个神经元大约有103～104个树突及相应的突触，一个人的大脑总计约形成1014～1015个突触。用神经网络的术语来说，即是人脑具有1014～1015个互相连接的存储潜力。虽然每个神经元的运算功能十分简单，且信号传输速率也较低(大约100次/秒)，但由于各神经元之间的极度并行互连功能，最终使得一个普通人的大脑在约1秒内就能完成现行计算机至少需要数10亿次处理步骤才能完成的任务。
人工神经网络的知识存储容量很大。在神经网络中，知识与信息的存储表现为神经元之间分布式的物理联系。它分散地表示和存储于整个网络内的各神经元及其连线上。每个神经元及其连线只表示一部分信息，而不是一个完整具体概念。只有通过各神经元的分布式综合效果才能表达出特定的概念和知识。
由于人工神经网络中神经元个数众多以及整个网络存储信息容量的巨大，使得它具有很强的不确定性信息处理能力。即使输入信息不完全、不准确或模糊不清，神经网络仍然能够联想思维存在于记忆中的事物的完整图象。只要输入的模式接近于训练样本，系统就能给出正确的推理结论。
正是因为人工神经网络的结构特点和其信息存储的分布式特点，使得它相对于其它的判断识别系统，如：专家系统等，具有另一个显著的优点：健壮性。生物神经网络不会因为个别神经元的损失而失去对原有模式的记忆。最有力的证明是，当一个人的大脑因意外事故受轻微损伤之后，并不会失去原有事物的全部记忆。人工神经网络也有类似的情况。因某些原因，无论是网络的硬件实现还是软件实现中的某个或某些神经元失效，整个网络仍然能继续工作。
人工神经网络是一种非线性的处理单元。只有当神经元对所有的输入信号的综合处理结果超过某一门限值后才输出一个信号。因此神经网络是一种具有高度非线性的超大规模连续时间动力学系统。它突破了传统的以线性处理为基础的数字电子计算机的局限，标志着人们智能信息处理能力和模拟人脑智能行为能力的一大飞跃。
2.2 几种典型神经网络简介
2.2.1 多层感知网络(误差逆传播神经网络)
在1986年以Rumelhart和McCelland为首的科学家出版的《Parallel Distributed Processing》一书中，完整地提出了误差逆传播学习算法，并被广泛接受。多层感知网络是一种具有三层或三层以上的阶层型神经网络。典型的多层感知网络是三层、前馈的阶层网络，即：输入层I、隐含层(也称中间层)J和输出层K。相邻层之间的各神经元实现全连接，即下一层的每一个神经元与上一层的每个神经元都实现全连接，而且每层各神经元之间无连接。
但BP网并不是十分的完善，它存在以下一些主要缺陷：学习收敛速度太慢、网络的学习记忆具有不稳定性，即：当给一个训练好的网提供新的学习记忆模式时，将使已有的连接权值被打乱，导致已记忆的学习模式的信息的消失。
2.2.2 竞争型(KOHONEN)神经网络
它是基于人的视网膜及大脑皮层对剌激的反应而引出的。神经生物学的研究结果表明：生物视网膜中，有许多特定的细胞，对特定的图形(输入模式)比较敏感，并使得大脑皮层中的特定细胞产生大的兴奋，而其相邻的神经细胞的兴奋程度被抑制。对于某一个输入模式，通过竞争在输出层中只激活一个相应的输出神经元。许多输入模式，在输出层中将激活许多个神经元，从而形成一个反映输入数据的“特征图形”。竞争型神经网络是一种以无教师方式进行网络训练的网络。它通过自身训练，自动对输入模式进行分类。竞争型神经网络及其学习规则与其它类型的神经网络和学习规则相比，有其自己的鲜明特点。在网络结构上，它既不象阶层型神经网络那样各层神经元之间只有单向连接，也不象全连接型网络那样在网络结构上没有明显的层次界限。它一般是由输入层(模拟视网膜神经元)和竞争层(模拟大脑皮层神经元，也叫输出层)构成的两层网络。两层之间的各神经元实现双向全连接，而且网络中没有隐含层。有时竞争层各神经元之间还存在横向连接。竞争型神经网络的基本思想是网络竞争层各神经元竞争对输入模式的响应机会，最后仅有一个神经元成为竞争的胜者，并且只将与获胜神经元有关的各连接权值进行修正，使之朝着更有利于它竞争的方向调整。神经网络工作时，对于某一输入模式，网络中与该模式最相近的学习输入模式相对应的竞争层神经元将有最大的输出值，即以竞争层获胜神经元来表示分类结果。这是通过竞争得以实现的，实际上也就是网络回忆联想的过程。
除了竞争的方法外，还有通过抑制手段获取胜利的方法，即网络竞争层各神经元抑制所有其它神经元对输入模式的响应机会，从而使自己“脱颖而出”，成为获胜神经元。除此之外还有一种称为侧抑制的方法，即每个神经元只抑制与自己邻近的神经元，而对远离自己的神经元不抑制。这种方法常常用于图象边缘处理，解决图象边缘的缺陷问题。
竞争型神经网络的缺点和不足：因为它仅以输出层中的单个神经元代表某一类模式。所以一旦输出层中的某个输出神经元损坏，则导致该神经元所代表的该模式信息全部丢失。
2.2.3 Hopfield神经网络
1986年美国物理学家J.J.Hopfield陆续发表几篇论文，提出了Hopfield神经网络。他利用非线性动力学系统理论中的能量函数方法研究反馈人工神经网络的稳定性，并利用此方法建立求解优化计算问题的系统方程式。基本的Hopfield神经网络是一个由非线性元件构成的全连接型单层反馈系统。
网络中的每一个神经元都将自己的输出通过连接权传送给所有其它神经元，同时又都接收所有其它神经元传递过来的信息。即：网络中的神经元t时刻的输出状态实际上间接地与自己的t-1时刻的输出状态有关。所以Hopfield神经网络是一个反馈型的网络。其状态变化可以用差分方程来表征。反馈型网络的一个重要特点就是它具有稳定状态。当网络达到稳定状态的时候，也就是它的能量函数达到最小的时候。这里的能量函数不是物理意义上的能量函数，而是在表达形式上与物理意义上的能量概念一致，表征网络状态的变化趋势，并可以依据Hopfield工作运行规则不断进行状态变化，最终能够达到的某个极小值的目标函数。网络收敛就是指能量函数达到极小值。如果把一个最优化问题的目标函数转换成网络的能量函数，把问题的变量对应于网络的状态，那么Hopfield神经网络就能够用于解决优化组合问题。
对于同样结构的网络，当网络参数(指连接权值和阀值)有所变化时，网络能量函数的极小点(称为网络的稳定平衡点)的个数和极小值的大小也将变化。因此，可以把所需记忆的模式设计成某个确定网络状态的一个稳定平衡点。若网络有M个平衡点，则可以记忆M个记忆模式。
当网络从与记忆模式较靠近的某个初始状态(相当于发生了某些变形或含有某些噪声的记忆模式，也即：只提供了某个模式的部分信息)出发后，网络按Hopfield工作运行规则进行状态更新，最后网络的状态将稳定在能量函数的极小点。这样就完成了由部分信息的联想过程。
Hopfield神经网络的能量函数是朝着梯度减小的方向变化，但它仍然存在一个问题，那就是一旦能量函数陷入到局部极小值，它将不能自动跳出局部极小点，到达全局最小点，因而无法求得网络最优解。 3 遗传算法
遗传算法（Genetic Algorithms）是基于生物进化理论的原理发展起来的一种广为应用的、高效的随机搜索与优化的方法。其主要特点是群体搜索策略和群体中个体之间的信息交换，搜索不依赖于梯度信息。它是在70年代初期由美国密执根（Michigan）大学的霍兰（Holland）教授发展起来的。1975年霍兰教授发表了第一本比较系统论述遗传算法的专著《自然系统与人工系统中的适应性》（《Adaptation in Natural and Artificial Systems》）。遗传算法最初被研究的出发点不是为专门解决最优化问题而设计的，它与进化策略、进化规划共同构成了进化算法的主要框架，都是为当时人工智能的发展服务的。迄今为止，遗传算法是进化算法中最广为人知的算法。
近几年来，遗传算法主要在复杂优化问题求解和工业工程领域应用方面，取得了一些令人信服的结果，所以引起了很多人的关注。在发展过程中，进化策略、进化规划和遗传算法之间差异越来越小。遗传算法成功的应用包括：作业调度与排序、可靠性设计、车辆路径选择与调度、成组技术、设备布置与分配、交通问题等等。
3.1 特点
遗传算法是解决搜索问题的一种通用算法，对于各种通用问题都可以使用。搜索算法的共同特征为： ① 首先组成一组候选解； ② 依据某些适应性条件测算这些候选解的适应度； ③ 根据适应度保留某些候选解，放弃其他候选解； ④ 对保留的候选解进行某些操作，生成新的候选解。在遗传算法中，上述几个特征以一种特殊的方式组合在一起：基于染色体群的并行搜索，带有猜测性质的选择操作、交换操作和突变操作。这种特殊的组合方式将遗传算法与其它搜索算法区别开来。
遗传算法还具有以下几方面的特点：
(1)遗传算法从问题解的串集开始嫂索，而不是从单个解开始。这是遗传算法与传统优化算法的极大区别。传统优化算法是从单个初始值迭代求最优解的；容易误入局部最优解。遗传算法从串集开始搜索，覆盖面大，利于全局择优。(2)许多传统搜索算法都是单点搜索算法，容易陷入局部的最优解。遗传算法同时处理群体中的多个个体，即对搜索空间中的多个解进行评估，减少了陷入局部最优解的风险，同时算法本身易于实现并行化。
(3)遗传算法基本上不用搜索空间的知识或其它辅助信息，而仅用适应度函数值来评估个体，在此基础上进行遗传操作。适应度函数不仅不受连续可微的约束，而且其定义域可以任意设定。这一特点使得遗传算法的应用范围大大扩展。
(4)遗传算法不是采用确定性规则，而是采用概率的变迁规则来指导他的搜索方向。
(5)具有自组织、自适应和自学习性。遗传算法利用进化过程获得的信息自行组织搜索时，硬度大的个体具有较高的生存概率，并获得更适应环境的基因结构。
3.2 运用领域
前面描述是简单的遗传算法模型，可以在这一基本型上加以改进，使其在科学和工程领域得到广泛应用。下面列举了一些遗传算法的应用领域： ① 优化：遗传算法可用于各种优化问题。既包括数量优化问题，也包括组合优化问题。 ② 程序设计：遗传算法可以用于某些特殊任务的计算机程序设计。 ③ 机器学习：遗传算法可用于许多机器学习的应用，包括分类问题和预测问题等。 ④ 经济学：应用遗传算法对经济创新的过程建立模型，可以研究投标的策略，还可以建立市场竞争的模型。 ⑤ 免疫系统：应用遗传算法可以对自然界中免疫系统的多个方面建立模型，研究个体的生命过程中的突变现象以及发掘进化过程中的基因资源。 ⑥ 进化现象和学习现象：遗传算法可以用来研究个体是如何学习生存技巧的，一个物种的进化对其他物种会产生何种影响等等。 ⑦ 社会经济问题：遗传算法可以用来研究社会系统中的各种演化现象，例如在一个多主体系统中，协作与交流是如何演化出来的。
4 模拟退火算法
模拟退火算法来源于固体退火原理，将固体加温至充分高，再让其徐徐冷却，加温时，固体内部粒子随温升变为无序状，内能增大，而徐徐冷却时粒子渐趋有序，在每个温度都达到平衡态，最后在常温时达到基态，内能减为最小。根据Metropolis准则，粒子在温度T时趋于平衡的概率为e-ΔE/(kT)，其中E为温度T时的内能，ΔE为其改变量，k为Boltzmann常数。用固体退火模拟组合优化问题，将内能E模拟为目标函数值f ，温度T演化成控制参数t，即得到解组合优化问题的模拟退火算法：由初始解i和控制参数初值t开始，对当前解重复“产生新解计算目标函数差接受或舍弃”的迭代，并逐步衰减t值，算法终止时的当前解即为所得近似最优解，这是基于蒙特卡罗迭代求解法的一种启发式随机搜索过程。退火过程由冷却进度表(Cooling Schedule)控制，包括控制参数的初值t及其衰减因子Δt、每个t值时的迭代次数L和停止条件S。
5 群体（群集）智能（Swarm Intelligence）
受社会性昆虫行为的启发，计算机工作者通过对社会性昆虫的模拟产生了一系列对于传统问题的新的解决方法，这些研究就是群集智能的研究。群集智能(Swarm Intelligence)中的群体(Swarm)指的是“一组相互之间可以进行直接通信或者间接通信(通过改变局部环境)的主体，这组主体能够合作进行分布问题求解”。而所谓群集智能指的是“无智能的主体通过合作表现出智能行为的特性”。群集智能在没有集中控制并且不提供全局模型的前提下，为寻找复杂的分布式问题的解决方案提供了基础。
群集智能的特点和优点：群体中相互合作的个体是分布式的(Distributed)，这样更能够适应当前网络环境下的工作状态; 没有中心的控制与数据，这样的系统更具有鲁棒性(Robust)，不会由于某一个或者某几个个体的故障而影响整个问题的求解。可以不通过个体之间直接通信而是通过非直接通信(Stimergy)进行合作，这样的系统具有更好的可扩充性(Scalability)。由于系统中个体的增加而增加的系统的通信开销在这里十分小。系统中每个个体的能力十分简单，这样每个个体的执行时间比较短，并且实现也比较简单，具有简单性(Simplicity)。因为具有这些优点，虽说群集智能的研究还处于初级阶段，并且存在许多困难，但是可以预言群集智能的研究代表了以后计算机研究发展的一个重要方向。
在计算智能(Computational Intelligence)领域有两种基于群智能的算法，蚁群算法(Ant Colony Optimization)和粒子群算法(Particle Swarm Optimization)，前者是对蚂蚁群落食物采集过程的模拟，已经成功运用在很多离散优化问题上。
5.1 蚁群优化算法
受蚂蚁觅食时的通信机制的启发，90年代Dorigo提出了蚁群优化算法(Ant Colony Optimization，ACO)来解决计算机算法学中经典的“货郎担问题”。如果有n个城市，需要对所有n个城市进行访问且只访问一次的最短距离。
在解决货郎担问题时，蚁群优化算法设计虚拟的“蚂蚁”将摸索不同路线，并留下会随时间逐渐消失的虚拟“信息素”。虚拟的“信息素”也会挥发，每只蚂蚁每次随机选择要走的路径，它们倾向于选择路径比较短的、信息素比较浓的路径。根据“信息素较浓的路线更近"的原则，即可选择出最佳路线。由于这个算法利用了正反馈机制，使得较短的路径能够有较大的机会得到选择，并且由于采用了概率算法，所以它能够不局限于局部最优解。
蚁群优化算法对于解决货郎担问题并不是目前最好的方法，但首先，它提出了一种解决货郎担问题的新思路；其次由于这种算法特有的解决方法，它已经被成功用于解决其他组合优化问题，例如图的着色(Graph Coloring)以及最短超串(Shortest Common Supersequence)等问题。
5.2 粒子群优化算法
粒子群优化算法(PSO)是一种进化计算技术(Evolutionary Computation)，有Eberhart博士和Kennedy博士发明。源于对鸟群捕食的行为研究。
PSO同遗传算法类似，是一种基于叠代的优化工具。系统初始化为一组随机解，通过叠代搜寻最优值。但是并没有遗传算法用的交叉(crossover)以及变异(mutation)。而是粒子在解空间追随最优的粒子进行搜索。
同遗传算法比较，PSO的优势在于简单容易实现并且没有许多参数需要调整。目前已广泛应用于函数优化，神经网络训练，模糊系统控制以及其他遗传算法的应用领域。
粒子群优化算法(PSO) 也是起源对简单社会系统的模拟，最初设想是模拟鸟群觅食的过程，但后来发现PSO是一种很好的优化工具。
5.2.1 算法介绍
PSO模拟鸟群的捕食行为。一群鸟在随机搜索食物，在这个区域里只有一块食物。所有的鸟都不知道食物在那里。但是他们知道当前的位置离食物还有多远。那么找到食物的最优策略是什么呢。最简单有效的就是搜寻目前离食物最近的鸟的周围区域。
PSO从这种模型中得到启示并用于解决优化问题。PSO中，每个优化问题的解都是搜索空间中的一只鸟。我们称之为“粒子”。所有的粒子都有一个由被优化的函数决定的适应值(fitness value)，每个粒子还有一个速度决定他们飞翔的方向和距离。然后粒子们就追随当前的最优粒子在解空间中搜索。
PSO初始化为一群随机粒子(随机解)，然后通过叠代找到最优解，在每一次叠代中，粒子通过跟踪两个“极值”来更新自己。第一个就是粒子本身所找到的最优解，这个解叫做个体极值pBest，另一个极值是整个种群目前找到的最优解，这个极值是全局极值gBest。另外也可以不用整个种群而只是用其中一部分最优粒子的邻居，那么在所有邻居中的极值就是局部极值。
5.2.2 PSO算法过程
① 种群随机初始化。
② 对种群内的每一个个体计算适应值(fitness value)。适应值与最优解的距离直接有关。
③ 种群根据适应值进行复制 。
④ 如果终止条件满足的话，就停止，否则转步骤 ② 。
从以上步骤，我们可以看到PSO和遗传算法有很多共同之处。两者都随机初始化种群，而且都使用适应值来评价系统，而且都根据适应值来进行一定的随机搜索。两个系统都不是保证一定找到最优解。但是，PSO没有遗传操作如交叉(crossover)和变异(mutation)，而是根据自己的速度来决定搜索。粒子还有一个重要的特点，就是有记忆。
与遗传算法比较，PSO的信息共享机制是很不同的。在遗传算法中，染色体(chromosomes) 互相共享信息，所以整个种群的移动是比较均匀的向最优区域移动。在PSO中， 只有gBest (or lBest) 给出信息给其他的粒子， 这是单向的信息流动。整个搜索更新过程是跟随当前最优解的过程。与遗传算法比较， 在大多数的情况下，所有的粒子可能更快的收敛于最优解。
现在已经有一些利用PSO代替反向传播算法来训练神经网络的论文。研究表明PSO 是一种很有潜力的神经网络算法，同时PSO速度比较快而且可以得到比较好的结果。
6 展望
目前的智能计算研究水平暂时还很难使“智能机器”真正具备人类的常识，但智能计算将在21世纪蓬勃发展。不仅仅只是功能模仿要持有信息机理一致的观点。即人工脑与生物脑将不只是功能模仿，而是具有相同的特性。这两者的结合将开辟一个全新的领域，开辟很多新的研究方向。智能计算将探索智能的新概念，新理论，新方法和新技术，而这一切将在以后的发展中取得重大成就。
参考文献
[1] “Ant-Colony Optimization Algorithms(ACO)”，
leanair4.mit.edu/docushare/dscgi/ds.py/Get/File-378/RG_EE141_W8ACO.pdf
[2 ] “Swarm intelligence-what is it and why is it interesting”
micro.caltech.edu/Courses/EE150/dungeon/Week1/OH_W1SwarmIntel.pdf
[3] Tony White，“Swarm Intelligence: A Gentle Introduction With Application”，
sce.carleton.ca/netmanage/tony/swarm-presentation/index.htm
[4] 胡守仁等.神经网络导论[M].长沙:国防科技大学出版社，1993.113～117.
[5] 姚新，陈国良，徐惠敏等.进化算法研究进展[J].计算机学报，1995，18(9):694-706.
人工神经网络的起源范文3
关键词：CRM；渠道偏好度；电信
一、 案例研究方法与模型介绍
西方学者的案例研究过程渊源已久，Kyburz-Graber（2004）将案例研究分为三类：描述性案例研究、探索性案例研究以及因果解释性案例研究。本研究属于探索性案例研究，希望以国内一家电信运营商的CRM管理过程实践为研究对象，分析客户对于渠道的偏好度。本案例企业为某电信运营商的一家地市分公司，拥有超过三百万用户，主要从事移动通信和数据服务业务。
这家电信运营商在完成基本的各种业务运营的生产性信息系统后，进一步完成数据汇总并建设了涵盖所有客户互动历史数据的中央数据仓库系统作为企业级业务数据平台。其市场营销部门充分利用这个统一集中的管理信息平台，对客户作各种深度的数据挖掘研究。对于渠道的偏好度的研究分析方案
1. 渠道的类型定为四类：营业厅、电话客服中心、短信、网站。
2. 客户渠道的偏好度模型，使用数据挖掘的人工神经网络技术（详述如后），计算出每个用户使用四种渠道办理业务的倾向度评分。
3. 主要的数据来源包括客服中心呼叫记录，短信请求记录，网站渠道运营记录，业务支撑系统工单，服务使用数据，以及客户基本属性数据等。
4. 时间分析窗口数据，利用渠道偏好度模型给每个分析用户进行渠道使用倾向评分，再通过验证窗口用户使用渠道情况进行模型验证。分析窗口：用于分析特征的历史数据的时间跨度，需要3个月的历史数据；验证窗口：用于验证用户使用渠道情况，需要2个月的历史数据。
5. 本案例研究所使用的技术方法为人工神经网络（ANN）。人工神经网络的研究发展起源于20世纪40年代，是一种模仿人脑神经系统的非线性映射结构。它不依赖于精确数学模型，而显示出自适应和自学习功能。1943年，法国心理学家W.S.McCuloch和W.Pitts提出了第一个神经元数学模型，开创了人类自然科学史上的一门新兴科学ANN的研究。
人工神经网络会不断检验预测结果与实际情况是否相符。把与实际情况不符合的输入输出数据作为新的样本，对新样本进行动态学习并动态改变网络结构和参数，这样使网络适应环境或预测对象本身结构和参数的变化，从而使预测网络模型有更强的适应性。而在ANN的实现过程当中，往往需要大量的数据来产生充足的训练和测试样本模式集，以有效地训练和评估ANN的性能，这正好是建立在数据仓库和数据挖掘工具所能提供的。由于ANN和数据挖掘两者的优势互补，将神经网络用于数据挖掘具有现实意义和实用价值。人工神经网络在数据挖掘中的优势是：对于噪声数据的强承受能力，对数据分类的高准确性，以及可用各种算法进行规则提取。
人工神经网络方法常用于分类、聚类、特征挖掘、预测和模式识别。神经网络模型大致可分为以下三种：（1）前馈式网络：以感知机、反向传播模型和函数型网络为代表，主要用于预测和模式识别等领域；（2）反馈式网络：以Hopfield离散模型和连续模型为代表，主要用于联想记忆和优化计算；（3）自组织网络：以自适应共振理论：（Adaptive Resonance Theory，ART）模型为代表，主要用于聚类分析。
在本案例应用中，主要是用前馈式网络来进行多变量的概率分布预测。因为本文目标是对用户使用几种渠道的可能性高低进行预测。
二、 案例研究的实施与分析
1. 业务规划的考量。对客户使用渠道的习惯偏好进行分析具有重大意义，可以对营销活动提供有力的支持。通过客户行为特征分析，寻找客户选择渠道的偏好，提供客户营销渠道的最优路径。不但有利于优化渠道资源，降低营销成本，更能提高营销成功率，提升客户满意度。
目前电信客户可以使用的移动通信服务渠道包括营业厅、电话客服、短信、网站、自助服务终端等，其中营业厅提供服务功能最为齐全，但成本也是最高；电话客服使用最为广泛，几乎每个客户都有使用电话客服的经验，也是提供最多服务的渠道，对于电信公司的用户满意度非常重要。因此，研究应用的重点之一就是如何发挥电话客服的优势，以有限资源服务更多的高价值客户和业务，减少低价值客户和业务占用客服资源的比例。同时，重点发展电子渠道，着重提高电子渠道的普及率，培养用户使用电子渠道的习惯，引导用户从传统渠道（营业厅、电话客服）向电子渠道（短信和网站）转变。
2. 具体的技术实现方案：
（1）数据准备：基于业务理解以及数据分析，选取以下变量为构建模型的基础变量；（详细列表如表1所示）
（2）数据质量分析：对预处理之后的基础变量进行数据质量分析以剔除质量较差的变量；
（3）数据探索：通过可视化（Visualization）工具及统计分析等方法来展示及探索各个变量的可用性，从而获得模型的输入变量。从中了解变量的重要性及业务发展规律；
（4）数据处理流程：按照挖掘任务的要求，将数据从中央数据仓库抽取生成挖掘专用的数据集市。基本的数据处理流程有：数据源的汇总合并；执行数据探索抽样；透过人工神经网络（ANN）进行模型打分；产生模型并进行模型验证整体技术方案的关键点体现在两个方面：建模过程：为渠道偏好的分类预测找到合适的基础变量，有助于模型收敛更快更好；模型应用过程：应用最小长度原理，控制隐藏节点数，以达到拟合最优。另借助SAS软件工具实现模型打分。
3. 具体应用实现案例。根据电话、网站、短信和营业厅渠道各个评分前10%的用户，取各渠道用户的评分值、每用户平均收入（ARPU）、以及在网时长的信息设计营销方案。
（1）对偏好电话的客户，通过电话营销中心外呼进行营销，完成后需要对客户进行短信感谢，同时介绍网站渠道的便利性和信息丰富的特点。
（2）对偏好网站的客户，通过短信提醒用户登录网上营业厅办理业务的优惠信息，在客户登录网上营业厅时进行营销推荐，同时考虑发展响应较高的用户群作为网站营销的种子客户，进行持续的优惠激励。
（3）对偏好短信的客户，通过短信进行营销推荐，给予短信办理业务的优惠条件，提醒客户可以尝试使用信息更加丰富的渠道――网站，并提供网站办理的简单指引。
（4）对偏好营业厅的客户，通过短信提醒客户最近的营业厅，同时推荐客户使用电话渠道，而后再通过电话引导客户使用营业厅之外的渠道，并考虑对这些客户给予业务优惠吸引他们采用。
4. 渠道模型分析结果与验证。
（1）电话客服中心渠道的偏好度分析。在电话客服中心的营销活动中，电话外呼的目标客户优先选择具有电话偏好度的客户群，其次是没有明显渠道偏好的客户群，再次是营业厅偏好的客户群，针对营业厅偏好客户，可以在电话营销的时候加入向用户推荐就近的营业厅的资料。
通过电话渠道偏好客户分析，归纳出影响偏好电话客服渠道最明显的前10个参数如表2示。
其中，拨打客服次数、在网时长、总计费分钟数、是否VIP客户、拨打客服平均时长、拨打声讯台次数、呼转次数这7个因素对客户的电话偏好产生正影响，也就是客户的这些参数的值越大，其偏好电话渠道的可能性就越大；而网站操作业务类型数、短信操作次数、网站登录次数这3个因素对电话偏好产生负影响，与正影响相反。
以“拨打客服次数”为例，T统计量基本显着（P-值小于显着性水平0.05），即“拨打客服次数”对因变量具有显着的解释能力，参数估计值为0.102 3，即在其他控制其他变量不变的情况下，对数发生比随着“拨打客服次数”的增加而增加。
从电话渠道模型验证的角度，前10%的用户数量明显较多，因此选择前模型得分前10％的客户作为电话偏好的目标客户。从图2的曲线来看，模型得分前10％的客户覆盖实际具有电话渠道偏好客户比例达到了30％以上，因此模型提升率达到3倍以上，说明选择前10%是可以满足目前的要求。
（2）短信渠道的偏好度分析。通过短信渠道偏好客户分析，归纳出影响偏好短信渠道最明显的前9个参数：其中短信操作业务类型数、WLAN使用分钟数、是否使用中文秘书、漫游计费分钟4个参数，对短信偏好产生正影响；而在网时长、网站操作业务类型数、总计费分钟数、拨打客服次数、是否使用留言信箱5个参数对短信偏好产生负影响。
由于短信办理业务的方式比较容易被年轻人接受，而在网时长比较大的客户通常是老客户，他们比较习惯使用电话，使用短信的可能性比较小，因此对比可以看出，在网时长对电话渠道是正影响，对短信渠道是负影响。
对短信渠道模型进行验证，几乎所有的短信业务办理的用户都是模型得分在20％以内的，采用短信方式办理业务的用户的得分都很高，模型覆盖率非常精确，模型评分前20％的用户几呼覆盖100％的短信办理用户，模型提升率接近5倍。说明短信渠道偏好的模型评价用户是否有短信偏好的能力较强，具有很好的预测能力。
（3）网站渠道的偏好度分析。通过网站渠道偏好的客户分析，归纳出影响偏好网站渠道最明显的前10个参数：其中网站操作业务类型数、数据业务使用种类数、是否使用号码管理3个参数对网站偏好产生正影响；而拨打客服次数、总计费分钟数、拨打客服平均时长、订购的WAP服务数、是否VIP客户、短信操作业务类型数、彩铃IVR买歌次数7个参数对网站偏好产生负影响。
前10大参数中，网站偏好影响为正的参数只有3个，负影响的因素则有7个，原因是参数的设置和选择目前主要来自于客户属性和使用手机的信息，这些内容通常与网站操作没有太多关联性，与网站相关的许多数据目前的系统中难以取到；另一个原因可能是网站营业厅的出现时间比较晚，能够提供的服务内容比较少。针对熟练使用网站办理业务的用户，可以提供目标性的营销发展成为公司的网站业务使用的“种子客户”，通过他们去影响交往圈的其他客户，从而提升网站办理的数量和比例，减轻对电话渠道的压力，使得电话营销中心的资源可以投放到更有生产力的活动中。
网站渠道模型评分排名前10％的客户实际验证中通过网站办理数明显高于排名靠后的其他客户，说明模型评分的准确度比较高。
三、 研究案例总结
掌握好渠道偏好度的工作，能够有效地以有限的资源尽可能的服务更多的高价值的客户和业务，减少低价值客户和业务占用客服渠道资源的比例。同时，重点发展电子渠道，培养引导用户从传统渠道（营业厅和电话客服）向电子渠道（网站和短信）转变，对于电信运营商就必能产生关键性的绩效提升。
利用数据仓库再进行数据挖掘可以突破以往的技术困难限制，有效地建立高精确度的模型。构建模型时基础变量选取得当能够产生很好的适应性和普及弹性，体现涵盖不同省、市的区域差别。从上述实际的案例，也验证了应用这种CRM信息技术的优越能力，一旦建立了标准模型和技术方案的实施机制，将会易于其推广便利为运营商创造显着绩效。
参考文献：
1. Armstrong, G, Kotler, P. Marketing: An introduction，2005.
2. Eisenhardt, K. Building Theories from Case Study Research. Academy of Management Review, 1989,14（4）:532-550.
3. Kyburz-Graber, R. Does Case-study Methodology Lack Rigour? The Need for Quality Criteria for Sound Case-study Research, as Illustrated by a Recent Case in Secondary and Higher Education. Environmental Education Research,2004,10（1）:53-65.
人工神经网络的起源范文4
关键词：数字图像处理 GIS 技术应用
中图分类号：TP391.41 文献标识码：A 文章编号：1007-9416（2016）05-0000-00
数字图像处理就是利用计算机对图像信息进行加工来满足人类视觉或心理需求的行为，实质上是一串能够被计算机还原显示和输出为一幅图像的数字码，在科学技术高度发展的现代社会，人类对信息的获取与传输主要依靠图像，所以图像对于人类认识世界，认识社会都有着很重要的作用。图像处理技术发展时间并不长，其技术起源是在20世纪20年代，至今还不到一个世纪，因此数字图像技术还未被完全的开发和利用，现如今除了对图片作出处理之外，也在GIS（地理信息系统）中被充分应用。数字图像处理技术在GIS中的应用，为地理信息系统的发展完善作出了巨大的贡献。
1数字图像技术的发展与现状
数字图像技术的应用就是图片通过计算机网络传递的过程中将图片转化成一组具有特定规律的计算机可以接受的数字形式，一般是用数字矩阵来表达的。所以数字图像处理技术的发展是在计算机基础上发展来的，主要是靠计算机水平和数学理论作为发展动力，换言之就是计算机的发展推动数字图像处理技术的发展。
随着计算机的发展，数字图像技术也开始发展，数字图像技术的起源是20世纪20年代，但真正的发展是在20世纪40年代计算机技术开始发展之后，其最早期的处理是以傅里叶变换为基础对图像进行简单的处理，但是由于当时的计算机的容量很小，而图片的容量却很大，因此这个阶段的图像处理通常是分段进行，并且时间也较慢，所以在当时的实用性并不是很强[1]。
一直到了20世纪80年代，随着计算机技术实现质的飞跃后，数字图像处理才真正的在计算机中实现，其真正的价值意义才被发掘，并且随着数字化仪与扫描仪的生产与运用、遥感技术的发展与数学算法的成熟都在一定程度上促进了数字图像技术的进步与完善，其主要的应用范围是在通讯技术、宇宙探索、遥感技术、生物医学、工业生产、气象预测、计算机科学军事技术、侦缉破案考古以及测绘等等方面，数字图像处理技术的应用为这些领域的发展打开了新的发展领域。
2数字图像处理的基本理论与技术
数字图像处理自从其发展以来一直在不断的发展与完善，不断的寻求新的理论与算法，在不断的发展探索中形成了多种理论。
（1）小波理论。小波理论相对于傅里叶变换有着很大的优越性，但是小波理论的真正突破是从20世纪80年代开始的，虽然经过了长时间的发展但还是存在很多的问题亟待解决。小波理论还被成为数学的“显微镜”[2]，当前对小波理论的应用还大多数在2维，目前仍然在探讨阶段。
（2）分形理论。分形理论是由英国人创立的，是非线性代数中的一个分支，它在自然科学中被广泛的应用，在自然界中的物质大都可以分为两种情况，一种的有形状尺度的，例如一棵树的高度，也有没有具体的形状尺度的，比如雨雪，而这些没有尺度的就是分形，在图像中分形几何的物质大量的存在，所以在数字图像处理中分形理论被大量的运用。
（3）人工神经网络。人工神经网络顾名思义就是模仿人脑在工作中的方式而设计的一种机器，它具有不断的获取知识而解决问题的能力，在快速的运算以及学习理论的能力都有着非常重要的成果。人工神经网络已经被应用到很多领域，对于图像处理领域主要应用于字体字符的识别、语音、签字、指纹、人脸等的识别，以及对癌细胞的识别，心电图与脑电图的分类等等。虽然在人工神经网络方面取得了一定的成果，但是仍然是处于初级阶段，发展道路仍然很漫长。
（4）遗传算法。遗传算法在近几年来的研究中广受欢迎，其主要是依据生物学中的遗传规律来研究生物个体之间的关系，数字图像处理中主要是运用遗传算法来对图像进行分类，并且也取得了一定的成果，但是遗传算法的价值不仅在于此，更多的价值有待发掘。
（5）数学形态学。形态学本是生物学种研究植物、动物的结构的一个分支，后来被应用于以形态为基础对图形进行分析的一种数学工具。数学形态学在数字图像处理中可以简化图片的数据，保持图像的基本图形。
3 熟悉图像处理在GIS中的应用
GIS（地理信息系统）是一门在诸多学科的基础上发展起来的一门学科，有独立的学科体系，GIS中融合了地理学、地图学、测量学以及计算机等科学，它主要作为获取、整理、分析和管理地理空间数据的重要工具与技术手段，近年来被广泛的关注与发展，并且取得了一定的成果，但是GIS是具有非常鲜明的时代性的学科，所以随着时代的不断进步，GIS也会不断的发展。当前我国对GIS的研究仅停留在了3维，所以发展研究的空间仍然很大。
当前我国运用的GIS系统主要是以数字图像处理技术为基础的，GIS的编辑、存储以及查询等都是运用的图像处理技术；根据GIS的发展动向来看，今后的GIS将会主要依据遥感技术，而遥感技术就是图像处理技术中的技术要领；GIS中运用到的数据分析也是依靠的数字图像处理技术理论来对数据进行压缩和编码的，因此GIS的发展与完善都离不开数字图像处理，并且随着数字图像处理的不断的发展，GIS也会随之不断的前进。
4结语
数字图形处理技术主要依据电子计算机的发展而发展，因此数字图形处理的发展受计算机行业的发展速度影响，今后其应用也会越来越广泛，并且也会一直影响GIS的发展与创新，数字图形处理在GIS中的应用也会越来越深入。
参考文献
人工神经网络的起源范文5
在本领域核心学术期刊ACS Nano、Scientific Reports、IEEE Electron Device Letters （EDL）、IEEE Transactions on Electron Devices （TED）、Applied Physics Letters（APL）及学术会议Symposium on VLSI Technology （VLSI）、International Electron Device Meeting （IEDM）等120余篇，其中2篇期刊论文为ESI（基本科学指标数据库）高被引论文（Top1%）；论文累计SCI他引800余次，h因子17。已申请中国发明专利50余项，30项获得授权；申请国际发明专利5项，3项获得授权。
兴趣使然，刘力锋从河北工业大学一路读到中国科学院半导体研究所获得博士学位，然后在北京大学完成博士后研究。那时，国际上还鲜有人提及“阻变存储器”这个新兴器件，他所在的团队负责人康晋锋教授却敏锐地预感到其广阔的应用前景，于是率领团队展开相应研究。刘力锋也自然走上这条时代科学前沿的攻坚之路。
十年磨一剑，如今的刘力锋对阻变存储器的了解有如庖丁解牛。研究初期，他的研究焦点集中在对于不同阻变材料的阻变机制的认识和理解上；现在，他将研究聚焦在如何利用阻变材料实现稳定、可靠的三维集成的阻变存储器，获得高密度低成本的器件，以满足实际的存储器件应用需求。同时，开展阻变器件的创新应用研究。
理清阻变机制
基于阻变现象实现数据存储的器件称为阻变存储器件（RRAM）。基于金属氧化物的阻变存储器可以同时满足大容量非挥发数据存储和高速度读写的需求，被认为是未来存储器技术中最有竞争力候选者之一。然而，对金属氧化物阻变存储器阻变特性的物理机制认识不清，阻碍了RRAM技术发展，“对阻变机制的争论主要集中在阻变介质中构成导电通道的成分及形貌、不同形貌下的电流输运机制，以及导电通道连通和断开的原因等问题”，刘力锋说，阻变机制不清就无法准确地理解RRAM的各种本征和非本征特性，从而难以对RRAM器件的特性做出正确评估，也难以鉴别影响RRAM阻变特性的关键因素。同时，缺乏RRAM器件的准确物理模型，难以对材料选择和工艺技术的改进提出有价值的指导。
在深入研究金属氧化物RRAM阻变开关特性的基础上，刘力锋及团队成员利用第一性原理计算并结合实验研究，提出了基于氧空位通道的电子跳跃导电输运机制，建立了以氧空位的产生和复合为基础的统一描述氧化物单极型和双极型RRAM电阻开关特性的物理模型。
探究过程中，刘力锋和团队成员们经常开会讨论，争论不断，往往上午刚刚得出的结论下午就被推倒重来。然而，功夫不负有心人，最终他们研究提出了统一的阻变微观机制――以统一的物理效应和观点阐明单、双极阻变的微观起源，可合理解释在金属氧化物阻变器件中观测到的多种现象。据刘力锋介绍，与之前所提的阻变机制不同，新机制重点突出了可动氧离子的作用，同时首次指出了氧离子与氧空位的复合是由电场作用下的氧空位电子耗尽效应决定，其对金属氧化物基RRAM材料优选和阻变开关性能的优化可谓具有重要的理论指导意义。基于阻变微观机制，他们还进一步研究发展了可以定量表征和预测阻变过程中相关物理效应及阻变器件性能的模型。
优化提高阻变性能和可靠性
尽管氧化物RRAM器件性能优越，但普遍存在电阻开关转变不稳定的问题。随着器件开关次数的增加，将发生因高阻态电阻、低阻态电阻、置位电压和复位电压的退化而导致器件失效的不稳定现象。刘力锋从器件材料优化和操作模式优化两个角度，对阻变器件特性的设计与性能改善方案做出指导性建议。
为了优化阻变器件性能，刘力锋历经大量时间筛选适合阻变材料和结构。后来，通过设计适量掺杂的阻变氧化层，电极材料以及界面层，同时引入电流扫描和优化的脉冲操作模式，成功制备出具有高性能的阻变器件。据悉，其set阻变时间小于20ns，具有阻变稳定的四级电阻态，多阻态的耐久循环次数超过106，在150度高温下的电阻态保持测量数据外推可达10年。
在此基础上，刘力锋利用提出的RRAM的微观阻变机制和理论模型，分析了影响氧化物RRAM器件阻变稳定性的关键因素；结合金属氧化物材料特性的第一性原理计算研究，提出了利用合适金属离子掺杂改善RRAM阻变开关均匀性的技术，同时提出掺杂离子种类和工艺的优化选择方法。此外，还提出一种新型编程和擦写操作模式，可有效改善氧化物RRAM阻变参数的一致性，提出了利用器件材料优化和操作模式优化相结合改善阻变器件综合性能的技术方案，为金属氧化物RRAM综合阻变性能的优化提供了指导性建议。
优化了阻变存储器的稳定性能，刘力锋又面临着提高其可靠性的问题，“目前，阻变器件的可靠性还无法满足实际器件应用的需求，这也是阻碍RRAM器件迈向产品化的一个重要技术瓶颈”。可靠性问题包括氧化物RRAM器件的保持特性失效现象，耐久力特性的失效行为等。RRAM阻变器件是基于新原理的存储器件，传统的存储器件失效评测技术将不能完全适用于RRAM器件评测，因此亟需发展一个新的可靠特性评测技术方法。
针对RRAM阻变器件保持特性失效现象、耐久力特性失效行为，刘力锋探讨了氧化物RRAM的阻变开关失效机制，提出了一种可以有效评测金属氧化物RRAM失效概率和电阻态保持时间的物理模型，并建立金属氧化物RRAM的高阻态和低阻态保持特性的评测方法；根据金属氧化物RRAM耐久力特性的各种失效特性，提出了可描述其耐久力性能退化的物理模型，用于预测RRAM阻变开关的耐久力特性。更重要的是，他提出了一种新型的器件操作模式，可将金属氧化物RRAM器件的耐久力提高一个数量级。
创新阻变器件应用
RRAM阻变器件除了在存储器领域有广阔应用前景外，还可能在逻辑电路中有所应用。众所周知，现有计算机使用的是冯诺依曼体系，即计算和存储分开。它的缺陷显而易见――运行数据必须在存储器和运算器之间相互传输，传输效率会因此降低。而若能将一些简单的运算直接在存储器中完成，就可以省去传输过程，从而实现更高的运算效率。这也被称为非挥发逻辑功能。根据这一想法，刘力锋希望研发出一种基于阻变现象的非挥发逻辑器件，可以同时实现多值存储和多值逻辑，“这将极大提高运算效率，还可以简化电路结构，实现更低的成本”。于是，他利用TiN/Gd：HfOx/Pt阻变器件实现了四进制的加法操作，成功演示了RRAM器件可用于多值非挥发逻辑器件的功能。
再进一步，刘力锋开展了RRAM阻变器件的神经网络计算应用研究。仿制生物大脑进行神经形态计算一直是人类追求的热点问题。他借鉴生物学中的神经网络的思想，采用并行运算的方法，实现人工神经网络功能电路。随着集成电路技术的发展，直接利用电子器件制造硬件神经网络系统，从而实现神经形态计算功能的设想逐渐进入人们的视线。硬件神经网络系统可以在与生物大脑类似的体积内，以相似的能量消耗，实现类似人脑的思考和计算。
人工神经网络的起源范文6
让机器自我学习
就像每个人在获得技能前，必须经历过学习训练一样，机器要实现智能化，也只能通过学习。机器学习起源于人工智能的一个分支，在这一领域，计算机科学试图创造计算机的类人智慧。
真正的机器学习与我们所认为的传统编程有本质的不同。当提到电脑程序时（或者一个程序里用到的运算法则），我们一般会认为是工程师为电脑下达了一系列指令，告诉他们怎么样去处理一系列的输入，然后产生相应的输出。一个浏览器会跟踪被浏览的网页，然后对于用户的输入通过一种确定的可预料的方法进行回应。但这些都是由人类事先编码好的，而非机器主动学习的结果。
机器学习，就是机器自己编程，这些机器经过培训，也能像人类一样进行编程。谷歌公司2015年了一款名为“深梦”的图片识别应用软件，这款软件不仅可以识别图像，而且可以利用图像制造一些出人意料的奇幻景象。例如，你呈现一幅风景图时，软件会根据你的图片进行分析，输出一幅计算机眼中的风景图。
这是怎么做到的呢？谷歌深梦的运作原理是通过模拟人类的神经元网络，建立起计算机自己的神经网络系统，通过神经元获得物体的信息，从而进行分析。计算机的神经元网络系统包含了上千个互动的神经元，以实现数学上的精密运算。
当然，为了让机器能识别物体信息，在过去四年里，研究者们一直用大量图片训练电脑神经网络，例如给“深梦”软件看许多图片，并告诉每张图片中的主体是什么，一旦“深梦”从上百个角度看过上百个狗头一千次之后，它就能学会自己输出图像。
在实验中，“深梦”产生出了混合着鸟、眼睛和狗头轮廓的模糊图像，虽然它们并不那么栩栩如生，但是也揭示了电脑处理图像时的一种创造性，它已经不用人类监督指导地学会了识别小猫、小狗的脸。
神经网络的机器构造模仿了人类大脑，也充分发挥了计算机超强的记忆功能，在生活中有更普遍地应用。谷歌的搜索引擎、亚马逊的推荐目录、脸书的好友动态和垃圾邮件的过滤，还有军事、金融、科研、比人类驾车更靠谱的自动驾驶等重要工作，都是神经网络运作的具体应用。
今天，机器学习已经被成功地应用于更多领域，从检测信用卡交易欺诈的数据挖掘程序，到获取用户阅读兴趣的信息过滤系统，再到能在高速公路上自动行驶的汽车。可以说，我们的智能生活，都是机器学习的结果。
研究机器人学习的算法
机器学习能追溯到上世纪40年代二战结束前后，得益于战时交战双方的科学精英殚精竭虑，计算机理论在那一时期得到突飞猛进的发展。当时，控制论研究者们设想有一个神经元计算机模型，能够大致模拟生物神经元，并且可以用一种简洁和明确的数学形式来表示。
但是，面对一个不确定性和多样性的世界，人工预先制定的数学形式根本就难以应付。或者说，人工编程的世界，与现实的人类世界偏差太远，现实的世界不会那么有秩序和守规则。
例如，计算机预先以数学形式来表达马有四条腿，但这会产生两个问题。首先，电脑怎么样去学会理解这个事实；其次，对于那些因意外而失去了一条腿的马怎么办。这些看似是很愚蠢的问题，却是人工编程时遇到的最大障碍。这就是为什么至今搜索引擎还不能回答问题、仅仅能搜索关键词的原因所在。
但如果机器学习创造了自我编程系统，就可以对于他们自己的错误做出反应，并且不断更新他们的内部状态。人工编程中的漏洞在之前需要被检查出来，而机器学习的运算法则能在过程之中不断纠错，比人工智能更加灵活、有智慧。
但怎么能让机器学习呢？这就涉及到算法。可以说，算法是构建互联网的核心，现在许多网络搜索和沟通方式，都是基于设定好的数学公式构建起来的，比如谷歌搜索引擎、苹果语音系统、Facebook。在信息时代，我们的生活实际上是被一些数学公式引导着，在医学方面，已经有了公式能算出糖尿病和疟疾。今天，我们也在让学习公式的机器查看胸透时的X线量。
连接学习、符号推演法、贝叶斯学习、类比学习是4个当代计算机学习范式。其中，连接学习就是模仿人脑神经系统，建立起计算机人工神经网络；符号推演法就是将问题或知识表示成某种逻辑网络，采用符号推演的方法来学习；贝叶斯学习理论就是通过概率规则来实现学习和推理过程；类比学习就是通过对相似事物进行比较来学习。这4种学习范式还是过于复杂了，因此，华盛顿大学教授佩德罗・多明戈斯提供了一个更大胆的假设，即在未来，能将现有的算法公式统一成一个万能算法。
万能算法下的世界
多明戈斯构思了这样一个万能算法，它能将物理学、生物学上已经发现的理论和标准模型或者中心法则统一起来，同时，可以从数据中发现所有的知识，所有的人类现有的知识，也包括所有的未来的知识。例如，万能算法可以从第谷・布拉赫的太空观察中，推出牛顿定律，即使它没有相关的基础知识。
大脑皮层可能就是这样一个万能算法的典型例子。一些神经学家认为在所有领域，大脑皮层只用到了一个相同的公式，就能不断调整皮层下各级脑部及脊髓的机能，使他们能根据环境不断学习调整，听见、看见或者是弄懂周围世界的意思。
在信息时代，万能算法也将发挥类似大脑皮层的作用。它能在数据云的基础上，学习和利用信息，改变现在呆板的计算机被动执行模式，主动改进功能和完善输出，这将给人类信息生活带来革命性的转变。
例如，现在的网络信息量庞杂，打几个关键字，却得到了上百万网页，常常令人无法抉择。但有了万能算法，电脑将变成百科全书，只要问几个问题，就能很迅速地给出准确答案。
同时，今天的推荐系统也将得到彻底更新。现在，每个人会遇到许多的推荐信息。基于每个人留下的碎片化的数据，上百万个推荐系统每天会为你推荐不同的东西：暴风影音从你开始看他们的电影时，就为你推荐电影；亚马逊根据你买了什么和没买什么为你推荐书本；新浪会在你注册时推荐上百个兴趣群。但大多数人可能更需要的是一个更聪明的系统，能根据你上网产生的所有的数据和信息，来进行更具针对性的推荐服务。例如，它能在你生活的每个阶段推荐相应的东西，不仅是书和电影，还有房子、工作等。为了能达成这样的效果，首先就需要来自你日常生活所产生的数据，但另一方面，也需要万能算法，因为面对大量的数据，没有公式也无法处理这些数据。
