前言:中文期刊网精心挑选了神经网络基本知识范文供你参考和学习,希望我们的参考范文能激发你的文章创作灵感,欢迎阅读。
神经网络基本知识范文1
关键词:油藏;拟合;贝叶斯;正规化算法;神经网络
中图分类号:TE319 文献标识码:A 文章编号:2095-1302(2012)04-0045-03
Application of Bayesian regularization algorithm in reservoir parameter fitting
PAN Yong-cai, SHAN Wen-bing, ZHANG Shang-hui, WANG Fu
(Hubei University of things electrical College, Wuhan 430062, China)
Abstract: The known logging data to predict reservoir reserves is an important research topic in the oil industry. In this paper, the algorithm based on Bayesian regularization BP neural network is introduced and the applications to specific methods in the reservoir parameter fitting process is also described. This method plays a significant role in improving the oil production efficiency and reducing the costs.
Keywords: reservoir; fitting; Bayesian; regularization algorithm; neural network
0 引 言
油藏参数拟合主要就是非线性函数拟合的过程。非线性函数拟合方法有很多种[1],主要分为等值线图法、解析内插法、曲面拟合法及神经网络方法等。使用神经网络方法要达到好的拟合效果,主要要解决三个问题:一是样本的选择;二是网络结构的设计;三是训练策略的选择。其中网络结构的设计和训练策略的选择是难点。本文给出的就是基于收敛速度快、泛化能力较强的贝叶斯正规化算法[2]的神经网络进行设计的具体方法。
1 油藏参数拟合中需要解决的问题
假定油藏储量与测井资料中的数据存在以下数学模型:
式中, f(xi, yi)为对应输入与输出之间的关系式, 为误差。现假定:
那么,对于每个样本值,都可以列出以上方程,并在条件下,求解出的值,最终求出待求点的油藏储量。
假设区域内有6个公共点。此时有:
这样,我们需要解决的问题就是按某种方法求出模型待定参数的数值。
2 BP网络与贝叶斯正规化算法
人工神经网络是生物神经系统的一种高度简化后的近似。它具有非线性映射能力和无模型估计的特征,是处理非线性映射问题的有效工具。BP网络是应用最为广泛的神经网络。它具有输入层、输出层、隐含层(一层或多层),相邻层之间通过权值全连接。它包括信息的正向传播和误差的反向传播两个过程,输入时由输入层经中间层向输出层顺向传播;实际输出与期望输出之差值(即误差)由输出层经中间层向输入层逐渐修正连接权的方式逆向传播。两个过程反复交替,就可以使网络趋向收敛。该网络的结构、学习样本与训练策略对网络性能影响很大,为了解决其训练速度慢和易于陷入局部最小值的缺点,设计可以采用Levenberg-Marquardt(LM)算法;为了防止过拟合,设计采取在训练样本中随机添加噪声的方法;为了提高泛化能力,则可采用贝叶斯正规化法来解决。下面介绍实现拟合的具体过程。在介绍之前,下面先介绍一下神经网络的基本知识。
3 神经网络介绍
3.1 人工神经元模型[1,3]
图1所示是一个人工神经元的基本模型图。
图1中的作用可分别以下面的数学式表达:
其中,为神经元i的输入信号;为突出强度或连接权; 是由输入信号线性组合后的输出;为人工神经元的阈值或称偏差 (用表示);为经偏差调整后的值,也称为神经元的局部感应区;为激励函数; 是神经元i的输出。这样,则有:
3.2 BP网络结构[1,3]
典型的BP神经网络是含有一个隐含层的三层网络结构,其中包括一个输入层,一个输出层,一个隐含层。图2所示是一个三层BP网络结构图。
图2 三层BP网络结构图
这个网络输入层有n个神经元,输出层有q个神经元,隐含层有p个神经元。输入信号从输入层节点依次传过各隐层节点,然后传到输出层,每一层节点的输出只影响下一层节点的输出,相邻层每个节点通过适当的连接权值向前连接。
3.3 神经网络模型在软件中的设计与实现
采用贝叶斯正规化BP神经网络的三层网络设计模型,应首先确定各层神经元的个数{Var_num,Nb,1}(Var_num为输入参数的个数,隐藏层神经元个数可通过计算得出);为了计算方便,这里首先把网络变量设置如下:
输入模式向量:;
期望输出向量:;
中间层各单元输入向量:;
中间层各单元输出向量:;
输出层各单元输入向量:;
输出实际值向量:。
输入层至中间层的连接权为;中间层至输出层的连接权为;中间层各单元的阈值为;输出层各单元的阈值为。其中:
激活函数采用S型函数:
误差函数为:
学习算法采用L-M优化算法。L-M算法又称阻尼最小二乘算法,其权值调整公式为:
其中, J为误差对权值微分的雅克比矩阵,e为误差向量, μ为阻尼因子,I为单位矩阵。
标准神经网络学习的目的是找出使误差函数E为最小的网络参数W,而使上述目标函数达到最小的函数有无限多个,即式子的解并不唯一。因此,由有限数据点恢复其背后隐含的规律问题往往不太合适,而应采用正规化理论,即加入一个约束性项使问题的解稳定,从而得到有用的解。依据正规化的理论设置的目标函数为:
其中, EW代表正规化方法中网络的复杂性和平滑性,P代表平滑性约束算子;α,β控制着其他参数(权与阈值)的分布形式,被称为超参数。正规化法通过采用新的性能函数,可以在保证网络训练误差尽可能小的情况下,使网络的有效权值尽可能少,从而有利于提高神经网络的泛化能力。超参数α, β 的大小决定着网络训练误差和网络结构的复杂性,常规的正规化方法很难确定超参数α, β的大小,所以,应采用贝叶斯方法来确定超参数,可以在网络的训练过程中自适应地调节超参数的大小,使其达到最优。采用贝叶斯方法计算超参数的公式如下:
其中,,A是的Hessian阵,表示有效的网络参数的数目,可用于反映网络的实际规模,N是网络所有参数的数目。
在软件中实现神经网络模型的步骤如下[2]:
第一步:初始化 α、β, 权值wij、vij以及阈值、 ,设,并用Nguyen-Widrow法初始化权值。
第二步:利用L-M算法最小化目标函数。LM算法步骤如下[5,1]:
首先,应将所有样本归一化值输入到网络并用公式计算出网络输出,再用误差函数计算出训练集中所有目标的误差平方和。计算过程如下:
(1) 用输入样本归一化值、连接权及阈值计算中间层各单元的输入,然后用通过传递函数计算中间层各单元的输出:
(2)同理计算输出层各单元的输入,以及输出层单元的响应:
(3)计算训练集中所有目标的误差平方和:
之后,再计算出误差对权值微分的雅可比矩阵 。雅可比矩阵元素计算公式如下:
其中:
式中,代表误差对m层输入的第i个元素的敏感性,n为每层网络的加权和。
然后再用公式 ,求出。最后,用重复计算误差平方和。如果新的和小于第一步中计算的和,则用除以,并转入第(2)步;否则,直接用除以。当误差平方和减小到某一目标时,算法即被认为收敛。
第三步: 计算有效参数的数目,其中海森矩阵A利用Gauss-Newton[6]逼近。
第四步:计算目标函数的新参数值。
第五步:迭代进行第二到第四步,直到收敛为止。
在训练过程中,可以根据有效参数的取值来确定隐藏神经元的个数(记为)及网络是否收敛。对于给定的,当经过若干步迭代后,如果这三个参数处于恒值或变化较小,则说明网络训练收敛,可以停止训练。
4 结 语
实验证明,通过采用拉丁超立方抽样方法选取样本后,再通过以上贝叶斯正规化和L-M算法设计神经网络,即可最终达到对油藏历史数据进行辅助拟合之目的。
参 考 文 献
[1] 宋克坚,朱轶群. 基于LM算法的BP神经网络在GPS高程拟合中的应用[J].浙江测绘,2009(3):13-15.
[2] 徐建伟.贝叶斯正规化BP神经网络及其在医学中的应用[D].太原:山西医科大学,2006.
[3] 韩力群.人工神经网络理论、设计及应用[M].北京:化学工业出版社,2007.
[4] 高隽.人工神经网络原理及仿真实例[M].北京:机械工业出版社,2003.
神经网络基本知识范文2
关键词:智能控制;教学方法;多媒体;教学内容
中图分类号:G642.0 文献标志码:A 文章编号:1674-9324(2016)16-0116-02
一、引言
随着我国高校大规模的扩招,高等教育已由精英型教育过渡到大众型教育,教学对象的阶梯层次也发生了较大的变化。在扩招量较大的本科第二批招生院校中,学生理论知识基础和学习能力等方面的素质相对下降,而社会又迫切需求大量应用型人才。为了适应新形式的教学要求,各高校都在寻求提高培养人才质量的教学管理方法,广泛进行教学制度的改革。智能控制是高校本科自动化及其相关专业的重要专业课,智能控制是当今国内外自动化学科中十分活跃和具有挑战性的领域,代表着当今世界控制理论和技术的发展方向之一,是一门集理论研究和工程实践于一体的综合性课程[1],因此在教学改革中如何提高该课程的教学质量是非常重要的。为了适应当今社会对人才素质教育培养的要求,注重对学生创新能力和综合素质的培养,近年来,结合课堂教学,我们对智能控制的教学改革做了一些探索。
二、“智能控制”课程的特点和目标
智能控制是自动控制发展的高级阶段,是人工智能、控制论、系统论和信息论等多种学科的高度综合与集成,是一门新的交叉前沿学科[2]。由于智能控制在社会生产中所体现出的巨大研究价值和广阔应用前景,使得这门原先只在研究生阶段才开设的课程,现在已经在众多高校自动化相关专业的高年级本科生中开设。其目的是使学生在学习自动控制原理和现代控制理论等基础理论课程之后,对控制理论前沿发展方向有所了解和学习。智能控制属于偏理论的专业课程,具有多学科交叉性。其理论分支较多,内容丰富,涵盖了模糊数学与模糊控制、人工神经网络、遗传算法和专家系统等前沿学科理论。该课程内容抽象、模糊控制、神经网络、专家系统等涉及的内容理论性都比较强,对于本科生相对抽象、枯燥、难懂,他们往往不易理解。
智能控制本身所具有的特点决定了本科教学过程中该课程的教学目标。通过该课程的学习,使学生了解学科发展前沿,掌握智能控制研究的一般方法,帮助学生获得智能控制的基本知识,使学生掌握智能控制分支及其特点,包括模糊控制理论基础、模糊控制系统、人工神经网络模型及其神经网络控制,使学生理解并掌握用智能控制方法分析和设计系统的基本工具、原理和实现方法,能够设计简单的智能控制系统。
针对课程特点和教学目标,在教学过程中应从教学内容和教学方法等方面进行改进,以吸引学生的学习兴趣,激发学生的学习积极性和主动性,达到预期的教学目标。
三、教学改革措施与途径
1.优化教学内容,增强新颖性和实用性。智能控制课程具有前沿性、抽象性和理论性强等特点,相关内容极其广泛。然而,作为本科生的一门专业课,教师在教学内容的选取方面应尽可能做到:注重控制思想的融会贯通,减少烦琐公式的推导,多采取简易示例演示,从而提高学生的学习兴趣。在实际教学中,可以采用具体的简单示例来展示智能控制器的设计,如模糊PID控制器的设计思想为自适应调节控制参数,BP神经网络的设计思想为逆向迭代算法,等等。
本科高年级学生在掌握了专业基础知识之后,主要关心学科前沿知识的应用领域和使用方法,学生希望能学到很多较新和较实用的智能控制算法,不愿花太多时间在复杂的理论理解上,因此在教学过程中要注重知识的应用性。此外,大学高年级学生即将走出校门,走向工作岗位,关于一些新的和正在研究的智能控制方法和技术的概况对于他们也非常重要。特别是近期发展起来的方法和技术,如模糊神经控制、遗传算法、蚁群算法等。这些内容的理论部分可以不必过分深究,教学重点主要放在介绍每种技术的产生背景、发展状况、应用领域和具体实现上。
2.培养学生设计思想,注重工程应用。为了巩固学生对智能控制理论的理解和增强学生的学习兴趣,教师应该更注重从工程应用角度来引出智能控制概念,并通过具体实例来说明智能控制如何应用,如模糊控制在家用电器中的应用,这样更能激发学生的学习积极性。智能控制在航空航天控制、交通运输系统、家用电器等方面有着广泛的应用。自动化及相关专业毕业的学生,毕业后大部分从事工程或产品设计方面的工作,因此工程设计能力的培养是非常重要的,设计能力是通过设计人员的设计思想、设计原则和设计方法体现出来的。学生通过较典型的具有代表性的基本模糊控制器、模糊PID控制、BP神经网络控制的实际应用,应用MATLAB语言编出简单程序并进行最基本的仿真实验,了解和掌握智能控制系统的设计方法,使学生在校学习期间既能掌握设计要领,又具有一定的设计能力,从而为今后工作或研究生学习打下良好基础。
3.引入仿真软件,改善教学效果。智能控制中的模糊控制、神经网络等内容理论性较强,相对抽象、枯燥难懂。如果引入更加专业、有效的工具,采用更加生动、明了、有新意的教学方法,就能吸引学生的学习兴趣,激发他们的学习积极性。目前应用较为广泛的仿真软件是MATLAB[3],在教学中借助于MATLAB平台,对智能控制中难以采用解析方法的复杂系统进行模块化、可视化分析与设计,有助于学生理解和掌握课堂教学内容。如运用MATLAB软件中的模糊控制工具箱,可以轻松设计模糊控制器,并将其应用到系统控制中,使学生直观感受模糊控制的优越控制效果。同时,为了让学生更深入地了解智能控制算法的实质,鼓励学生运用MATLAB软件的M语言自行编写各种智能控制算法程序,这样学生不但进一步加深了对理论的理解,而且产生了一定的成就感,从而激发了学生学习的主动性和创新性,培养了学好这门课的自信心。
4.创新意识和能力的培养。应用型人才培养的主要目标之一是培养创新意识、训练创新思维、传授创新方法、提高创新能力。智能控制与自动控制理论(古典控制)和现代控制理论不同,智能控制理论和技术还远未成熟,是一个充满生机活力和不断发展的学科[4],这就要求教师要善于引导和培养学生的创新意识和独立思考、分析问题的能力。课堂教学中要正确引导学生看待学科的发展,同时也提供了一个培养学生创新意识和能力的机会。因此在课堂教学中要充分展示创新给一门学科带来的无穷生命力,多创造机会来培养和激发学生的创新能力,如实验教学、课程小论文和综合设计等。
5.突出以学生为中心的教学理念。学生是教学过程的核心,所有的教学环节都要以有利于调动学生自主学习能力为原则。课堂教学将讲授法、讨论法、实验法、自学指导法、实例教学法等优化组合,充分利用板书、投影、录像、计算机等媒体,调动学生的积极性,启发学生的思维,培养学生正确分析问题、解决问题和自主学习的能力,注重学生的个性发展,由以传授知识为主变为以培养学生能力为主。如采用质疑导入法提出问题从而激发学生的思考并抓住学生的注意力;精心设计适当数量的问题让学生讨论和回答,通过这种互动的教学形式活跃课堂气氛,使学生真正成为课堂教学的主体,教师更多的时候作为一个组织者和引导者。
6.考核方式的改革。智能控制是一门理论性较强的课程。限于考试时间,期末考试只能出比较简单的题目,仅凭期末考试成绩很难判断学生分析问题、解决问题及创新的能力。针对这种状况,在教学过程中,应将平时作业、课堂提问、小测验、实验、出勤结合起来作为平时成绩,并将此成绩按照一定比例记入总平成绩。这有利于促进学生平时只有多努力,才能取得好成绩,明了靠最后期末突击取得高分是非常困难的。对平时作业按照A、B、C、D四个等级来评分,对作业中存在的问题及时纠正,对课堂上互动表现好、实验取得好成绩的学生予以表扬鼓励,有利于调动学生的积极性。这样的考核,给出的成绩,既公平又合理,也促进了学生学风的转变。
四、结论
本文根据智能控制课程的特点,给出了在智能控制教学过程中教学内容和教学方法上改革采取的一些措施,在教学实践过程中取得了较好的教学效果,但也难免存在一些问题和不足,希望在进一步的教学研究和教学实践中,不断地更新和完善教学内容,改进教学方法,将控制理论课的教学改革推向一个新的台阶。
参考文献:
[1]蔡自兴.智能控制原理与应用[M].北京:清华大学出版社,2007.
[2]刘金琨.智能控制[M].北京:电子工业出版社,2005.
神经网络基本知识范文3
我们如何了解和掌握学习关键期呢?学习关键期是怎样发生的呢?它对孩子的教育有什么样的启示?神经生物学家目前正在仔细地研究所有这些相关的问题。
为了深入了解幼儿的学习过程,我们需要有一些生物学方面的基本知识。在脑中,有成百上千亿个神经元,神经元相互之间形成连接,这是我们学习和思维的物质基础。神经元细胞通过轴突传递信号,人体中有些轴突长达1米。在许多轴突上包囊着一层髓磷脂鞘,其成分主要是脂肪。髓磷脂鞘的作用是将轴突隔离绝缘,并加速信号的传递,其信号传递速度比未囊上髓磷脂鞘的轴突传递速度快100倍。这非常重要,如果在人大脑中具有大量的囊上髓磷脂鞘的轴突,那么大脑神经网络将会工作得更快,并使得一个人学习起来更容易。
髓磷脂鞘化的过程对幼儿来说,非常重要。婴儿刚出生时,其大脑中只有很少的髓磷脂鞘化的轴突,这可以帮助解释刚出生的婴儿为什么看不清东西,为什么不能很好地进行空间定位。他们的神经元尚不能快速地进行工作,所以不能很好地定位。随着婴儿逐渐长大,脑的各部分在不同的时期相继完成髓磷脂鞘化工作。轴突的髓磷脂鞘化是产生学习关键期的基础。
当然,还有其它的因素影响学习关键期。在生命的早期,许多神经元尚未被确定今后负责控制什么。下面分析运动皮层。控制身体运动的神经元在早期仅按一般的方式进行组织,每个神经元具有多个连接,连接到不同的肌肉。10岁之前,所有关于运动的经历和经验决定皮层上究竟有多少个神经元控制身体的各个部分如果经常使用手,那么将会有更多的神经元致力于控制手和手指的肌肉,而用于控制身体其它部分的神经元则相应地减少。肌肉活动越多,则连接越稳定。相反,肌肉活动越少,则相应的连接将逐渐萎缩并消失。
只有当幼儿接受到有效地环境刺激,学习关键时期才会有效。这意味着,为了培养幼儿的语言理解能力,必须在语言发展关键期与他们多进行交谈:为了提高幼儿空间、运动能力或激情,必须在相应的发展关键期让他们多跑、多玩:为了使孩子掌握多种语言,必须在语言发展关键期教他们新语言。
神经网络基本知识范文4
关键词: 不确定决策; 智能算法; 教学内容; 仿真模拟
中图分类号:G642 文献标志码:A 文章编号:1006-8228(2013)02-45-02
Reform and practice of teaching for “uncertainty decision-making and intelligent algorithm”
Ning Yufu, Pan Dongjing
(Department of Computer Science and Technology, Dezhou University, Dezhou, Shandong 253023, China)
Abstract: According to the feature of “uncertainty decision-making and intelligent algorithm”, the curriculum is investigated from teaching content and teaching methods. Theoretical teaching and experimental teaching content are reasonably arranged. Through a variety of teaching methods such as example heuristic teaching, sample type teaching and analogue simulation, the ability of students in dealing with uncertain information, decision-making and designing intelligent algorithm has been trained. Through these methods, this curriculum has shown the better teaching efficiency.
Key words: uncertain decision; intelligent algorithm; teaching content; analogue simulation
0 引言
随着社会的高速发展,现实生产生活中的不确定因素越来越多,在运筹学、管理科学、信息科学、系统科学、计算机科学以及工程等众多领域都存在着客观的或人为的不确定性,这些不确定性的表现形式是多种多样的,伴随着这些不确定性,存在着大量的不确定优化问题,对于这些不确定优化决策问题,经典的优化理论经常是无能为力的,因此,需要研究不确定环境下的优化理论与方法[1,2]。
现代企业在瞬息万变的时代背景下,对于员工的危机意识和风险素养有着较高的要求,各级各类管理者及个人需要面对很多不确定因素做出决策,因此,不确定决策在社会生产、生活中具有广泛的应用。对于信息管理与信息系统专业的学生来说,应该具有对不确定信息处理的能力,德州学院信息管理与信息系统专业对本科生开设了“不确定决策及智能算法”选修课程,该门课程涉及不确定理论方法和应用、遗传算法、神经网络、混合智能算法等内容,学生理解起来有一定难度。本文作者对该课程讲授多年,在教学过程中不断优化教学内容,探索教学方法,提高了学生学习该门课程的兴趣,训练了学生在不确定环境下进行决策的素养,以下从几个方面对该课程的教学进行探讨。
1 教学内容的优化
该门课程包括不确定理论方法、智能算法、不确定理论在实际中的应用等内容。在教学过程中,不断开展课程体系的建设以及教学内容的创新,以提高学生在不确定性决策及智能算法方面的素质、学习能力和实践能力,重点解决相关课程内容体系中的孤立、分割等问题,从新的视角对课程的教学内容进行整合,减少重复,优化教学内容,突出对相关思想、方法、知识等本质规律的理解,强调不确定性决策及智能算法的实用性、应用性,注意与相关学科知识的渗透和引入。
针对本科生的特点,在教学内容上对不确定理论部分烦琐的证明和推导进行简化,只讲授基础的概念、原理、公理和定理,使学生理解现实世界中的随机现象、模糊现象、不确定现象等情况,明确这些不确定现象的度量方法,如概率测度、隶属函数等概念,并将最新的研究成果及时补充到课堂教学中。刘宝碇[1,3]在2007年提出不确定测度概念,建立不确定理论。我们紧密跟踪最新研究成果,在内容上增加不确定测度、不确定理论公理等知识;在精简理论部分的基础上,加大了不确定理论在实际中的应用方面的内容。有关不确定性理论的具体应用案例都是选取现实社会中的实际问题,如工程调度问题、贷款组合问题、存储问题、车辆路径问题、集约生产计划问题等,因为这些问题中都存在一些不确定因素,如贷款组合问题中贷款的收益率是不确定的,存在一定的风险;工程调度问题中某一阶段工期的完成时间是不确定的;车辆路径问题中车辆的行驶时间不是完全确定的等等。针对这些不确定现象,如何建立优化模型,以及对模型进行求解是本门课程讨论的主要问题。
该门课程作为信息管理与信息系统专业的选修课程,具有多学科交叉,涉及内容相当广泛等特点,与概率论、运筹学等课程有密切关联[7],学生需要理解的内容相对较多,而本科阶段主要目的是让学生明确现实中的不确定现象,了解目前处理不确定问题的方法,在不确定环境下建立优化模型,做出决策。本课程教学内容的选取考虑到培养学生的学习兴趣,选取很多现实社会中的实际问题,对这些问题进行分析,剖析里面的不确定因素以及不确定因素的度量方法,在此基础上,针对问题想要达到的最优目标,引导学生建立不确定优化模型。
课程的内容体系如图1所示。
[不确定性决策及智能算法][概率论基本知识][不确定理论][不确定规划模型][不确定应用][不确定随机现象][混合智能算法]
图1 课程内容体系
本门课程的重点是不确定规划模型的建立以及求解方法。在教学中针对一些实际问题建立模型,引导学生进行联想、对比,举一反三。例如在讲授不确定规划模型的建立过程中,针对不确定规划中常用的几种模型如期望值模型、机会约束规划模型、相关机会规划模型等,进行对比,使学生明白在什么样的目标要求下建立什么样的模型。期望值模型中,决策者想要最大化目标函数f(x,ξ)的值,在目标函数f(x,ξ)中,x是决策向量,ξ是不确定向量,因此f(x,ξ)的值是一个不确定变量,只能最大化f(x,ξ)的期望值E[f(x,ξ)],此时,需要建立期望值模型,即在一定的不确定约束条件下,最大化期望值E[f(x,ξ)]。在不确定环境下,若决策者希望极大化目标函数的乐观值或悲观值,可以建立机会约束规划模型,如果是极大化目标函数的乐观值,即β是预先给定的置信水平,在的不确定测度大于等于β的约束下,最大化;如果是极大化目标函数的悲观值,即在的不确定测度大于等于β的约束下,最大化。如果决策者希望最大化目标函数f(x,ξ)大于等于某一值的机会,则可建立相关机会规划模型。通过模型的对比讲解,使学生领会基本不确定模型的建立方法,能够根据决策者的愿望建立最优化模型。
2 理论教学和实践教学紧密联系
“不确定决策及智能算法”是一门理论性和应用性都很强的课程,如果只重视理论推导和证明,学生就会觉得枯燥无味,因此在教学设计中,理论教学和实践教学紧密相联,安排一定的上机实验[4,5]。本门课程的最终目的在于解决实际问题,它以优化为目标,对所研究的不确定问题建立优化模型,求出最优解,寻求最优的行动方案,提供解决各种不确定问题的优化方法,为此我们加大实践教学环节,培养学生的实际动手能力,针对现实中的实际应用问题建立不确定优化模型,这些问题主要有不确定综合评判方法、工程调度、不确定贷款组合、不确定存储、车辆调度、不确定集约生产计划等。
在实践教学过程中,让学生通过观察周围实际问题进行分析处理,建立模型,并根据模型进行智能算法的求解,例如对一个实际问题如银行贷款组合问题,银行为分散风险,把贷款投放到不同的项目上,即贷款组合,贷款组合即银行要决定它的某些确定数目的资金在几个项目上的分配比例,从而使银行的贷款收益率最大,风险最小。由于银行贷款的项目受各种因素影响,项目的经济效益具有风险性,贷款收益率就具有不确定性,通过引导学生分析现实的实际情况,使学生明确贷款收益率的不确定性,这样就把贷款收益率刻画为不确定变量,因为风险有多种度量方式,就可以根据银行不同的目标,建立贷款组合的几种模型,然后对模型求解,获得最优分配方案。学生通过对这种实际问题的分析、建立优化模型、求解过程,理解了不确定优化理论在实际中的应用,增强了学习兴趣,提高了分析问题解决问题的能力。
3 仿真模拟
不确定优化模型建立后,一个很重要的问题就是求解模型。对于不确定优化模型的求解主要有两类方法,一类方法是假设模型中的不确定变量是一些特殊的不确定变量,模型可以转化为清晰等价类模型,然后使用一些工具软件如Matlab、Lingo求解;另一类方法是当不确定变量是一般的不确定变量,模型不容易转化为清晰等价类模型时,使用混合智能算法进行求解,混合智能算法中将遗传算法、神经网络和不确定模拟集成。对建立的不确定优化模型,让学生动手调试程序,进行仿真模拟,把模型寻求最优解的过程在计算机上用图形表示出来。如图2所示,是对贷款组合模型寻求收益率最大期望值的遗传过程[6]。通过实际的操作,学生对交叉、变异、遗传过程、不确定模拟、神经网络、智能算法等概念有了深入理解,极大地提高了学生理论联系实际的能力和综合素质。
图2 混合智能算法的遗传过程
4 建立网络教学平台
利用网络信息技术的最新成果,实现现代教学手段和传统优良教学方法的有机结合,建立了网络教学平台,将电子教案、多媒体课件、实验指导及其他教学资源全部上网,学生可以查阅、复习和下载,师生可以进行网络交流互动,教学网站同清华大学不确定实验室进行链接,让学生及时查阅一些最新的研究成果,激发了学生的学习兴趣和自主学习能力。
5 结束语
本文对“不确定性决策及智能算法”课程的教学内容和教学方法进行探讨,从培养学生的综合素质出发,优化教学内容,加大实践力度,培养学生的动手能力,训练学生面对不确定因素时进行决策的能力,开拓学生的视野。随着不确定理论的不断发展,不确定优化的应用空间会越来越广泛,本课程的教学改革和理念也将不断提升和完善。
参考文献:
[1] Liu B. Uncertainty Theory[M]. 2nd ed. Springer-Verlag, Berlin,2007.
[2] 刘宝碇,赵瑞清,王刚.不确定规划及应用[M].清华大学出版社,2006.
[3] Liu B. Uncertainty Theory[M]. Fourth Edition, http:///liu/ut.pdf,2012.
[4] 王 勇,蔡自兴.“智能优化算法及其应用”课程教学的实践与探索[J].计算机教育,2009.11:127-128,115
[5] 徐本连,陈庆兰.智能控制课程之蚁群算法教学方法探讨[J].常熟理工学院学报(教育科学版),2007.12:116-118
神经网络基本知识范文5
关键词:信息与计算科学;学习方法
信息与计算科学专业涉及科目较多,交叉课程也比较多,如何高效学习笔者认为应从两方面做起:一是对课内专业知识的积累;二是对课外创新项目实践。学好课内专业基础理论知识是搞好课外创新实验项目的基础和前提;反之,创新实验项目是对课内所学专业知识的具体实践和运用。
一、学好课内专业知识的方法
对于课内专业知识的积累来说,比如数学分析、高等代数、概率论与数理统计、常微分方程、数理方程、信息论、数据库、计算机图形学、计算机程序设计等,要想最大限度地提高效益和收获知识,在课堂上必须培养卓有成效地听课和记笔记这一基本习惯,并且在课后及时认真复习。
(一)高效率听课。听课是整个理学学科学习过程链条上的中心环节,是获取书本知识的主要阵地。竭尽全力地听好教师的课堂讲授,是赢得优异学习成绩的重要基础和必要条件。要想听课效率较高,就必须在听课前要有充分的准备。 首先,充分复习前一节课的内容。课程内容前后章节具有连贯性,衔接性和穿插性。只有对前一节课的基本概念、定理、方法深刻理解和牢固掌握,才能在听后一节课时具有坚实的基础,从而从容不迫、左右逢源。其次,预习好本节课即将讲授的内容。听课前认真预习本节课即将讲授的内容,标记出自己的疑难点,使自己在听课时一目了然,心中有数,胸有成竹,从而更加清醒主动,全面周到,富有成效。
(二)高效率笔记。记笔记可以储备资料,积累素材。尤其是对于我们信息与计算科学这一理论性很强的专业来说,记笔记可以为课后复习、考前应试和将来深入钻研,储备充足的资料、积累丰富的素材。 记笔记有助于听课时集中注意力。专心致志地详细记笔记,就会高度注意听取教师讲述的每句话语和在黑板上书写的每段文字、每个公式,从而就顾不上走神去想其它事情,也不会被外界干扰所吸引而转移注意力。
(三)课后及时高效复习
学过的课内理论知识如果不科学而有效地进行复习,就可能很快被遗忘。要牢固掌握,形成能力,复习必须有章可循。首先,课后应该及时回忆 学过的新知识,如同“过电影”。及时复习是一种积极主动的习惯,须高度集中注意力,把学过的知识在头脑中“再现”一遍,从而巩固所学知识。其次,要想牢固掌握所学知识,必须经常定期复习。即使是复习过的内容仍须定期巩固,但是复习的次数应随时间的增长而逐步减小,间隔也可以逐渐拉长。从时间安排上,可以当天巩固新知识,每周进行周小结,每月进行阶段性总结,期末进行全面系统的总复习。每单元进行知识梳理,每章节进行知识归纳总结,必须把相关知识串联在一起,构建知识结构,形成知识网络,达到对知识的整体掌握。
二、搞好课外创新项目的实践
(一)培养创新实践意识和能力。首先,作为信息与计算科学的学生,要对创新实践项目充满浓厚的兴趣,要敢于实践,勇于创新,在解决实际问题中提高自己的创新实践能力。课余时间,要积极听取本专业学术相关的专题讲座,扩大自己的视野,使自己获得相对多的信息量,更加深入地了解信息与计算科学的发展前景。 其次,我们可以到本学院的实验基地,练习使用matlab、sas或lingo软件编写相关程序解决工程作图,实验数据或时间序列等拟合、插值问题。也可以根据自己的兴趣、爱好设计一些短小精悍的算法,编写一些C、C++、Java小程序,以提高计算机编程解决实际小型实际问题的能力,为参加校级或省级ACM程序设计大赛和计算机综合技能大赛打下坚实的基础。
(二)积极参加数学建模竞赛。积极参加数学建模竞赛是搞好课外创新项目实践的关键,参赛应注意以下两点:
1.数学建模竞赛要用到数学知识,但与纯数学竞赛不同;用到计算机,甚至离不开计算机,但却不是纯粹的计算机竞赛。它涉及物理、化学、生物、医学、电子、农业、管理等各学科、各领域的知识,但也不是这些学科、领域里的纯知识竞赛。它要用到各方面的综合的知识。参赛选手不只是要有各方面的知识,还要驾驭这些知识,应用这些知识处理实际问题的能力。
2.尽量熟悉数学建模的常用方法:数据拟合、参数估计、插值等数据处理算法;线性规划、整数规划、多元规划、二次规划等规划类问题;动态规划、分治算法、分支定界等计算机算法;模拟退火法、神经网络、遗传算法,蚂蚁群算法,免疫算法;数值分析算法 ;网格算法和穷举法;图象处理算法等。不一定要求这些方法都弄透弄懂,但至少要了解,遇到具体实际问题时要有意识的去运用。
参考文献:
神经网络基本知识范文6
关键词:计算理论;计算思维;能力培养;创新模式
0引言
前一段时间网上流传中国科学院研制“龙芯”的胡伟武老师的一个视频,其中提到中国能够开发Java虚拟机的人才很少的问题,该问题的出现引人思考。我国计算机类专业的学生包括研究生毕业后做底层开发的人才很少,绝大多数人是把国外公司开发出来的编程语言拿过来直接使用,编程时直接调用软件包中的函数,至于这些函数是如何实现的并没有几个人认真思考。久而久之,学生(包括一些教师与软件开发人员)也很少思考或研究这一问题,突然遇到这样的问题就会束手无策、无从下手。所谓万丈高楼平地起,没有基本的思维训练很难做到基础性创新思维的能力培养。中兴事件给我们国家的原始创新问题敲响了警钟,有人在网上提出“假如微软、谷歌不让我们使用其操作系统怎么办”的问题,说明应用与创新缺一不可,只有应用的火热而没有创新就会受制于人。计算理论课程是从本质上介绍计算机科学的课程,是计算机学科发展的基石。为了计算机学科更好地发展,将计算理论作为一门必修课,作为培养高年级本科生或研究生计算思维和创新思维的重要一环是非常必要的,这是开设此门课程的现实选择,也是必然选择。
1计算理论在研究生教学中的重要性
“计算机科学技术日新月异,新东西层出不穷,旧的东西迅速被淘汰,但是作为一门科学,它有其自身的理论基础,这些思想精华长久地、甚至永恒地放射光芒,这些理论在应用开发中好像是‘无用的’,但实际上,对于每一位从事计算机科学与技术的研究与开发的人来说,它们都是不可缺少的,就像能量守恒之类的物理定律对于每一位自然科学工作者和工程技术人员那样”[1]。“通过这些要点,我们对计算机科学的重要基石有了一些新的认知,有些之前我们认为可能比较新颖的东西(比如层次化存储),实际上在计算机诞生初期就被提出甚至进行了量化分析,每年顶级会议上出现的一些新成果都是这些思想的实现;有些之前我们认为可能比较陈旧的东西(比如虚拟化),实际上换一个角度可能是一种新的研究思路。真正具有本质的重要性的东西,无所谓“新”与“旧”,应该在历史发展中传承和保持下来”[2]。上述两段话充分说明计算理论在现代计算机科学与技术研究生教学中的核心意义。从科学基础理论角度来讲,可计算性理论是计算机科学最核心的基础理论,如果没有可计算性理论,计算机将难以称为计算机科学,这是学科发展需要,也是开设这门课程的根本原因。为创新能力的培养与思维训练过程,这一系列过程从低到高不断升华,可逐步培养学生的计算思维与创新能力。在本科教学中,学生养成了“老师教什么,学生就记忆复述什么”的学习习惯,一般很少对教师讲授的内容提出异议和新的见解。只是在离散的抽象代数部分才开始涉及基本的运算系统,但由于过于抽象,一般学生也是一知半解。在研究生教学中,教师教什么、学生就记忆复述什么的学习习惯一定要打破,学生要养成“老师讲授的不一定是唯一的、最好的解决问题方法”的思想意识,教师要以“没有最好,只有更好,优化优化再优化”为教学理念。学生要勇于向老师提出问题,敢于向课本内容提出挑战,给出新的见解。研究生接受计算理论学位课程的学习已经不仅是为了掌握知识获得学分,还是对计算系统的了解逐步向更高级的计算系统(它的运算呈现出模型化的特征)过渡,并由此学会一种思维方式、一种创新能力,这种思维方式与创新能力对于从事任何工作都是受益终身的。作为一门研究生素养训练的学位课程,计算理论课程的教学改革必须跟上国家创新人才培养的时代步伐,精心设计、合理安排、科学谋划,这是计算机学科发展的需要,是国家积极推进培养创新人才赋予我们的使命与任务。
2计算理论课程的教学内容
人工智能、大数据、云计算、边缘计算等领域正在蓬勃发展,越来越多的经验在实践中累积,但是理论基础都相对薄弱,需要构建各自领域中有较强针对性的基础理论[2]。面对新形势、新需求,计算理论要讲述的内容包括以下几方面。1)以5条基本指令x=x+1、x=x-1、TOAIFx≠0、TOA和y=x为基础的元语言程序描述可计算函数。使用5条基本指令的元语言程序教学过程,就是训练学生使用最基本的指令编程实现复杂的可计算函数的抽象思维能力过程。近年来出现的Python语言是一个比较流行的易学易用的编程语言,其创始人Guido也是从编写Python的编译器开始,将其逐步演化成今天的流行语言。程序员中流行的“人生苦短,我用python”也说明其受欢迎的程度,但火热程度的背后是Guido及团队成员不懈努力的结果,没有开发人员的默默付出,将从底层搭建出来的结果呈现给我们,就没有今天的Python。对热议的中兴事件引起的处理器芯片设计问题来说,将指令集和程序区分开,可以以不变的少量指令构成万变的应用程序。指令集(如x86、MIPS、RISC-V)中不同类型的指令都是有限的,但可以编写的不同程序的数量极其庞大,这样硬件上的固定性与软件上的任意性矛盾就得到解决[2]。2)从初始函数S(x)=x+1、n(x)=0和Ui(x1,x2,xn)=xi出发,通过利用复合、递归算子得到的原始递归函数以及利用复合、递归与取极小算子得到的部分递归函数与递归函数描述可计算函数。递归函数是计算理论的核心概念,因为图灵可计算函数类就是递归函数类,两者完全等价。递归函数是构造更为复杂函数的基础,现代以神经网络为代表的机器学习是一个黑箱算法,可解释性不足,需要一个可被证明的理论作为基础。从递归函数解读深度学习过程,即一层神经网络的输出是下一层神经网络的输入,通过不断地复合与递归层层深入最后得到深度学习训练的结果[3],递归可以构造出更复杂的函数,从而解决更复杂的计算机科学与工程问题。3)使用两符号与多符号的波斯特图灵机、四元组图灵机、五元组图灵机、通用图灵机描述可计算函数。此处的两符号(0和1)波斯特图灵机接近于我们熟悉的汇编语言,而两符号与我们现在所使用的计算机底层操作的符号是对应的;多符号波斯特图灵机是两符号图灵机的一种推广。现代计算机可以处理的数字、图像、音频、视频等各种形式的数据,其实质也是0和1两符号推广到多符号的扩展形式,形式语言与自动机理论也产生于此。四元组和五元组图灵机是以元组形式描述的产生式规则,其中的状态相当于现代编程语言中的环境;每个产生式的前提(也称为前件)和效果(也称为后件),相当于在不同状态下采取不同的动作需要的前提和产生的效果。通用图灵机是进行各种计算的元语言程序,可以完成各种计算操作,但其存在局限性,如计算机病毒作为一种具有特定功能的算法,同样可以用图灵机或通用图灵机进行描述,通用图灵机模型只限于分析一种单一的算法或程序,如果要分析两个或更多的算法和程序之间的联系,这种模型显然不够。文献[4]从计算机的基础理论模型——图灵机模型出发,提出一种扩展的通用图灵机模型EUTM,极大地简化了计算机病毒传染机制的形式化描述,开辟了计算机病毒传染特性和可传播性形式化描述的新领域,有助于正确地理解计算机病毒。4)使用元语言程序描述不可判定性问题。图灵机根据机器的程序处理初始格局,有的初始格局可能导致停机,有的则导致无限的格局序列,引出停机问题。图灵机停机问题的实质:是否存在一个算法,对于任意给定的图灵机都能判定任意的初始格局是否会导致停机。图灵已经证明,这样的算法是不存在的,即停机问题是不可判定的。停机问题是研究许多不可判定问题的基础,人们往往把一个问题的判定归结为停机问题:“如果问题X可判定,则停机问题可判定”,从而证明问题X的不可判定性。停机问题有多种不同的叙述方式和证明方法,分别适用于具有不同特征的问题,如对于目前人们使用的智能手机,经常会出现某APP运行了计算模型上没有进行定义的操作的现象,导致手机对用户的任何操作都无法作出反应,我们称为“死机”。对于这种“死机”行为,手机开发商设计一个检测软件进行监控处理就是一个停机问题的现实反映。显然,根据上述论述,这样的软件是设计不出来的。5)以产生式规则为基础的图厄系统描述可计算函数。这一部分主要讲述图厄系统识别符号串。在形式语义学中图厄系统实际上被称为文法,在计算机科学中,文法是编译原理的基础,是描述一门程序设计语言实现其编译方法的基础,同时也是形式语义学的基础。形式语义学在自然语言处理、程序语言设计、网络搜索引擎以及计算复杂性上都有重要的影响,如通过设计类似于产生式系统的图厄系统识别需要的符号串,可联想到在网络搜索引擎的文本检索中常常涉及的问题[5]:给定一个单词集合,查找包含一个(或全部)单词的所有文档。搜索引擎是这一过程的通俗示例,搜索引擎使用一种称为“倒排索引”的特殊技术,对网络上出现的每个单词(有1亿种不同的单词)所有出现之处的列表进行保存,有非常大的主存的机器保持这些列表的最常见部分随处可见,允许许多人在瞬间搜索到这些文档。此外,图厄系统还是计算机文法的基础,对于语言的语法分析等也起着重要的基础性作用。6)以单带与多带图灵机描述可计算函数。单带图灵机由3部分组成:一条带、一个读写头和一个控制器。图灵机的格局由当前状态、当前带内容、读写头的当前位置组成。图灵机开始运行后,根据转移函数所描述的规则进行计算,图灵机就从一个格局到另一个格局进行转换。图灵机本质上是一个程序或算法的高度抽象,当给定一个输入x以后,就可以计算出f(x)。除了前面描述的计算模型外,人们还研究了图灵机的各种变型,如非确定的图灵机、多道图灵机、多带图灵机、多维图灵机、多头图灵机、带外部信息源的图灵机等,这些图灵机变型对今天的计算机体系结构设计仍具有重要的指导作用。除极个别情形外,这些变型并未扩展图灵机的计算能力,它们计算的函数类与基本图灵机是相同的,但为研究不同类型的问题提供了方便的理论模型。上述图灵机的组合变型演化出当今的计算机硬盘存储表示形式(通过磁头、磁道、扇区等参数),而多带图灵机是研究计算复杂性理论的重要计算模型。人们还在图灵机的基础上提出不同程度的近似于现代计算机的抽象机器,如具有随机访问存储器的程序机器等。
3计算理论启发式案例教学
计算理论课程讲述多种模型,一方面是为了让学生了解与掌握计算理论知识并证明它们的等价性,因而论证Church-Turing问题;另一方面也是为了训练学生创新思维,打破思维框架束缚,培养学生从不同角度解决问题的能力。各种模型具有不同的特点,针对不同的问题各有其价值。不同研究者在解决同一科学问题时,会给出不同的算法:这些算法或者演化于某些著名学者提出的基本方法,或者是自己提出的一个不同于常人的方法(这也相当于一个个小的具有针对性的计算模型)。之所以有脍炙人口的三国演义产生,就在于有陈寿的三国志,三国志相当于我们上述描述的某一“计算模型”,而三国演义就在此“计算模型”下加上民间传说在罗贯中的笔下演化而来的,妙笔生花(从计算机科学角度看就是组合新的理论与方法到原有模型中用于解决新的问题)更加接地气。以具体案例对启发式案例教学作进一步说明如下。案例1:在递归函数的谓词递归性证明中,首先通过使用真值表分析法得到证明过程的特征函数,进一步引入广义德摩根律,并通过启发使少部分学生给出不同于原有教案上的证明方法。案例2:在讲授四元组、五元组图灵机过程中,引入三国演义中的刘备东吴招亲、诸葛亮授赵云3条锦囊妙计的故事展开图灵机的状态变化与操作过程,将深奥的教学内容与大家熟悉的故事巧妙结合,达到寓教于乐的目的。计算理论的讲述一方面可以使学生了解这些计算模型的知识,看到它们的现代应用演化。在教学中,注重启发学生将这种“演化”方法融入自己的科学研究中,利用自己所研究领域先驱学者提出的原创方法加上其他方法及所解决问题的特性解决问题,把“共性”+“特性”解决问题的思想融进计算思维与创新能力的培养过程中。另一方面,在各章不同计算模型讲授过程中,以问题启发学生思考,问题可以是:这些计算模型有什么区别?共同点又是什么?在不同讲述内容中可计算是如何定义的?通过学生思考与教师释疑,学生可意识到同样的问题有不同的解决方法,学会从不同角度思考问题,勇于探索并打破思维框架的束缚,寻求问题新的解决方案,这是创新能力培养的必要过程;同时,学生可在这个过程中充分理解和掌握计算机科学先驱们对问题的定义、方法的描述、性质的验证或证明,这也是今后从事科学研究的研究生应该掌握的必要方法与思维方式。
4结语