前言：中文期刊网精心挑选了卷积神经网络可视化范文供你参考和学习，希望我们的参考范文能激发你的文章创作灵感，欢迎阅读。
卷积神经网络可视化范文1
关键词：Deep Learning；多隐含层感知；DropConnect；算法
中图分类号：TP181
Deep Learning是机器学习研究的新领域，它掀起了机器学习领域的第二次浪潮，并受到学术界到工业界高度重视。Deep Learning概念根源于人工神经网络[3]，它由Geoffrey Hinton等在Science上提出。它致力于建立模拟人脑分析学习机制的多层次神经网络，并通过这种网络分析解释数据，如视频、文本和声音等。Deep Learning的多隐含层使得它具有优异的特征学习能力，而且学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类。它的“逐层初始化”（layer-wise pre-training[4]）可以有效克服深度神经网络在训练上的难度。本文在对Deep Learning算法分析的基础上，着重阐述了对Regularization of Neural Networks using DropConnect模型的改进。
1 Deep Learning算法分析
1.1 Deep Learning多隐含层感知架构
Deep Learning算法最优秀特征是多隐含层感知器架构，这种架构通过组合低层特征来形成更加抽象的高层属性类别或特征，并实现对数据分布式表示。Deep Learning的多隐含层结构是由输入层、隐层（多层）、输出层组成的多层网络（如图1所示），只有相邻层神经元之间有连接，同一层以及跨层节点之间相互无连接，每一层可以看作是一个浅层机器学习模型（如logistic regression，Support Vector Machines）。
图1 含多个隐含层的Deep Learning模型
Deep Learning的多隐含层感知结构模拟的是人脑的大脑皮层工作。人大脑皮层计算也是分多层进行[5]，例如图像在人脑中是分多个阶段处理，首先是进入大脑皮层V1区提取边缘特征，然后进入大脑皮层V2区抽象成图像的形状或者部分，再到更高层，以此类推。高层的特征是由底层组合而成。使用含多隐含层感知器架构网络主要优势在于它能以更简洁的方式表达比浅层网络大得多的函数关系（如图2）。通过这种深层非线性网络结构，Deep Learning可以实现复杂函数的逼近，表征输入数据的分布式表示，并展现了强大的从少数样本集中学习数据集本质特征的能力。
图2 多层次实现复杂函数图
1.2 Deep Learning训练过程
（1）首先逐层构建单层神经元，使得每次都是训练一个单层网络。
（2）当所有层训练完后，使用Wake-Sleep算法[6]进行调优。
将除最顶层的其它层间的权重是双向的。向上的权重用于“认知”，向下的权重用于“生成”。然后使用Wake-Sleep算法调整所有的权重。让“认知”和“生成”达成一致，也就是保证生成的最顶层表示能够尽可能正确的复原底层的结点。
1.3 Deep Learning数据处理一般过程
Deep Learning算法通过传感器等方式获得数据之后，首先对数据进行预处理。在数据预处理中，标准的第一步是数据归一化处理，第二步是数据白化处理（如PCA白化和ZCA白化）。其次特征提取和特征选择。然后将输出作为下层的输入，不断进行特征提取和特征选择，直到学习到合符要求的最佳特征。在特征提取和特征选择过程中，常用自动编码、稀疏编码、聚类算法、限制波尔兹曼机、卷积神经网络等算法进行特征提取和特征选择。然后用反向传播算法、随机梯度下降算法、批量梯度下降算法等进行调优处理，再用池化等算法避免特征过度拟合，从而得到最终提取特征。最后将学习到的最终提取特征输入到分类器（如softmax分类器，logistic回归分类器）进行识别、推理或预测。
2 基于Regularization of Neural Networks using DropConnect模型改进
2.1 Regularization of Neural Networks using DropConnect模型[2]
该模型的四个基本组成成分是：
（1）特征提取：v=g（x；Wg）。x是输入层的输入数据，Wg是特征提取函数的参数，v是输出的提取特征，特征提取函数g（）。其中g（）为多层卷积神经网络算法函数，而Wg卷积神经网络的偏值。
（2）DropConnect层：r=a（u）=a（（M*W）v）如图3。v是输出的提取特征，W是完全连接的权重矩阵，M是二进制掩码矩阵，该矩阵的每个元素随机的以1-p概率设置为0或以p概率设置为1，a（）是一个非线性激活函数，r是输出向量。M*W是矩阵对应元素相乘。
（3）Softmax分类器层：o=s（r；Ws）。将r映射到一个k维的输出矩阵（k是类的个数），Ws是softmax分类函数的参数。
（4）交叉熵损失：A（y，o）=-∑yi（oi），i∈1，2，3…k。y是标签，o是概率。
图3 DropConnect示意图
2.2 模型改进描述和分析
对DropConnect模型的改进主要集中在上面它的四个基本组成成分中的DropConnect层。由于该层以随机方式让掩码矩阵M的每个元素Mij按1-p的概率设置为0，然后让掩码矩阵与层间的权重矩阵对应相乘即M*W。相对DropOut模型r=a（（M*（Wv））得到的特征，r=a（（M*W）v）得到的特征是比较好的特征r，同时也提高算法的泛化性。因为Dropconnect模型在权重W和v运算之前，将权重以一定的概率稀疏了，从运行结果看整体算法的错误率降低了。但是，由于是随机的让Mij按1-p的概率为0，并且这种随机是不可以预测的，故可能会导致某些重要特征对应的权重被屏蔽掉，最终造成输出ri的准确性降低。故就此提出了新的设计思想。
改进思想是用单层稀疏编码层代替DropConnect层，通过稀疏编码训练出一组最佳稀疏的特征。具体描述：让经过多层卷积神经网络提取到的特征v作为稀疏编码的输入，经过稀疏编码重复训练迭代，最终得到最佳的稀疏的特征r。因为稀疏编码算法是一种无监督学习方法，用它可以寻找出一组“超完备”基向量来更高效地表示输入数据。
总之任何对Deep Learning算法的改进，都是为了提取出最佳特征，并使用优秀的分类算法来分类、预测或推理，最终降低算法的错误率。而对于怎样改进算法，以何种方式降低错误率，则没有具体的限制。并且各种提取特征和特征选择的算法之间并不是互斥的，它们之间可以有各种形式的嵌套，最终的目标都是提高算法的正确率和效率。
3 结束语
Deep Learning使得语音、图像和文本等的智能识别和理解取得惊人进展，如Google Brain项目和微软推同声传译系统。它极大地推动了人工智能和人机交互快速发展。随着从学术界到工业界的广泛重视，Deep Learning算法的改进依然在继续，Deep Learning算法的正确率和效率仍在不断提高。Deep Learning的发展将加快“大数据+深度模型”时代来临。
参考文献：
[1]Hinton G E，Salakhutdinov R R.Reducing the dimensionality of data with neural networks[J].Science，2006（5786）：504-507
[2]汤姆・米切尔.机器学习[M].北京：机械工业出版社，2003：1-280.
[3]吴昌友.神经网络的研究及应用[D].哈尔滨：东北农业大学，2007.
[4]HINTON G，OSINDERO S，TEH Y. A fast learning algorithm for deep belief nets[J].Neural Computation，2006（07）：1527-1554.
[5]Hubel D H， Wiesel T N. Receptive fields，binocular interaction and functional architecture in the cat's visual cortex[J].The Journal of physiology，1962（01）：106.
[6]Chuang Gao，Bin Chen，Wei Wei.Dynamic detection of wake-sleep transition with reaction time-magnitude[J].Neural Regenerattion Research，2009（07）：552-560.
卷积神经网络可视化范文2
【摘要】 为了实现人体器官的三维重建，如何准确、有效地提取二维医学图像的边缘成了首要解决的问题。我们提出一种新的图像边缘提取方法，该方法先将原始CT图像二值化，然后利用数学形态运算对二值化图像进行预处理，最后利用Canny算子提取图像边缘。通过肾脏CT图像边缘提取结果表明，该方法简单、高效、性能优越。
【关键词】 CT图像；边缘提取；数学形态学；Canny算子
Research on the Edge Extraction of CT ImageZHANG Xiaoping，ZHU Zhisong，WANG Junze
(Nantong Univirsity， Nantong 226019， China)
Abstract：To reconstruct the body organs in 3-D， how to extract the edges from 2-D medical images accurately and effectively has benen the primarily problem. Therefore， a new method of edge extraction was introduced in this paper. The original CT image was binarized firstly and then preprocessed by mathematical morphology operating. Finally， the image edge was extracted by the Canny algorithm. The results of kidney CT image edge extraction show that the method is simple， efficient and superior performance.
Key words：CT image；Edge extraction；Mathematical morphology；Canny algorithm
1 引 言
随着计算机技术、CT（计算机断层扫描）、MRI（核磁共振）等医学影像技术的不断发展，虚拟现实技术也越来越多地应用到现代医疗领域。利用计算机图像处理和数据可视化技术，根据医学影像设备提供的二维断层图像，进行人体器官的三维重建已是现代医学重要发展方向之一。肾脏疾病的外科手术是泌尿外科中的一个重点和难点，因此，根据CT二维图像重构肾脏及其周围结构的三维模型，有助于医生选择最佳手术路线、减少手术损伤、提高手术成功率［1］。CT二维图像的边缘提取作为器官三维重构的第一步，一直受到国内外学者的关注，提出了众多的边缘检测算法，如小波变换法、神经网络法、模糊技术法等［2］。近几年，随着数学形态学理论的不断完善与发展，数学形态学在图像边缘检测中得到了广泛的应用［3-5］。本研究正是在数学形态学的基础上，结合Canny算子，以肾脏为例，进行了CT图像的边缘提取。
2 数学形态学在图像预处理中的运用
数学形态学是一门新兴的、以形态为基础对图像进行分析的学科。它利用具有一定结构和特征的结构元素对图像进行匹配，以实现对图像的分析和识别，在去除噪声、边缘检测等图像预处理问题中有着明显的优势［6］。数学形态学定义了两种基本变换，即膨胀（Dilation）和腐蚀（Erision）。首先介绍其定义［7］：设F是原始图像，B是结构元素，膨胀运算定义为：
D(F)=FB=｛(x，y)/Bxy∩F≠Φ｝(1)
即B对F膨胀产生的二值图像D（F）是由这样的点（x，y）组成的集合，若图B的原点位移至（x，y），那么它与F的交集非空。
腐蚀运算定义为：
E(F)=FΘB=｛(x，y)/BxyF｝(2)
即B对F腐蚀产生的二值图像E（F）是由这样的点（x，y）组成的集合，若图B的原点位移至（x，y），那么B将完全包含于F。
由上述两种基本运算可以复合得到开启、闭合变换。
开启是对图像先腐蚀后膨胀的过程，F用B来开启，其数学表达式可记为：
F·B=(FΘB)B(3)
闭合是对图像先膨胀后腐蚀的过程，F用B来闭合，其数学表达式可记为：
F·B=(FB)ΘB(4)
上述4种运算中，膨胀可以填充图像中的小孔及图像边缘上小的凹陷部分；腐蚀可以消除图像中细小的成分；开启则具有消除细小物体、在纤细处分离物体和平滑较大物体边界的作用；闭合则具有填充物体内细小孔洞、连接临近物体和平滑边界的作用。
利用数学形态学进行图像预处理时，选择简单、表现力强的结构元素是关键，是形态变换中最重要的参数；其次，还要综合考虑目标体的清晰度和噪声的大小来选取结构元素的大小［8］。一般目标体轮廓不清晰时，选择较小的结构元素；噪声颗粒较大时，选择较大的结构元素。
3 Canny算子的边缘检测原理
经过数学形态变换之后，图像的边缘将变得清晰、突出，此时，图像的边界信息可以被方便地提取出来。传统的算法有Sobel、 Prowitt 、Robert、Canny算子等［9］。在众多的算子中，Canny算子因其具有高信噪比、高定位精度及单边缘响应等优良性能［10］，在许多图像处理领域得到应用。本研究也正是采用该算法提取肾脏CT图像边缘。
Canny算子的基本思想是采用二维高斯函数的任意方向上的一阶方向导数为噪声滤波器，通过与图像卷积进行滤波，然后对滤波后的图像寻找局部梯度最大值，以此来确定图像边缘［11］。其数学描述如下：
3.1 用高斯滤波器平滑图像
二维高斯滤波函数为：
G(x，y)=12πσ2exp(-x2+y2〖〗2σ2)(5)
在某一方向n上G(x， y)的一阶导数为:
Gn=Gn=nG(6)
式6中n是方向矢量，n=cosθ
sinθ，
G是梯度矢量，G=Gx
Gy。
将图像{F｜f(x，y)}与Gn 作卷积，改变n的方向，Gn×f(x，y)取得最大值时的n，就是正交于检测边缘的方向。
3.2 梯度的幅值和方向计算
用一阶偏导的有限差分来计算梯度的幅值和方向。
Ex=Gx×f(x，y) Ey=Gy×f(x，y)
A(x，y)=Ex2+Ey2 Φ=Arctan(ExEy)(7)
A(x，y)反映了图像(x，y)点处的边缘强度，Φ是图像(x，y)点处的法向矢量。
3.3 对梯度幅值进行非极大值抑制
为确定图像边缘，必须保留局部梯度最大的点，而抑制非极大值。若图像F上（x，y）点处的梯度幅值A(x，y)小于沿着梯度线方向上的相邻像素点的边缘强度，则认为该点为非边缘点，将A(x，y)置为0。
3.4 用双阈值法检测和连接边缘
设定两个阈值t1和t2（t2＞t1）。凡边缘强度>t2者，则一定是边缘点；凡边缘强度t2的点，若有，则补为边缘点，若没有，则不是边缘点。用t1、t2两个阈值对非极大值抑制图像进行双阈值化，可得两个检测结果，分别记为T1和T2。图像T2阈值较高，所以噪声较少，但会造成边缘信息的损失；图像T1阈值较低，则保留了较多信息。于是以图像T2为基础，以图像T1为补充，连接图像的边缘。
由此可见，Canny算子是既能去除噪声又能保留边缘特性的边缘检测一阶微分算法的最佳方法。
4 应用实例
本研究在Matlab6.5软件平台上，以某医院一患者的肾脏CT断层图像为例，提取了其中右肾的边缘轮廓，具体实施步骤如下：
4.1 图像二值化
CT图像是灰度图像，为了更好的形态运算和边缘检测，首先进行二值化处理，即把灰度图像转变成由0、1 组成的矩阵所表示的图像。图1为原始CT图像，图2是二值化图像。在本次实验中，二值化阈值为0.8。实验过程中发现，该方法简单、高效，且丢失的信息也很少。
4.2 数学形态学处理
由图2可见，图像存在着一些空腔、毛刺、边缘凹陷等现象，要进行边缘检测，还需经过进一步处理，通过本研究介绍的数学形态运算即可完成。
所求边缘是肾脏外围轮廓，首先需要填充图像中的空腔和边缘凹陷。对此，可采用imclose函数进行闭合运算，即进行先膨胀后腐蚀，其中结构元素为5×5圆形结构元素，结果见图3。由图3可见，经过闭合运算后，图像中还存在一些小短枝和孤立斑点，这些也必须剔除，否则，将影响边缘提取效果。对此，可采用imopen函数进行开启变换实现，即先腐蚀后膨胀。针对小短枝和孤立斑点，无法用同一种结构元素去剔除，所以必须分两步：首先选用3×3矩形结构元素执行开启变换，去除小短枝像素，结果见图4；然后用3×3菱形结构元素再次执行开启变换，去除孤立斑点，结果见图5。
4.3 Canny算子提取边缘
经过上述处理，肾脏图像边缘已经逐渐清晰、突出，此时利用Canny算子即可提取其边界信息，如图6所示，本次实验中，边缘强度阈值t1为0.0063，t2为0.0156 。图6基本无失真地描述了边界信息。提取图6中各边界点的坐标，即可获得重构的边界图形，见图7。对肾脏各层CT图像进行上述运算后，经过插值处理，即可进行该器官的三维重构。
5 结束语
本研究从实用性的角度出发，阐述了利用数学形态学和Canny算子进行肾脏CT断层图像边缘提取的方法和步骤。实验证明该方法简单、快速、精度高、适用性强，为医学图像的三维重建和虚拟手术技术的研究奠定了良好的基础。
参考文献
［1］王洛夫， 张绍祥，江军，等．肾脏及其周围结构的三维可视化研究［J］.第三军医大学学报，2004，26 ( 6 ): 537-539.
［2］张小琳．图像边缘检测技术综述［J］.高能量密度物理，2007，(1):37-40.
［3］Bai X Z， Zhou F． Edge detection based on mathematicalmorphology and iterative thresholding［A］.International conference on computational intelligence and Security［C］. NY: IEEE， 2006.1849-1852.
［4］Serra J． Image analysis and mathematical morphology［M］.New York： Academic Press，1982.
［5］Huang C-P，Wang R-Z．An intergrated edge detection method using mathematical morphology［J］.Pattern Recgnition and Image Analysis，2006，16(3):406-412.
［6］陈虎，王守尊，周朝辉．基于数学形态学的图像边缘检测方法研究［J］.工程图学学报，2004，(2):112-115.
［7］崔屹．图像处理与分析-数学形态学方法及应用 ［M］．北京：科学出版社，2000.
［8］Li Z H，Yang Y P，Jiang W．Multi-scale morphologictracking approach for edge detection［A］.The 4th International conference on image and graphics［C］. NY: IEEE，2007.358-362.
［9］马艳， 张治辉．几种边缘检测算子的比较［J］.工矿自动化，2004(2): 54-56.
