前言：中文期刊网精心挑选了贵妃出浴范文供你参考和学习，希望我们的参考范文能激发你的文章创作灵感，欢迎阅读。
贵妃出浴范文1
【关键词】新刑事诉讼法；非法证据排除规则；证据审查
一、引言
刑事证据是刑事诉讼的核心，而非法证据排除规则，是刑事证据的重要内容，也是现代法治国家刑事司法的基本规则和标志性制度。这一规则起源于美国，意为违反联邦宪法第四、五、六修正案的规定而取得的证据不能在刑事诉讼中证明被告人有罪。1914 年，联邦最高法院审理的威克斯诉美国案正式确立这一规则，其表述是“禁止控方适用以违宪方式扣押的证据”。经过近百年的发展之后，非法证据排除规则因其强调程序正义、保障人权而被许多国家普遍接受。我国于2012年新修改的《刑事诉讼法》（以下简称新刑诉法）中首次确立了“非法证据排除规则”的法律地位，此次修改对证据制度的完善具有重大意义。笔者试图从对非法证据排除规则的理解及公诉工作的应对两个方面浅谈自己的几点看法。
二、非法证据排除规则的理解
新刑诉法总结了我国公安司法机关长期以来严禁刑讯逼供，排除非法证据的经验，吸收了《关于办理刑事案件排除非法证据若干问题的规定》的主要内容，比较完整的确立了非法证据排除规则，具体如下：
（一）非法证据的界定
非法证据是指侦查人员违反法律规定的程序或方法而获得的证据。新刑诉法第54条第1款关于非法证据概念的界定，将非法证据分为非法言词证据和非法实物证据两大类别。非法言词证据是指采用刑讯逼供等非法方法收集的犯罪嫌疑人、被告人的供述和采用暴力、威胁等非法方法收集的证人证言、被害人陈述。非法言词证据概念的核心问题是如何把握“非法”的司法认定标准，正确区分非法证据与瑕疵证据、非法手段取证与侦查谋略之间的界限。“非法”有轻有重，应当分别对待：若非法取证行为是侵犯了宪法等法律赋予公民的基本权利的行为，如使用暴力、精神折磨、使用药品及其他不人道的方法获取证据，则当然认定为非法证据予以排除无疑；若只是不符合法律规定的形式要件而取得的言词证据，如讯（询）问笔录没有填写讯（询）问人、讯（询）问时间、地点等对被讯（询）问人权利侵害不大的证据，则应当界定为瑕疵证据而不宜刚性地排除，可以经侦查人员补正或做出合理解释后予以采用。另外，在司法实践中，侦查人员为了突破案件，在讯问犯罪嫌疑人的过程中，往往需要一些讯问的手段和技巧，正确区分侦查策略与法律所禁止的威胁、引诱、欺骗等手段，也是理解非法证据排除规则的关键之一。有学者提出，应当承认威胁、引诱、欺骗等讯问手段在特定的刑事侦查活动中具有实践必要性及法律容许性。但是，对威胁、引诱、欺骗的容许应有必要的限度，笔者认为，对威胁、引诱、欺骗的讯问手段的运用应当以不违反犯罪嫌疑人在供述时的意志自由，不影响供述的真实性为限度。对于实物证据，根据新刑诉法第54条中的规定，只有在取证行为不符合法定程序，可能严重影响司法公正的，且不能补正或者作出合理解释，即同时满足上述三个条件的情况下，才能认定为非法证据予以排除。
（二）非法证据的排除原则
根据新刑诉法第54条第1款的规定，对于非法取得的言词证据，法律规定应当予以排除，即是一种绝对排除原则；而对于违反法定程序收集的物证、书证并不当然被排除，只有在可能严重影响司法公正，且不能对有瑕疵的证据进行补正或作出合理解释时，才予以排除，即采取的是一种相对排除原则。笔者认为这种区别正是刑事诉讼程序和证据规则中，惩罚犯罪与保障人权两种价值取向的选择和平衡，同时也是由证据本身的特质决定的。采用非法手段获取的言词证据，往往包含对人权的极大程度破坏，若使用此类非法言词证据将与文明司法严重背离，而与言词证据相比，虽然非法取得的实物证据也伴随着对人权的破坏，有违法治精神，但这种破坏往往不给公民的自由、健康、生命等人身权利造成伤害，而且物证背身收集程序的违法一般不会改变其固有的性质和形态，不会导致证据内容的失实，造成对证据价值的破坏，并且在司法实践中，实物证据具有较强的客观性，在一定程度上对认定案件事实具有不可替代的作用，我国现阶段的侦查技术手段和侦查能力还不甚完备，还远远落后于同刑事犯罪斗争的实际需要，落后于刑事犯罪智能化水平，有条件地限制实物证据排除将对惩罚犯罪大有助益。
（三）排除非法证据的诉讼阶段
在刑事诉讼中，证据对案件事实的认定起着决定性作用，对被追诉人也有着重大影响，一旦存在证据证明被追诉人的行为，就有可能认定其罪行，为最大程度维护被追诉人的权利，新刑诉法第54条第2款规定：在侦查、审查、审判时发现有应当排除的证据的，应当依法予以排除，不得作为意见、决定和判决的依据。这一条款是非法证据排除规则在具体适用的法律依据，规定了排除规则在刑事诉讼中的适用阶段，即侦查、审查和审判时都可以对证据的合法性提出抗辩，换言之，在诉讼的任何阶段，只要是侵犯人权、违反法定程序的证据都不能作为定案根据。
（四）非法证据的排除程序
不可否认，在实践中确实存在一些非法取证的情况，为遏制此种现象的发生，新刑诉法规定了排除非法证据的程序，以指导具体的司法实践操作。新刑诉法第55条规定了可以对证据合法性提出质疑的主体，即任何人都可以对非法取得的证据进行报案、控告和举报，并规定检察机关应当对上述情况进行调查核实，确有以非法方法收集证据情形的，应当提出纠正意见；构成犯罪的，依法追究刑事责任。至于在侦查阶段和审查阶段对非法证据的名称、启动、参与人员、适用程序等等，新刑诉法并未作明确规定。相对于此，新刑诉法对审判阶段排除非法证据的启动程序、举证责任及后果、操作规程等做了具体规定，包括如下：（1）程序启动。根据新刑诉法第56的规定，在法庭审理过程中若审判人员认为存在非法证据嫌疑的应当对证据收集的合法性进行法庭调查；当事人及其辩护人、诉讼人对证据的合法性有异议的，有权申请人民法院对非法证据予以排除，可见，在审判阶段，启动的主体包括当事人及其辩护人、诉讼人，审判人员也可以对证据的合法性启动法庭调查。（2）举证责任。新刑诉法第57条第1款规定“人民检察院应当对证据收集的合法性加以证明”。这一条款明确控方承担证明证据合法性的责任。由控方承担举证责任，既可以威慑侦查人员，促使其合法取证，也减轻了被告人的证明责任，但免除了被告人的证明责任并不当然说明被告人可以对证据的合法性随意提出质疑，新刑诉法第56条第2款还规定了“应当提供相关线索或者证据”。（3）证明方式。控方对证据合法性的证明，根据新刑诉法第57条第2款的规定，并不局限于现有的证据材料，还可以通过让有关侦查人员或者其他人员出庭说明情况来证实。（4）审理后果。根据新刑诉法第58条的规定，经过法庭审理，对于有异议证据，若控方不能提供证据加以证明、或者已提供的证据不够确实、充分的证明其合法性，则该证据也不能作为定案的根据，应当依法予以排除。
二、当前公诉工作的应对方法
随着新刑诉法的实施，基层院将面临全案出庭的挑战，就刑事案件而言，庭审更像是案件的“总闸”，所有证据都会在法庭上“公开”亮相接受各方当事人的质证，只有在庭审环节经受住“考验”才能最后成为定案的证据，案件才能尘埃落定，公诉人如何全面审查证据，正确运用非法证据排除规则，确保刑事诉讼程序顺利进行，是接下来笔者所要论及的重点：
（一）全面审查案件证据，及时做好补正工作
人类诉讼史上有一条古老的原则：大部分案件在入庭受审前就已经决定了输赢。换言之，准备入庭审胜利之根本性原则。在审查阶段，公诉人应当全面审查证据，确保据以定案的证据确实、充分，证据与证据之间可以相互印证，能形成完整的证据链，使得所指控的犯罪事实不特别依赖某一项证据予以证明，避免出现孤证的情形；对指控犯罪的核心证据及存在新刑诉法第54条规定的以非法方法收集证据情形嫌疑的地方，要重点审查，审查时保持客观中立，防止先入为主，全面、客观排除合理怀疑。当事人及其辩护人、诉讼人提出非法言词证据异议时，承办人要注意听取异议人提出非法证据排除的理由，并核实其提供的线索或相关证据，结合案件的其他证据，对异议人提出质疑的证据进行真实性的考察，判断有无改变言词的客观因素，有无暴力、威胁的非法取证方法等，同时，可对侦查人员进行询问，调查当时讯（询）问的情况，必要时，责成侦查人员提供当时录音录像，审查是否非法证据。对于不符合法定程序收集的物证、书证，要及时做好补正工作，对确实存在新刑诉法第54条规定情形的，应当对该证据予以排除。经过审查和排除非法证据，若据以定案的证据不足或者事实不清的，可以视情况退回公安机关补充侦查或者做不决定；证据确实、充分的，应当依法提起公诉。
（二）细致部署庭审策略，沉着应对突况
在确认不存在非法证据的情况下，公诉人要精心设计庭审的每个细节，如何盘问、如何举证、如何发表公诉意见、如何应对辩护方的辩解和质疑，均要在走进法庭之前谨慎部署。然而，法庭有时就像一个战场，双方全力交战中不可避免偷袭事件的发生，若庭上辩方提出非法证据的异议或者审判人员要求对证据的合法性进行法庭调查，公诉人要沉着冷静，根据辩护方提出的有关非法证据排除的内容和理由，一一进行有针锋相对、有理有据的应答和说理。一般而言，容易出现异议的一般是言词证据的合法性问题，此时，若为职务犯罪案件，因整个过程都采用了全程的同步录音录像，公诉人可将讯问笔录及相应的录像资料提交法庭，而对于公安机关侦查的案件，因案件难易有变，新刑诉法并没有要求对所有案件均进行全程同步录音录像，那么对于未录像的情形，公诉人可以提请法院通知侦查人员或者其他人员出庭说明情况。即便出现了新刑诉法第58条的情形，对相关证据予以了排除，公诉人也不必慌张，在前面笔者已经提到，经过审查达到条件的案件均是据以定案的证据达到了确实、充分的程度的，就算排除了有关证据，只要其他证据仍能相互印证，保证结果的唯一性，公诉人仍能取得法庭博弈的最终胜利。最后，笔者想强调，即便庭上出现了因依法排除非法证据而使得公诉人面临不利甚至是败诉可能的情形，作为一名合格的公诉人，仍应坦然面对，因为这并不是某个人的失败、某个案件的失败，而是我国法治进步的标志。
参 考 文 献
[1]樊崇义.五条八款确定非法证据排除规则[J].检察日报.2012
[2]龙宗智.推定的界限及适用[J].法学研究.2008（1）
[3]陈光中.刑事诉讼法[M].北京大学出版社，2002
贵妃出浴范文2
1、对私收费、跑处方、走穴捞外块等不良行为勇于举报者，经落实情况属实，奖励举报人10000元人民币。
2、私收费、漏收费无论金额大小，经查证落实，处罚人民币10000元，另加罚私收费或漏收费数额的10倍，并离岗3个月，停发工资和奖金。如本院职工介绍病人并知情私收费或漏收费者受到的处罚和当事人相同。
3、熟人介绍做各种检查和治疗，优惠该检查费和治疗费的30（由总值班签字生效）。
4、对走穴、跑处方者，处10000元罚金，另加罚走穴所得金额或处方金额的10倍，并离岗3个月，停发工资和奖金。
本规定自制订之日起执行
20__年10月19日
郸城县公疗医院
公疗医院值班制度补充规定
为加强值班人员的责任心，减少差错、纠纷，提高门诊、住院患者的满意度，增加社会效益，特制订值班制度补充规定。
一、公疗医院各级各类值班人员，必须坚守工作岗位，离岗15分钟以上者按规定处理。
二、凡在集体值班室休息的科室人员，应加强集体荣誉感，男、女值班室的卫生及其它管理工作按分工负责。其它各科值班室，只能作为休息用，不能作为会客、搞娱乐等活动场所，否则，罚款1000元。
三、工作情况允许休息的科室，冬天（公历11月1日—3月31日）必须晚上10：30后去值班室，夏天（公历4月1日—10月31日）必须晚上11：00后去值班室，否则，罚款1000元。
四、凡中午值班者，均不能午休，违者罚款1000元。
五、院总值班人员和临床科室一样值班，值班地点在综合楼大厅。
六、工作性质不允许休息的值夜班人员，享受夜班费高于其它科室（即10元人民币），但值夜班绝对不能休息，违者罚款1000元。
附：1、值夜班不允许休息者：
内、外科病房护士
门诊收费室
门诊药房值班者
门诊护士
门诊急诊医生
监护病房护士
病房内住有危重病人时、病房值班医生、住院药房、住院收费
室值班者，由总值班人员通知住院收费室、住院药房。
2、值夜班允许休息者：
检验科
心电图室
妇产科医生
内外科病房医生
放射科
急救中心
B超室
手术室护士
贵妃出浴范文3
一、高危企业安全生产费用计提范围与标准
根据财企[2006]478号文件规定，安全生产费用是指在我国境内从事矿山开采、建筑施工、危险品生产及道路交通运输的企业以及其他经济组织按照规定标准提取，在成本费用中列支，专门用于完善和改进企业安全生产条件的资金。高危行业是指在我国境内从事矿山开采、建筑施工、危险品生产及道路交通运输的企业以及其他经济组织。不包括地热、温泉、矿泉水、卤盐开采矿山和河道采砂、采金船作业、小型砖瓦粘土矿等危险性较小的非煤矿山。根据财企[2006]478号文件规定，安全费用的提取标准包括以下几点：矿山企业安全费用依据开采的原矿产量按月提取；建筑施工企业以建筑安装工程造价为计提依据；危险品生产企业以本年度实际销售收入为计提依据，采取超额累退方式按照标准逐月提取。
二、高危企业安全生产费管理规定沿革
2004年5月财政部、国家发展改革委、国家煤矿安全监察局联合下发财建[2004]119号文，要求煤矿按原煤实际产量从成本中提取煤炭生产安全费用，专门用于煤矿安全生产设施投入；2006年3月财政部、国家安全生产监督管理总局联合下发财建[2006]180号文，要求烟花爆竹生产企业按照年度销售收入提取安全生产费，列入成本，专门用于安全生产投入；2006年12月财政部、国家安全生产监督管理总局又联合下发财企[2006]478号文，要求在我国境内从事矿山开采、建筑施工、危险品生产以及道路交通运输的企业，按照规定标准提安全生产费，在成本中列支，专门用于完善和改进企业安全生产条件；煤炭开采企业和烟花爆竹生产企业不执行此规定。
《关于执行(企业会计制度)和相关会计准则有关问题解答(四)》第十条规定：煤炭生产企业按照国家有关规定提取安全费用时，应将按照国家规定标准计算的提取金额，借记“制造费用(提取安全费用)”科目，贷记“长期应付款(应付安全费用)”科目。同时还规定，费用性支出直接冲减安全费余额；形成资产的，在转资时一次性提足折旧。
为了与《企业会计准则》相衔接，《企业会计准则讲解(2008)》又对安全生产费的处理做出了新的规定。企业依照国家有关规定提取的安全生产费用，应当列在所有者权益中的“盈余公积”项下的“专项储备”。企业提取的安全生产费用不再从成本中列支，而是做为利润分配的一种形式。
《企业会计准则解释第3号》则对安全生产费会计处理做出了最新的规定：高危行业企业按照国家规定提取的安全生产费，应当计人相关产品的成本或当期损益，同时记入“4301专项储备”科目。企业使用提取的安全生产费时，属于费用性支出的，直接冲减专项储备。企业使用提取的安全生产费形成固定资产的，应当通过“在建工程”科目归集所发生的支出，待安全项目完工达到预定可使用状态时确认为固定资产；同时，按照形成固定资产的成本冲减专项储备，并确认相同金额的累计折旧。该固定资产在以后期间不再计提折旧。“专项储备”科目期末余额在资产负债表所有者权益项下“减：库存股”和“盈余公积”之间增设“专项储备”项目反映。企业提取的维简费和其他具有类似性质的费用，比照上述规定处理。本解释前未按上述规定处理的，应当进行追溯调整。
三、高危企业安全生产费的会计处理
高危行业提取安全生产费用的意义和作用众所周知。如果改在“利润分配”列支，除与《公司法》的有关规定有悖外，也与制订这项支持高危行业安全生产政策的初衷相背离。企业会计准则解释第3号解决了这一问题。这与原会计处理一致，只是在计提时，原规定安全生产费应在计入生产成本的同时，确认为负债(长期应付款)；企业会计准则解释第3号改为，应当计入相关资产的成本或当期损益，同时，确认为专项储备。
一是安全生产费用的计提。计提时借方记入相关产品的成本或当期损益，同时贷方记入“专项储备”科目。不同于新准则讲解要求，企业依照国家有关规定提取的安全生产费用以及具有类似性质的各项费用，应当在所有者权益中的“盈余公积”项下，以“专项储备”项目单独反映，即借记“利润分配――提取专项储备”，贷记“盈余公积――专项储备”。也不同于旧规中要求安全生产费用在提取时直接计入负债，即借记“制造费用――提取安全生产费用”，贷记“长期应付款――应付安全生产费用”。新规定提取的安全生产费，应当计人相关产品的成本或当期损益，而是贷方记入“专项储备”科目，“专项储备”不再为二级科目。
二是安全生产费用使用方面。企业使用提取的安全生产费时，属于费用性支出的，直接冲减专项储备。企业使用提取的安全生产费形成固定资产的，应当通过“在建工程”科目归集所发生的支出，待安全项目完工达到预定可使用状态时确认为固定资产；同时，按照形成固定资产的成本冲减专项储备，并确认相同金额的累计折旧。该固定资产在以后期间不再计提折旧。不同于新准则讲解要求企业按照安全生产费用实际使用的金额在所有者权益内部进行结转，结转金额以“盈余公积――专项储备”科目余额冲减至零为限。也不同于旧规中在相关费用实际发生时直接冲减“长期应付款”的处理方法。安全生产费用使用形成固定资产时不同于前规定要求企业应当按正常购建的固定资产计提折旧，计入有关成本费用；在形成费用性支出时，计人当期损益。而新规中在安全生产费用使用形成固定资产时，一次性全额计提折旧，在资产以后使用期间不再计提，并且在形成费用性支出时，也并不计入损益科目。会计处理分录为：(1)企业提取安全生产费用时，借记“相关产品的成本或当期损益”，贷记“专项储备”。(2)动用安全储备支付费用性支出时，借记“专项储备”，贷记“银行存款”等。(3)动用安全储备购置安全设备等固定资产时(2009年开始进项税可以抵扣)，借记“在建工程”、“应交税费――应交增值税(进项税额)”等，贷记“银行存款”等。(4)达到预定可使用状态时，借记“固定资产”，贷记“专项储备”、“累计折旧”。
此外，根据会计准则解释第3号规定，本解释前未按上述规定处理的，应当进行追溯调整。即在会计准则解释第3号前，高危企业按照《关于做好执行会计准则企业2008年年报工作的通知》(财会函[2008]60号)等执行的，要按照《会计准则解释第3号》进行追溯调整。
四、高危企业安全生产费的税务处理
《企业所得税法》第八条规定，企业实际发生的与取得收入有关的、合理的支出，包括成本、费用、税金、损失和其他支出，准予在计算应纳税所得额时扣除。《企业所得税法实施条例》第二十七条进一步明确，《企业所得税法》第八条所称有关的支出，是指与取得收入直接相关的支出。《企业所得税法》第八条所称合理的支出，是指符合生产经营活动常规，应当计人当期损益或者有关资产成本的必要和正常的支出。《企业所得税法》第二十一条规定，在计算应纳税所得额时，企业财务、会计处理办法与税收法律、行政法规的规定不一致的，应当依照税收法律、行政法规的规定计算。综上所述，由于新《企业所得税法》对于企业计提的安全生产费用如何处理没有相关的具体规定，因此，企业在对安全生产费用进行所得税处理时，可以比照国家颁布的相关的企业财务、会计处理办法来进行操作。
贵妃出浴范文4
【关键词】非常规污水处理；小城市；污、废水处理工艺
合理的利用水资源，改善城市的投资环境，已是可持续发展战略的重要思想。但在一些小城市的工业发展进程中，工业废水的排放难免会对水质的环境带来一些影响。而随着工业废水的大量排放，小城市的污、废水排放的比例也发生了很大的变化，当面对难以降解的物质时，就要考虑选用非常规的污水处理工艺，来促进城市污、废水处理的质量。
一、污、废水量比
小城市中的污水通常以生活污水为主，但由于经济的发展，小城市的工业用水也得到了不断地增加，造成了大量的污水排放，使得污、废水量比形成了严重的失调现象。位于太湖以南的浙江，包含有钱塘江等比较大的水系，所以水体的功能一般要求达到Ⅲ类水以上。然而由于乡镇企业的迅速发展，使得工业的废水量远远超过了生活的废水量。在我国大多数的小城市中，雨、污水分流是排水体制的一个重要目标，但在近年来，截污率已经达到了0.55-0.65，而一些中型的工业地带的废水截污率则已经达到了100%，所以，污、废水的比例也有所降低。在实际的污、废水的设计中，可以对工程投资、处理工艺、进、出水质进行综合的确定，来进行污、废水的有效处理。
二、水质
与污水厂的进水水质要素相关的有：1.污、废比；2.工业废水污染物成份；3.居民生活用水量；4.地下管道入渗率；5.城市管网排水体制。通常来讲，就小城市的污水水质而言，北方城市不如南方城市，但居民的生活水平、气象环境、雨、污分流比例都会对小城市的实际水质造成一定的影响。下表是小城市污水中低浓度水质示例表。
项目 COD/mg/L BOD/mg/L TN/mg/L TP/mg/L SS/mg/L PH
浓度 250-300 100-150 20-40 4-6 150-220 6-9
对城市的污水处理厂而言，威胁运行较大的是工业废水的水质，如印染厂、医药化工厂、造纸厂等工业废水。如果污、废比较小时，即促使废水的处理，使之达到进污水管网的标准要求，会从本质上解决小城市的污水水质。下图是污水排入城市下水道的水质标准要求表。
三、小城市非常规污水处理工艺
在常规的污水处理中，污、废水比达到75%以上，才能达到出水的标准，即COD≤60mg/L。但如果不能达到这一比值时，就要应用非常规的污水处理方法进行污废水的处理。与此同时，在污废水的常规处理中，一般要求出水浓度要达到工业废水的排放标准，其与城市污水厂的出水要求有着比较大的区别。为此，在确定非常规的处理方法中，要对常规处理方法中的除磷脱氮功能进行一定的保留，并具备降解残余物质的能力。
对于生活污水而言，由于工业废水的渗入，使得水质的特性发生率很大的变化，由于这一特点，进入污水管网的工业废水的水质特性也发生了很大的变化。其两者具有相辅相成的重要作用。对出水水质来讲，处理的工艺对其有着重要的影响，污、废水的性质对其也有着一定的影响。如果说，某一个城市的工业废水主要是造纸、印染等，所采用的处理方法就是常规的污水处理工艺，它的入管BOD有75%的去除率，生活污水BOD和COD有95%和90%的去除率。在这一过程中，用化学除磷的工艺也是非常重要的，通过这一方法，就可以得知污、废比条件下的出水水质，如下表。
从上表可以看出，如果污/废比处于0.60/0.35时，若进行常规的方法进行污水的处理，能够使出水达到城镇的排放标准；但当这一比值超过0.45/0.55，时，只会让出水水质达到城镇的二级排放标准。为此，当这一比值低过以上的标准时，就要采取非常规的方法，进行小城市的污水处理。对于非常规的污水处理工艺而言，其可对工业废水的成分和污、废比进行一定的依据，在参照一下一些工艺的流程进行废水的处理。
1.工艺流程一
2.工艺流程二
在上面的这些污水处理额非常规处理工艺中，对于调节池的设置，其主要考虑的是工业废水的排放量和污、废比。如果污、废比的比值小于0.35/0.65，或出现反应池单元，就必须要进行调节池的设置，才能对处理过程中的药剂投放量进行有效地控制。而对于水解池而言，它的设置考虑的是废水中BOD/COD之比和入管中的难降解物质的浓度，其对制革、毛纺、造纸、水果罐头食品、印染等废水的处理均可适用。其中在设置初沉池时，一般要对进水的悬浮物浓度进行有效地取舍，如果具备混凝沉淀的功能，也要对其进行设置。此外，如果出现不溶性COD和难降解物质的存在，并在BOD/COD比值较低时，就要对反应池进行设置，在依据入管工业废水的特性，可选择性的添加氧化剂或混凝剂。通常来说，如果是制革和医药化工类的废水，就可对其进行上述工艺的选用。
四、讨论
（一）处理小城市污水时，入管难降解物质和工业废水比例的增多会使废水的处理难以达到合理的标准，一般来说，运用常规的污水处理方法，并不能够达到很好的效果，以此实现水环境质量的改善。为此，就要对处理难降解工业废水的方法进行有效地兼纳，不断地完善常规的生化处理工艺，来适应经济的需求和发展。
（二）对污水处理的非常规的处理工艺进行一定的完善，并能够依据出水浓度、入管废水的性质、污废比等内容进行工艺的设计，而对这些内容进行有效地考虑，也能够对小城市污水处理的工艺设计进行一个可行性的判别，使应该使用非常规处理工艺却运用常规处理工艺的现象有所避免，有效地保障出水的合格率。
贵妃出浴范文5
本 科 生 毕 业 论 文（设计）
本 科 生 毕 业 论 文（设计）
题目 阵列化的非晶体纳米硅神经突触器件制备与数值模拟
姓名与学号 郑浩 315104964
指导教师 皮孝东
合作导师
年级与专业 2015级 材料科学工程
所在学院 材料科学工程
提交日期
A Dissertation Submitted to Zhejiang University for
Bachelor Degree of Engineering
Preparation and Numerical Simulation of Arrayed Amorphous Nano Silicon Synaptic Devices
Submitted by
Hao Zheng
Supervised by
Prof. XiaoDong Pi
School of Materials Science and Engineering
Laboratory of Silicon Materials, Zhejiang University, Hangzhou
People’s Republic of China
May, 20th, 2019
浙江大学本科生毕业论文（设计）承诺书
1.本人郑重地承诺所呈交的毕业论文（设计），是在指导教师的指导下严格按照学校和学院有关规定完成的。
2.本人在毕业论文（设计）中除了文别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得 浙江大学 或其他教育机构的学位或证书而使用过的材料。
3.与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。
4. 本人承诺在毕业论文（设计）选题和研究内容过程中没有伪造相关数据等行为。
5. 在毕业论文（设计）中对侵犯任何方面知识产权的行为，由本人承担相应的法律责任。
6.本人完全了解 浙江大学 有权保留并向有关部门或机构送交本论文（设计）的复印件和磁盘，允许本论文（设计）被查阅和借阅。本人授权 浙江大学 可以将本论文（设计）的全部或部分内容编入有关数据库进行检索和传播，可以采用影印、缩印或扫描等复制手段保存、汇编本论文（设计）。
作者签名： 导师签名：
签字日期： 年 月 日 签字日期： 年 月 日
致 谢
致谢内容。（仿宋字体或Times New Roman，小四号，两端对齐，首行缩进两个汉字符位，段前0磅，段后0磅，固定行距20磅。）
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
致谢内容。
摘 要
信息时代的来临，人类在处理大数据与多信息的任务面前面临着很大的挑战，传统的冯-诺依曼式计算机思想在处理这些问题时出现了本质上的不足，因此神经网络的应用于硬件化变得十分迫切。随着忆阻器的发现，类脑计算的实际应用变得可能。本文从硬件神经网络的兴起出发，阐述了硬件神经网络的研究现状与实现途径，之后引入了生物神经元的特征，阐述了以往关于人类神经元建立的数学模型。之后本文提出了一种阵列化硅纳米晶体神经突触器件的制备方法与过程，并且在基于这样的器件上，得到相应的LTP与STDP数据，将这些数据分别用于探究：神经元激活函数数值模拟，有监督脉冲神经网络之tempotron算法数值模拟与STDP无监督学习网络数值模拟，在得到结果的基础上，提出了硬件化神经网络所需要的器件的基本性质与要求。为未来的硬件化目标提出了可行性与基本方向。
关键词：硬件神经网络；神经元；神经突触器件；激活函数；Tempotron算法；STDP；无监督学习
Abstract
With the advent of the information age, human beings face great challenges in dealing with the task of big data and multiple information. The traditional von Neumann-style computer thought has its essential shortcomings in dealing with these problems, so the application of Hardware
neural networks have become very urgent. The discovery of memristors made it possible for the practical application of brain-like calculations. Starting from the rise of hardware neural networks, this thesis firstly expounds the research status and implementation of hardware neural networks, and then introduces the characteristics of biological neurons, and expounds the previous mathematical models of human neuron establishment. After that, an arrayed hybrid silicon nanocrystal based synaptic devices have been prepared. Nervous function behaviors, e.g. LTP and STDP, have been obtained based on this device. These data are then separately used to explore neuron activation function values Simulation, numerical simulation of tempotron algorithm with supervised pulse neural network and numerical simulation of STDP unsupervised learning network. Based on the results, the basic properties and requirements of the hardware required for hardware neural network are proposed. The feasibility and basic direction for future hardware goals are proposed.
Keywords: Hardware neuron network; neurons; Synaptic device; activation function; Tempotron algorithm; STDP; unsupervised learning;
目 次
第一部分 毕业论文（设计）
A DiSubmitted to Zhejiang University for
I
III
V
VII
IX
第一章 绪论
1.1.1 硬件神经网络的兴起
1.1.2 硬件神经网络的实现
1.3.1 生物神经元介绍
1.3.2 人工神经元介绍
1.3.3 人工神经网络介绍
1.3.4 脉冲神经网络介绍
3.1.1 神经网络结构
3.1.2 神经元硬件化结论
3.2.1 脉冲编码
3.2.2 权值更新
3.2.3 数值模拟结果
3.2.4 LTP权值改变法
3.2.5 STDP权值改变法
3.2.6 结论
3.3.1 理论背景与基础
3.3.2 网络设计
3.3.3 模拟结果
作者简历
攻读学位期间发表的学术论文与取得的其他研究成果
第一部分
毕业论文（设计）
第一章 绪论
11.1 硬件神经网络1.1.1 硬件神经网络的兴起
21世纪进入信息时代后，计算机的普及率大大上升，计算机本身也在计算力与逻辑处理上远远超过了人脑，然而不足的是，在数据的存取与记忆上，仍然是采用冯-洛伊曼式的串行方法，且功耗很大，而人类大脑拥有10^11 个神经元和10^15神经突触。这使得人类处理信息的方式是高效的并行方式，并且功耗很低。例如人类大脑看到一种东西，识别它的过程往往使视觉神经信号与记忆信号同时作用的结果，功耗在fj量级。在使得冯-洛伊曼式计算机处理复杂指令与控制上体现出了根本性的缺陷。基于这一点，神经网络的研究开始兴起，在1943年，McCulloch 和 Pitts 提出了神经元的形式化模型后, 有关于神经网络的讨论也逐渐火热起来，但其发展的中途受到很多科学家对其的质疑[19]。直到 1980年左右, Rumelhert 与他的研究伙伴[20]一起发表了著名的并行分布式处理( Parallel Distributed Processing)方法的工作 , 并且建立了 BP 算法和前向神经网络，从数学上的形式，证明了这种算法的可行性，BP神经网络是一种前馈式的误差逆向传播网络，通过训练集不断缩小输出值与目标值的差值从而达到非线性优化的目的。由此，神经网络的数学原理得到证明，其实在1970年神经网络存在一段低落期，也受到了很多怀疑。但是BP神经网络的兴起与提出，让科学们对于神经网络的态度再次火热起来。21世纪随着深度学习的提出，又掀起了一股关于人工智能的热潮，Deep learning 是在多层感知机的基础上，不断增加隐含层的层数，这上面又出现了一些数学上的问题比如激活函数的梯度弥散问题，但是由于Relu激活函数替代sigmod函数的提出，这些问题逐步得到了解决，深度学习向前发展了一大步。比如IBM的“深蓝”击败世界围棋选手李智石等，但是实际上，“深蓝”在击败李智石时消耗的电量等于一桶油的燃烧的焦耳值，但是李智石仅仅使用了两个馒头的热量战斗。也就是说，这场比赛其实并不公平。其实这反应的是人工智能的工作效率与真正人脑的学习效率仍然有很大的差距。神经网络本质是由多个简单的信号处理单元组成，这些简单的信号单元之间由一种方式连接形成网络，它意在模仿人类大脑处理信息的模式，从而实现图像识别，音像识别，特征提取和记忆等功能。现在计算机能够从软件上对神经网络进行实现，然而关于数据的存取方式仍然无法得到突破，数据的存取方式仍然是老式冯-诺依曼式的串行处理方式。但是人类识别图像，获得信息是并行的。因此硬件神经网络的开发是必要的，硬件神经网络能够使用集成电路实现并行处理信息，并且能耗低，效率高，能够更贴近人类大脑的工作方式。因此硬件神经网络的开发受到很多的关注与研究，未来人工智能和类脑计算的发展前景中，硬件神经网络的研究是必须的。
[ANNOTATION:
BY 'wenhuang'
ON '2019-05-23T09:23:00'w
NOTE: '这部分放到前言部分比较好，或者干脆就不要了，放在这里是不合适的。']本文的第一章即绪论，主要是阐述当前关于硬件化神经网络的突破，现状与发展形势。
第二章主要从人类的神经元开始，讲述人类生物神经元的特点，讲述现在人工神经元的数学模型，以及硬件化神经元需要的要求与方式
第三章主要讲述制备实验器件的技术路线，与制备的过程和使用的材料
第四章从数值模拟的角度，探究神经元硬件化的条件是怎么样的，数值模拟选取MNIST数据集作为样本数据集，通过使用实验得到的激活函数替论激活函数，观察网络的准确率，得出相关结论，探究硬件需要满足的条件
第五章从数值模拟的角度，探究突触硬件需要满足的条件，突触与神经元不同，它是作为神经网络中存储权值，改变权值的存在，与神经元有本质上的区别，数值模拟采用26个英文字母的图片作为数据集，进行编码后发送脉冲，使用Tempotron 的有监督脉冲神经网络进行数值模拟，通过实验硬件得到的LTP与LTD图像进行权值更新。得到预测率的图像，证明了LTP的电或者光电器件能够作为脉冲神经网络硬件化的一个器件，为未来做出相关硬件网络道出了一种可行性。
第六章主要是针对STDP的学习机制扩大网络规模，将数据集扩展到MNIST手写数据集，使用STDP无监督学习网络[16]对数据进行训练，之后再对训练好的神经元进行分类。得到我们想要的结果。
第七章主要是总结本文的工作得到的结论，以及对于未来硬件神经网络的发展的一些展望与看法
1.1.2 硬件神经网络的实现
一般硬件神经网络的实现方式有三种，即采用电子学方法——依靠微电子技术实现人工神经网络, 采用光电方法——依靠半导体光电集成技术实现人工神经网络, 采用光学方法实现人工神经网络[18]。微电子技术应该是通过各种电路设计，例如放大电路，差分电路等集成电路，实现神经网络的reference部分。依靠光电实现的硬件神经网络是本文的重点，利用电学元器件，忆阻器器件，或者是光电器件，模拟生物神经元的膜电位变化曲线，与人类大脑的权重学习规则，从而实现神经网络的硬件化。采用光学的方法实现网络计算的方法十分有趣，UCLA大学的研究小组发明了一种全光的深层神经网络，通过光的反射与折射传递信号，利用光入射的相位差记录权值变化，实现了全光的神经网络，而且由于光的传播速度是光速，在整个网络的效率与速度上都十分惊人，能耗也十分低[21]。神经网络的电子学硬件实现方法主要有四种，其中分别是数字实现、模拟实现、混合数/模实现和脉冲技术实现等[18]。通过数字实现的神经网络一般精度很高[1,2]，权值易存储也容易改变，并且能够通过电路实现并行处理，克服传统计算机串行处理数据的弊病，但是缺点是电路难以集成，体积很大，很难适用于计算机新型芯片这种地方。通过模拟实现的神经网络能够很好克服上面的缺点[3,4,5]，但是由于突触和神经元器件对参数敏感，准确度下降，更关键是对于权值的存储存在困难。1987年是一个转机，即脉冲技术第一次用于了神经网络，使用VLSI技术作为实现，从这以后，神经网络的脉冲技术受到了很多关注[9,12]。
脉冲技术，简单来说就是将神经元的兴奋或者抑制状态通过一定的编码方式转化到脉冲的波形上，编码的方法一般有高斯编码，或者可以自定义的编码方式。由于脉冲化的信号是离散的，因此一定程度上可以简化运算电路：例如突触电路。神经元与一般的电路元件不同，它本身的密度很高，正如人类神经元的密度很高一样。这种紧密的排列方式使得脉冲信号把芯片和外围设备的接口变得更容易连接。本文正是利用从脉冲神经网络出发，制备出硬件化的元件，通过数值模拟硬件的实际可行性，并且对于未来硬件化神经网络的方向提出一些看法
21.2 硬件神经网络研究进展当前的人工神经网络存在三种模式，第一种是非学习型神经网络，即网络的前馈过程与权值计算过程全部由软件进行实现，权值是固定不变的，只用神经网络的电路结构完成之后，再与实际电路结构匹配即可。另外一种是on-chip的模式，即前馈过程通过微电子电路进行实现，权值的更新与计算通过计算机实现。还有一种off-chip模式，即是一种全自动的自主性芯片，从神经网络的前馈环节到神经网络的BP算法实现都一并完成。目前的研究状况，我们已经能够熟练通过电路的设计实现非学习神经网络。在on-chip式的人工神经网络上，我们也能通过一定的模拟方式得到实现。现在的当务之急是开发off-chip式的神经网络，使用硬件对权值的存储与改进是必要的。自从20世纪60年代后期引入忆阻器概念以来，由于其简单性和功能相似性，它们被认为是模拟突触装置的最有希望的候选者。2008年，惠普公司公布了基于TiO2的RRAM器件[6]，开拓了RRAM和忆阻器之间联系，做出了一定的应用之后以非易失性存储器件和神经突触晶体管为代表开始成为神经突触器件的基础。但将这些器件用于第二代神经网络（也就是多层感知机）上，取得了一定的成就，现在关于这方法的也在如火如荼的进行着，但是由于第二代神经网络的基础仍然是基于计算机的算力达到的深度，也就是说，加深隐含层的数目提高准确度，知识因为有着强大的计算芯片作为支持。我们需要考虑一种完全类似于人脑思考问题的神经网络与算法，于是脉冲神经网络开始兴起，并且被誉为第三代神经网络，这是一种完全基于人脑计算模式的神经网络，从长程记忆可塑性LTP，时间可塑依赖性STDP等研究的深入，这一网络的硬件化也成为了可能
31.3 从生物神经元到人工神经网络1.3.1 生物神经元介绍
人的大脑中有超过 1011个神经元，这些神经元之间的连接的突触又大约有10^15个，这些突触使得神经元互相连接，从而构成了复杂多变而又有条不紊的神经网络[7]。这些神经元的单独处理信息的速度并不算很快，但是人类的大脑能够很有效的利用这些神经元并行处理。即大量神经元一起处理一个任务，这有些类似于计算机里的多线程并行操作算法。人类大脑的神经元数目虽然庞大，但是它的能耗低却是特点，我们每日摄入的热量与一些机器的能源是不能够比拟的，然而我们的大脑就能够实现很多计算功能，有数据显示，脑神经系统一个动作每秒消耗的能量比最优秀的处理器能耗小1010个数量级。
人的生物神经元有两个部分，分别是细胞体和突起。具有处理并且整合输入的神经信号，然后传出这些信息的作用。突起有树突和轴突两种。树突相对较短但分枝很多，其作用是接受其他神经元轴突传来的冲动并传给细胞体。轴突长而分枝少，常常出现在轴丘，一般为粗细均匀的细长突起，其作用是接受外来刺激，再由细胞体传出。神经元与神经元之间的连接被称为神经突触，两个神经元之间连接强度或者关联程度体现在突触的连接强度。一般而言神经元有以下的特点[8]：
1）：可塑性：即神经元之间的突触可以连接，也可以取消，连接可以变强，也可以慢慢变弱，方便与人类去适应不同的环境。
2）：兴奋与抑制：神经元受到外界刺激之后，会产生膜内外渗透压的差别从而导致Na+或者Ca2+的流入或者流出，这些离子的迁移会产生动作电位，导致膜电位的上升或者下降，也就对应了人类神经元的兴奋和抑制过程。
3）：学习与遗忘：由于可塑性的存在，当人类在长时间受到同一种刺激的时候，会产生我们的所说的学习功能，而这种功能其实是神经元之间的连接得到了加强，同理，如果我们慢慢遗忘了一些东西，是因为长期不去使用从而神经元之间的连接衰弱了。对应的有LTP,LTD图像来进行表征。
4）：突触的延时和不应期。神经冲动的传递在突触中是需要时间的，一般这个时间是1-150ms。另外，神经元也不会在短时间内接受两次冲动，一般需要间隔一定的时间，这个被称为不应期。
从上面可以看到，想要用神经元器件模拟人类的生物的神经元，一定要从生物本质和特征去进行模拟。本文后面的数值模拟会再把这些特征一一强调一次，从而达到一种仿真的目的。
1.3.2 人工神经元介绍
早在1943 年 McCulloch 和 Pitts 提出了神经元的形式化模型, 神经元可用简单的zha值函数表示，并完成逻辑函数功能[19]。20世纪初期，美国心理学家Willian Jame 提出，一个神经元应该是同时接受来自不同神经元的信号后，由于不同神经元之间的突触连接强度不同，神经元相当于是一个加权和，并且由于兴奋存在一个阈值电压，需要一定的电压值才会fire，因此神经元可以用一个数学模型来勾画，即著名的MP模型。
y=f(∑i=1nwixi+b)
（2-1）
其中，表征每个神经元的输入值，表征神经元之间的连接强度，b代表阈值电压。外界的f函数则是一种神经元的处理函数。
图1-1 MP 神经元模型
Fig.1.1 Neurons model
可以看到，对于神经元的硬件实现实际上是一个乘法器的实现以及加权和非线性处理，这个可以通过放大电路等进行实现。后续本文也将探究一下神经元应该具备怎样的条件，或者怎么样的器件适合作为神经元器件。
1.3.3 人工神经网络介绍20世界80年代,J.Hopfield 提出了 Hopfiel 神经网络, 引起了神经网络理论在优化学术界的轰动。然而热潮还远远没有结束。1986年，Rumelhart和McCelland提出了BP神经网络，这种神经网络是现在很多网络算法的基础，它是一种依靠逆向传播输出值与实际值误差修正网络权值的网络，利用梯度下降算法或者随机梯度下降法降低目标值与实际值的误差，随机梯度下降算法时为了加速算法收敛速度提出的更好的方式，现在很多网络也应用这种方法
图 1-2 经典的神经BP神经网络模型
从图中我们可以看到的是，网络一般由输入层，隐含层和输出层三个部分构成，其中输入层可以是图像的像素值，音频信号等等，因此神经网络现在广泛用于人脸识别，图像识别，声音识别等等领域。隐含层的多少是决定一个网络是否是深层网络的基本要素，隐含层如果越多，那么挖掘的信息，提取的特征就越难以用表面语言描述，训练的精度也会逐步的提升。输出层是网络的输出，网络的输出后往往会选择一个损失函数，这个损失函数是用于衡量目标值与实际值的差值从而进行误差反向传播计算。常见的损失函数有MSE函数,Cross-Entorpy函数等等。
图1-3 硬件神经网络的一种实现[15]
基于经典的BP神经网络MLP的硬件实现如上图所示，使用电路模拟整个网络的结构，在电路横向与纵向的cross_bar 的地方放置突触装置，利用电流与电压的比值进行权值的存储与更新。这样的网络往往需要得到的I-V曲线是对称的，就是说，权值的变化需要是随着强度的增加而增加，减少而减少，呈现一种线性的变化，从而保证在进行BP算法时，误差能够不断减小。
1.3.4 脉冲神经网络介绍随着在21世纪早期计算能力的显现，DNN（多层感知器，深层信念网络，传统神经网络等等）迅速发展，DNN的基本特征是有很多隐含层，这些神经网络能够实现监督与非监督学习，并且能够优秀的完成有大量数据的任务。然而实际上，现在的DNN的优秀来源于GPU的并行加速机制，是在计算机多核算力上的体现，在其本身的算法上，其效率远远不如人脑高。SNN（脉冲神经网络）最近引起了很多关注，因为它们与生物系统非常相似，在SNN中，输入信号是尖峰，而不是传统神经元中的恒定馈送。 人们普遍认为能够处理尖峰是大脑在序列识别和记忆方面如此壮观的主要原因之一[9]。序列识别是计算中更重要的主题之一，因为它直接影响系统处理强烈时序依赖的刺激的能力，例如语音识别和图像检测[10]
图1-4 STDP图像
对应STDP的最简单理解是，如果前突触神经元的信号在后突触神经元的信号之前达到，有理由认为前突触的信号导致后突触神经元的信号产生，那么这两者之间的突触连接强度应该增加，反之就该减少。但如何保证这种训练模式一定是有效的呢？Bengio 和 Fischer 两人在2015发表的文章[11]指出具有对称反馈权重的网络将具有以下特性：“输出单元”的小扰动将向更好的预测传播到内部层，使得隐藏单元移动到大致遵循预测误差J相对于隐藏单元的梯度。而STDP规则大致对应于预测误差的梯度下降，即STDP的规则其实和SGD算法有着异曲同工之妙。Scellier和Bengio（2016）报告的实验已经真实地表明这些近似值可以工作并且能够训练有监督的多层神经网络[12]。
脉冲神经网络被称为新一代神经网络，与经典的神经网络不同在于它的输入实际上不是一个连续值而是一系列脉冲，更为重要的是他的神经元膜电位，一旦达到了膜电位的峰值，那么这个神经元就被激活，后面的脉冲会进入一段不应期。关于神经元的模型，已经提出了HH模型，Izhikevich模型与LIF模型，其中以LIF模型为例，其微分方程的表示如下：
τdVdt=−(V−Vr)+RI
（2-2）
τ
是膜的时间常数，R为膜电阻，V是膜电位，Vr是复位电位，I是注入电流，当膜电压超过一个阈值时，神经元会发送一个脉冲。如果后面没有连续的刺激，这个产生的脉冲信号会不断衰退，膜电位也会恢复到复位电位后稳定。之后再接受电流再刺激。
针对脉冲神经网络的学习过程，也分为有监督学习和无监督学习，无监督学习主要以STDP为主[13,14]，有监督学习包括Tempotron算法，ReSuMe算法和SpikeProp算法等等。本文主要采用Tempotron算法，下面做个详细的介绍：
在Tempotron算法中，考虑在阈值下，突触前神经元产生的脉冲信号，对突触后膜电位（PSPs）的贡献是来自所有脉冲输入的加权和：
V(t)=∑iωi∑tiK(t−ti)+Vrest
（2-3）
ti
表示第i个神经元的脉冲发送时间，
K（t−ti）
表示第i个脉冲对于膜电位的贡献，即突触前神经元发出的脉冲对于突触后神经元膜电位的影响。其标准形式如下：
K(t−ti)=V0(exp[−(t−ti)/τ]−exp[−(t−ti)/τs])
（2-4）
τ,τs
是时间常数，为了保证K(t)在（0,1）之内变动，我们需要用V_0进行归一化处理，K(t)图像绘制如下图：
图1-5 K(t)随时间变化图
由监督学习的重点是要将权重更新向着误差减少的方向进行，获得期望的输出脉冲，更新规则如下：
Δωi=λ∑ti−tmaxK(tmax−ti)
（2-5）
即以二分类为例，ti
为突触前神经元峰值的产生时间，这里的
tmax
设定为我们设置的时间序列的终点，默认为突触后神经元的峰值的产生时间，但这和一般的STDP不一样，因为STDP的神经网络训练规则实际是不需要有监督的，而这里有一个参数
λ
，用于控制输出值与期望值的误差方向，如果突触前神经元产生峰值超过阈值电压的神经脉冲，并且突触后神经元指向分类标准与前神经元指向的分类相同，则不需要修改权值（说明这个连接正确），如果突触前神经元峰值未超过阈值电压，那么需要根据上式指定
λ
>0，并且计算需要增加的权值。反之当
λ
<0时，需要进行减小权值。总体看来，这是在借助有监督学习的条件下，在明白误差修正方向下利用STDP中的LTP与LTD曲线获得修正的幅度（可以认为是学习的速率），从而使我们获得期望的输出。注意上面提出一种概念：即在有监督学习的条件下，后突出神经元的峰值由标签值决定，并且根据误差值指明误差修正放向（体现为
λ
的正负性），然后依靠STDP决定修正幅度。这也是一种将STDP曲线用于有监督学习的可行性展示。
第二章 实验部分12.1 阵列化基于硅纳米晶体杂化结构的神经突触器件制备2.1.1 制备技术路线在本论文里面，采用了冷等离子方法制备了掺B的Si量子点，相比于其他的掺杂方法，冷等离子法是借助了动力学的原理，从而实现了对硅纳米晶体的高效掺杂，一定程度上避免了利用热力学原理来掺杂的过程中出现的“自洁净”现象。相比之下能够实现比较高浓度的掺杂。
图2.1 使用冷等离子法制备掺杂硅纳米晶体示意图
使用冷等离子体法制备掺杂硅纳米晶体的装置设计示意如图2.1所示。先准备每分钟流量值12标准公升的硅烷氩气混合气（20% SiH4）、157 sccm的硼烷氩气混合气（其中含有0.5% B2H6）和105 sccm的高纯氬气通入到石英管中混合，调节系统尾部的真空泵，使腔体内的气压稳定在6 mbar。石英管中间部位套有两个铜环，分别接匹配箱和射频发生器的正负两级。在射频发生器（功率约为150 w）的激发下，铜环之间的石英管内将产生等离子体，混合气体在通过等离子体区域时将会发生分解反应，这个反应的产生是因为气体受到了高能粒子和电子的轰击产生的，具体化学反应式如下：
SiH4⃗Si+H2B2H6⃗2B+3H2
在器件制备方面，本文利用硅纳米颗粒的光电性能与以及表面缺陷对载流子具有俘获的性质，首先与钙钛矿进行杂化形成混合容易。通过旋涂工艺制备成了太阳能电池结构的神经器件，器件的结构是：Ito/pcbm/钙钛矿与硅量子点杂化层/spiro/Au。在该结构里面，ITO是通过光学刻蚀得到。PCBM, 钙钛矿与硅量子点杂化层， Spiro是通过旋涂方法得到。其中钙钛矿CH3PbI3与硅量子在DMF溶液（461mg PbI2, 159mg MAI, 71uL DMSO, 630 ul DMF.。Si量子点在溶液里面的浓度为10mg/ml.杂化旋涂后就制备出了膜。）里面。硅量子点掺杂B，掺杂B的硅纳米晶体尺寸是6nm, 钙钛矿膜厚大概在300nm左右，晶粒尺寸大概在200nm。Au电极采用热蒸发工艺得到，厚度大约为100nm。
[ANNOTATION:
BY 'wenhuang'
ON '2019-05-23T10:15:00'w
NOTE: '这一段是不是应该要删掉？']2.1.1 器件制备路线
在器件制备方面，本文准备利用硅纳米颗粒的光电性能与decay长的性质，与钙钛矿进行杂化形成自驱动电池，在制备电池的工艺上，选择旋涂工艺做成太阳能电池的结构，器件结构分别是：Ito/pcbm/钙钛矿与硅量子点杂化层/spiro/Au，之后使用热蒸发工艺将电极Au安装上，设置厚度大约为100nm。钙钛矿CH3PbI3与硅量子在DMF溶液（461mg PbI2, 159mg MAI, 71uL DMSO, 630 ul DMF. Si以DMF为溶剂，浓度为10mg/ml. 杂化旋涂后就制备出了膜。）里面。硅量子点掺杂B，掺杂B的硅纳米晶体尺寸是6nm, 钙钛矿膜厚大概在300nm左右，晶粒尺寸大概在200多纳米。段落内容。
第三章 数值模拟13.1 神经元硬件化数值模拟3.1.1 神经网络结构对于神经元的模拟，和突触的模拟不同，神经元的功能由上文中的MP模型已经表述很清楚，他承担一个乘法器和加权和、还有实现一个神经元函数的功能，这个功能也是我们下面模拟要探索的。
图3-1 MINST数据集对于的神经网络结构
采用常用的MNIST手写识别数据集作为整个网络的输入，先将图像的RGB值转换成一个单位的灰度值，设计输入层应该有784个节点，隐含层300个节点，输出层设置10个节点，分别对应0-9个数字的pattern。在实际模拟时，采用两种方式处理，第一种是利用STDP非线性函数直接对输入的图像像素值进行处理，意在将灰度值转换为强度值。再用网络进行训练。第二张利用STDP非线性函数作为神经网络中的激活函数，意在探究神经元的基本性质。
训练模式采用SGD算法，样本集总共55000个图片，每张图片28×28有784个输入值，epoch设置扫描样本集10次以上，损失函数使用交叉熵函数，激活函数选择softmax函数进行激活分类，因为这个函数比较适合于多分类问题，在优化上也得到了理论的证明。首先我们先将实验中得到的STDP数据拟合结果如下：
图3-2 STDP Positive 拟合图像
这里故意选择了一个与常规激活函数相关性为负的激活函数，一般的激活函数比如sigmod，relu激活函数，其强度其实和输入值是呈
[ANNOTATION:
BY 'wenhuang'
ON '2019-05-23T10:23:00'w
NOTE: '什么意思']现正相关的，这里选取的作为负相关的原因是想探究是否能够作为激活函数使用。其结果如下：
图 3-3 拟合的Loss与Accuracy随训练次数的变化图
可以看到上述的结果是可观的，也就是说，激活函数的选取，与是否与输入值正相关没有关系。另外我比较了理论激活函数，实验激活函数，与对输入直接非线性处理得到结果的异同性：
图3-4 三种不同方法得到Loss函数变化情况
图3-5 三种方法得到的Accuracy变化情况
可以看到，理论激活函数（红色）在准确率上仍然时最高的，最后的样本内准确率有98.42%，但在loss的下降速度上，实验激活函数体现的更好，但实验的激活函数最后准确率只有96.69%。
3.1.2 神经元硬件化结论根据上面的模拟结果我们可以得到结论，对于神经元的硬件模拟，作为激活函数，只需完成非线性这个条件即可，但是在实现乘法器的过程中，需要电路由很好的线性度。这个线性度的要求实际是从BP算法的推导中获得的，这里简单的推导一下：
Δw=∂Loss∂w=∂Loss∂y∗∂y∂output∗∂output∂w
（3-1）
上式想说明的是，我们需要调节权值w使得我们计算出的loss函数达到最小值，因此我们需要求其导数从而获得调整的方向，可以看到等式右边第一项实际是损失函数对于输入值的导数，第二项时激活函数对于输入值的导数，这两项在有输入值的条件下是可以求出的。而根据神经网络的矩阵运算：
output=w⋅x+b
（3-2）
可以看到，output值与输入的值时存在线性关系的，那么也就是说，我们权值变化量Δw
与输入的x需要满足线性关系。因此神经元硬件化需要实现的线性度不仅仅影响了加权的效果，还影响到权值更新的效率性。很多关于神经网络硬件化的论文一定会提到这个线性度，因为这个线性度时实现神经网络算法达到收敛的基本保障。
图3-6.a SET与RESET模式下的I-V曲线；b SET模式下的权值变化随刺激次数的变化；c RESET模式下的权值变化随刺激次数的变化[15]
如上图清华大学完成的忆阻器神经突触器件，选取电导作为权值时，需要I-V曲线在第一二想象有近似的对称值，其导数值(即权值)随着固定电压的刺激次数线性增加或者减小。一般而言，在硬件神经网络进行权值跟新的时候，会选择一个固定更新电压，在这个指定的电压下，我们需要保证权值的正向更新与负向更新有近似的值，这个在图像上体现为图像的对称。之前也有文章在图像的对称性上做了相关的材料探究。证明这样的对称性是必要的
23.2 有监督脉冲神经网络数值模拟3.2.1 脉冲编码脉冲神经网络与第二代神经网络最为不同的一点在于，它的输入并不是一系列连续的值，不是像图像像素一样一个个数据连续计入，也没有二值化的操作。而是离散的脉冲值，就图像识别而言，简单的多层感知器输入是输入图像的RGB值或者是图像的灰度值，将这些值进行标准化后作为网络的输入。而脉冲神经网络需要对于输入进行一定的脉冲编码处理，这个处理可以自己选择，但转化的思想很重要。即将图像的灰度值信息编程处理成一系列脉冲，并且将脉冲发出的时间作为网络的输入。下面介绍本文中tempotron算法的编码方式。
选取26个英文字母A-Z作为需要识别的样本集。每一个字母由一张16×16像素的图像组成，且该图像只有0和1两种灰度，即非黑即白。因此我们输入一张图片后，它会编程一个16×16的二值矩阵，我们将这一的二维矩阵一维化，使其变成1×256的一维数组，然后我们对其进行编码，每次随机从256个数中随机去8个数且不放回，组成一个32×8的新矩阵，对于每一行数，得到的是一个8位的二进制数，因此我们将其转化成十进制数，得到一个0-255范围的数，将原来的矩阵转化成了32×1的矩阵。且每一行代表一个脉冲的发送时间，即将一张16×16的图像矩阵转化成了在不同时间一共发送32次脉冲的输入值。
3.2.2 权值更新按照tempotron算法的权值更新规则：
Δωi=λ∑ti−tmaxK(tmax−ti)
（3-3）
我们需要设置一个时间轴，并且对于这个时间轴上进行时间窗口的划分，等于说我们需要将这个时间轴切割成一份份来进行一个个的循环。由于之前在输入编码的时候，我们将16×16像素的黑白图像转换成了发送32次脉冲的输入，这些输入的脉冲的时间是0-255，也就是说，我们建立一个长度为256ms的时间轴，并且以1ms为一个时间窗口，每次检查在当前时间窗口前是否有脉冲输入，并且每次都选取在当前时间之前能够发送脉冲的数据，认为他们发送一次脉冲，将这个脉冲与核函数相乘，作为我们膜电压，如果膜电压超过了我们设置的threshold电压值，我们则认为该神经元处于fire状态，并且会进入一段不应期，即shut down后面在256ms内的所有脉冲输入。我们输入是5个神经元，这是因为我们需要对26个英文字母分类，即用5个二进制数最大可以表示到0-31的每个数，于是我们用5个二进制数表示我们分类的pattern，例如字母A我们使用00001表示，字母B用00010表示。以此类推。当神经处于fire状态时，它会表现出1的状态，反之如果它没有能够达到阈值电压，它会处于0的状态，我们将网络的输入与我们准备好的标签值进行对比，如果说产生了不同，即分类产生了误差，我们就需要对其进行权值更新，从而在慢慢的训练过程中，获得我们期望得到的脉冲值。
即如果网络发出了脉冲，但是实际没有发送脉冲，我们降低该脉冲产生的权值，从而让其在后面慢慢变得不发出脉冲。
如果网络没有发出脉冲，但是实际输入应该发出脉冲，我们应该强化该脉冲的产生，即增大其权值。
图3.7 训练前脉冲与训练后脉冲对比图
我们设置1.0 v为阈值电压，可以看到，随着训练次数的增大，一开始正的脉冲倾向于在后面发出超过阈值电压的脉冲。但是一开始负的脉冲，虽然一开始超过了阈值电压，但是由于随着训练次数的增大，变得不断被抑制，不再发出脉冲。我们的网络就是基于这样一种思路去训练与优化。
3.2.3 数值模拟结果数值模拟上，本文选取了两组实验数据进行了权值更新法则函数的模拟，即使用实验得到的LTP与STDP数据进行了数值模拟，并且对比了两者在应用于tempotron算法的差异，提出一定看法。
3.2.4 LTP权值改变法数值LTP曲线是模拟人类大脑学习时候的长程可塑性，在图像上体现为，施加一段固定脉冲间距和脉冲峰值的脉冲，使突触器件的模拟膜电压升高，经过一段时间再进行了衰减。表现的图像如下：
图3.8 LTP拟合图像
线是得到实验的LTP数据后，使用神经网络算法进行拟合，得到完美拟合的曲线，这样保证了能够使用完全的实验数据。另外由于实验的数据仅仅有LTP数据，然而对于我们的模拟也需要LTD数据，基于我们对于这两个图像的了解，他们在一定程度上是中心对称的。我们通过对于LTP数据的神经网络拟合，外推LTD的数据，将LTD的数据应用于模型的抑制环节，保证权值的增加与减少对称。
将LTP的数据带入，进行训练，设置最大epoch数为100次，设置阈值电压为1 v。训练结果如下：
图 3.9 准确率随训练次数的变化图像(LTP)
可以看到，在100 epoch下，准确率在随训练次数的增加而增加，最终稳定在89%左右。
3.2.5 STDP权值改变法人脑的学习模式是STDP已经被大部分论文和实验所证实，因此也许基于STDP的权值改变方法能够更加促进学习的效率。STDP的本质定义是说：如果突出前神经元的峰值脉冲到达时间小于突触后的神经元峰值脉冲，那么认为突触前神经元脉冲的产生可能是有利于突触后神经元的产生，即这两者之间是存在一定的联动关系的。于是加强这两个神经元的连接。反之则减弱它们之间的连接。
利用实验得到对的STDP Positive数据，波张选取375nm的光做刺激。得到光驱动下的STDP。但实验与理论存在偏差的一点，是光刺激下的STDP图像实际上是存在于一、二象限的，这样意味着，无论是突出前神经元的脉冲先到达还是后到达，产生的权值更新过程，都是加强该两个神经元之间的连接。在保证权值更新双向对称性的情况下，这样的情况显然是不允许。于是在三象限部分，本文选取了其他数据作为替代，这个数据是从电突触元器件得到的。这里也可以得出一个设想，是否可以有光与电合并的突触器件，使用光完成第一象限的STDP工作，由电器件完成第三象限STDP工作。为何要选择光器件是因为，光学突触器件的耗能相比于电学突触器件要节省很多。如果能够使用光电混合信号实现光电STDP，也不失为一种选择。
拟合后正向STDP函数表达式如下：
y=−0.346ln(x)+2.708
负向STDP函数表达式如下：
y=0.302ln(−x)−2.546
根据上面的STDP函数更新法则，带入我们的temportron算法进行求解。得到准确率变化情况如下，设置参数与LTP更新规则相同。
图3.10 准确率随训练次数变化情况(STDP)
可以看到，经由STDP训练的网络，在epoch=60左右的时候，已经达到了准确率100%，在训练的准确度与效率上，高于使用LTP训练的结果。这也可能是为什么当前很多的研究都着眼于STDP权重更新机制。这可能也和STDP实际上与人类大脑的学习机制十分相似，本次模拟也证明了大脑学习模式在权值调整上的优越性，基于LTP的调制模式，更多是对于算法当中核函数K(t)的模拟，而并非是对于本质上人类大脑学习模式的仿真。
3.2.6 结论无论选取LTP，STDP作为权值更新的方式，神经网络的权值更新一定要是对称，这样在梯度下降算法过程中，才能够有正和负梯度，使得最后的结果收敛于局部最小点。另外，在学习机制上，STDP是存在一定优越性的。后面本文将针对SDTP学习机制，将网络扩展到更大的规模，展现STDP学习机制的强大之处。
33.3 无监督脉冲神经网络数值模拟3.3.1 理论背景与基础这SNN的发展之所以广受著名，是因为它网络的元器件要求是有一定硬件基础的，不论是在神经元的设计上，如LIF模型，HH模型，还是电导突触，指数型的衰减机制，阈值电压。都可以通过我们设计的电学或者光学器件进行实现。
本文基于2015年Peter发表的关于STDP无监督学习网络的代码基础上，加上实验得到的数据，进行数值模拟。模拟之前，先了解一下网络的具体结构与基本理论。
对于神经元的设置，应用integrated -and-fire model模型：
τdVdt=(Erest−V)+ginh(Einh−V)+gexc(Eexc−V)
（3-6）
这里V是膜电压，Erest
是神经元在没有外界刺激下的一种静息电压。
τ
是抑制或者兴奋神经元的时间时间常数，这个常数时间上就是用于控制各种不同的STDP图像。
galignlink
和
gexc
是抑制性神经元和兴奋性神经元的电导值，这个值在神经网络中表现为权重，也是我们需要训练的东西。训练模式与tempotron算法类似，当膜电压到达阈值电压的时候，就会发送尖峰脉冲信号，然后膜电位复位到静息电压。如果有神经元的尖峰信号达到突触，那么突触就会提升权值，即电导，如果没有，那么权值就会指数型的衰减。权值更新的模式仍然是取决于突触前神经元与突触后神经元的尖峰达到时间差。如图3.11所示，由于前后神经元的脉冲尖峰抵达时间差不一样，产生了兴奋和抑制两种模式
图 3.11 STDP权值更新模式图[17]
我们需要定义兴奋性神经元与抑制性神经元的权值改变方式。对于兴奋性神经元的电导更新模式如下：
τgedgedt=−ge
（3-7）
抑制性电导的更新模式其实只需要更换常数：
τgidgidt=−gi
（3-8）
时间常数得控制会影响STDP得学习曲线，人脑或者生物的时间常数一般是10 ms-20 ms量级。我们由实验得到得时间常数数值也靠近这个值
然后是基于STDP的权值更新法则：
Δw=η(xpre−xtar)(wmax−w)u
（3-9）
实际上，STDP的更新规则很多，还有指数型的，这里选取一种更新规则，他们大多大同小异。这里的η
是学习的速率，
Xpre
是该脉冲产生时的上一次脉冲值，每当有一次脉冲到达突触时，
Xpre
会增加1，如果没有，它会按照指数型进行衰减。
Xtar
是前一次的突触前神经元产生的脉冲，其反应在突触后神经元的目标值。这其实也是在将突触前神经元和后神经元产生的时间在进行比较，从而正确的更新权值。
3.3.2 网络设计脉冲神经网络的设计与普通的经典神经网络有所不同，由图5.2看到，Input输入层图像的像素编码脉冲数据，脉冲的频率由图像像素点的灰度值，即成正比关系，28×28的像素值会变成一个784×1的一维序列，每一个值代表一定频率的脉冲信号。
图3.12 SNN神经网络结构[16]
之后进入激活层，激活层放置激活神经元，然后再进入抑制层，放置抑制层神经元。这里可以看到，非监督学习网络的结构是不存在标签值的。更新完全依靠激活层与抑制层之间的关系。从图3.12可以看到，输入层与激活层实际上时全连接模式，即每一个像素点产生的脉冲序列都会再激活层有一个对应权重。激活层与抑制层之间时一一对应连接，但抑制层与激活层的连接却是全连接模式，除了激活层已经与抑制层产生连接的神经元。这样的网络设计模式实际上是由理由的。这应用的winter take all法则，即当某个激活层的神经元产生兴奋后，该兴奋传递到抑制层后，抑制层会抑制其他所有神经元产生脉冲。也就是说，不断的训练后，能够产生脉冲的神经元会趋向于越来越容易产生脉冲，而其他神经元会越来越无法产生脉冲。从而达到训练的目的。这和传统的K-means算法也有异曲同工之妙，但不同的是STDP 非监督学习存在抑制层，从而避免了某几个神经元一直占据某个pattern。
3.3.3 模拟结果数值模拟将MNIST 六万个训练数据编码后作为脉冲输入，整个训练集进行了6次迭代，一共是36万张图片，训练结束后学习虑被置为零，动态阈值被锁定。之后输入每一类的数字图片，记录每个神经元对应该类图片的激活次数，并且选取其中激活次数最多的为该神经元的标签。之后使用测试集的一万张图片作为脉冲输入，观察每当一张图片输入时，哪个神经元的激活频率最高，如果该神经元的标签与输入图片属于同一pattern，那么认为分类正确。统计10000万张图片的平均准确率，得到网络的训练的评价值即Accuracy。
图3.13 神经网络权值矩阵图
这里训练后激活层的权值矩阵。之前提到了，当网络训练完成后，我们会输入每一个图片的pattern，以激活次数最高的神经元作为该pattern的标签，在这样经过改进后，图5.3是激活层神经元重组后的权值分布，可以看到，不同神经元对于不同pattern的适应程度不同，体现在颜色的深浅上。
图3.14 输入层到激活层权值矩阵可视化图
图3.15 激活层到抑制层权值矩阵可视化图
从图3.14我们可以看到，只有很少部分的权值很高，即呈现黄色小点模式，体现即只有少数pattern才能够产生脉冲，其他的脉冲都被抑制，这个图像很好体现了我们在学习过程中的winer-take-all的模式。图3.15体现的更加明显的是，因为网络的设计是激活层与抑制层一对一连接，抑制层与激活层反向全连接，但除去了从激活层连接过来的神经元，因此在权值的对角线上都是winer，而其他的神经元都被抑制，从而达到了我们从众多神经元中选取出适合当前输入的正确pattern。
之后我们输入10000个MNIST的test集图片进行外推，结果是：Sum response - accuracy: 91.43 number incorrect: 857。即我们在验证集上达到了91.43%的准确度。总的来说还是比较可观的。
结 论本文用了三个数值模拟的方法，分别对于神经元硬件化条件，神经突触硬件化条件，神经元学习规则优越性做了探究。在神经元硬件化上，通过使用不同的非线性函数进行数值模拟，得到了其实在当选取激活函数时，函数与输入值的正相关性并不是必要的，非线性才是最为重要的基准。并且作者使用简单的链式求导法则，证明了神经元的硬件化需要有加权乘法器的功能，并且强调了乘法器的线性程度。也就推出了权值更新时，权值该变量与输入值的正相关性的重要性，也可以说是正负变化的对称性是对随机梯度下降法达到收敛的充分条件。在SNN数值模拟上，本文先尝试了tempotron有监督SNN算法，并且对其权值改变的方程做出了LTP与STDP法则的两种试探，发现STDP的效果更好，也不愧是贴近人类大脑的学习模式。这里也需要指出tempotron算法的缺点在于该算法只能针对单神经元，即脉冲只能判断单个神经元能不能发出脉冲，泛用性不是特别强，但是将输入改成离散的脉冲输入，在神经网络的结构和理念上是一个很大的突破。接着文章以STDP学习机制更为优秀的基础上，在基于2015年Peter教授的无监督STDP学习网络[16]这篇论文的基础上，使用实验相关的数据进行了数值模拟，指出了该网络的结构，采用winter-take-all模式与IF神经元结构，实现了在没有任何标签和领域知识的无监督学习网络的模拟，并且在MNIST的test数据集上达到了91.43%的正确率。从实验上证实了STDP学习机制可以用于无监督学习，指出了其在未来发展的巨大潜力。
最后本文提出一些对于当前硬件神经网络研究的看法，目前实现硬件神经网络的方法在绪论也有提出，主要有微电子方法、半导体突触和光学实现。作者认为想要实现真正的类脑计算。我们就需要研究更与人类达到贴切的器件。尽管在微电子方面，目前的技术可以实现精度很高的数字模拟电路。但是实际上那也只是靠我们强大的算力与耗费了很多资源达到的结果。再说全光学的神经网络，这样的设想只能够用天才来形容，这样的网络耗能少，效率高，速度快。但这并不能够算是类脑计算，只是从物理的角度对于神经网络进行了实现。真正的类脑计算我相信应该是基于STDP，LTP, LTD这些与人脑大脑对于信号实际反映做出的模型之上的。近年来已经发展了很多基于STDP或者类脑计算的算法，并且在数值模拟上都证实了其实现的可能性。目前的当务之急应该是制备出与这些理论符合的突触器件或者神经元元件，然后进行集成，实现一个结合微电子设计电路与编码处理，从而实现一个从输入，到reference，再到自动Back Propagation修改误差的自主型芯片，真正达到off-chip模式的神经网络计算与硬件化。
参考文献[1]Takao Watanabe, Katdutaka Kimura, Masakazu Aoki, et al. A Sinngle 1.5-V Digital Chip for a 106 Synapse Neural Network. IEEE Transactions on Neural Networks. May 1993,4(3): 387-39
[2]Matthew S Melttn, Tan Phan, Douglas S Reeves, et al. The TInMANN VLSI Chip. 1993, 4(3): 394 -340
[3]Hendrik C A M, Withagen. Neural Networks: Analog VLSI Implementation and Learning Algorithms. Ph.D thesis, Eindhoven,1997
[4]高丽娜 邱关源. 一种连续可调权值 CMOS 神经网络. 电子学报, 1998, 26(2): 120-122
[5]Bernabé Linares-Barranco et al. A Modular T-Mode Design Approach for Analog Neural Network Hardware Implementations. IEEE Journal of Solid-State Circuits,1992, 27(5): 701-712
[6]Strukov, Dmitri B, Snider, Gregory S, Stewart, Duncan R and Williams, Stanley R. The missing memristor found. Nature. 2008, 453: 80–83. doi:10.1038/nature06932.
[7]贺静, 基于CMOS 模拟技术的多种前馈人工神经网络硬件的研究与实现 [D]. 湘潭大学, 2014
[8]侯媛彬,杜京义,汪梅. 神经网络 [M]. 西安:西安电子科技大学出版社, 2007: 16-19.
[9]Q. Yu, S. Member, R. Yan, H. Tang, K. C. Tan, H. Li, IEEE Trans. Neural Networks Learn. Syst. 2016, 27, 621.
[10]M. Giulioni, X. Lagorce, F. Galluppi, R. B. Benosman, Front. Neurosci. 2016, 10, 1
[11]Bengio, Y. and Fischer, A. (2015). Early inference in energy-based models approximates back-propagation. Technical Report arXiv:1510.02777, Universite de Montreal.
[12]Scellier. B. and Bengio, Y. (2016).Towards a biologically plausible backprop. arXiv:1602.05179 .
[13]Markram H, Lübke J, Frotscher M, et al. Regulation of synaptic efficacy by coincidence of postsynaptic APs and EPSPs[J]. Science, 1997, 275(5297): 213-215.
[14]Bi G, Poo M. Synaptic modifications in cultured hippocampal neurons: dependence on spike timing, synaptic strength, and postsynaptic cell type[J]. Journal of neuroscience, 1998, 18(24): 10464-10472.
[15]Peng Yao, Xueyao Huang, Wenqiang Zhang,Qingtian Zhang.Face classification using electronic synapses.2017.5.12.DOI: 10.1038
[16]Peter U. Diehl, Matthew Cook.Unsupervised learning of digit recognition using spike-timing-dependent plasticity.Front. Comput. Neurosci., 03 August 2015 | DOI:10.3389
[17]Qingzhou Wan, Mohammad T. Sharbati, John R. Erickson, Yanhao Du, and Feng Xiong.Emerging Artificial Synaptic Devices for Neuromorphic Computing
[18]陈琼. 郑启伦.人工神经网络系统硬件实现的研究进展.[J].电路与系统学报.2000 年 3 月
[19]Cowan J D . Discussion:McCulloch-Pitts and related neural nets from 1943 to 1989[J]. Bulletin of Mathematical Biology, 1990, 52(1-2):73-97.
[20]Mcclelland J . Reflections on Cognition and Parallel Distributed Processing[J]. 1986.
[21]Xing Lin, Yair Rivenson, Nezih T. Yardimci, Muhammed Veli, Yi Luo, Mona Jarrahi and Aydogan Ozcan.All-optical machine learning using diffractive deep neural networks[J].Science.DOI:10.1126.July 26.2018
附 录代码具体说明请参考github.com/zhenghaobaby/graduated_design
作者简历姓名：郑浩 性别：男 民族：汉族 出生年月：1997-04-11 籍贯：四川成都
教育背景：
2012.09-2015.07 成都七中
2015.09-2019.07 浙江大学攻读材料科学工程学士学位
攻读学位期间发表的学术论文与取得的其他研究成果已：
[1]XXXXXXX
[2]XXXX
待：
[1]XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
[2]XXXX
已授权专利：
[1]XXXXXX
贵妃出浴范文6
各企业主管局（总公司）、财政各分局、各区、县财政局：
根据《北京市人民政府办公厅转发市房地产管理局《关于抢修城镇私有危险房屋的几点意见的通知》中“修缮出租的危险私房是出租人的责任，鉴于目前完全靠出租人出资修缮出租私房确有困难，为保障承租人的居住安全，对出租的危险私房，凡经过房管部门审核备案，并执行1957年私房租金标准的，均由承租人所在单位负责修缮，并垫付修缮费。”的规定，现就垫付修缮费的资金来源作如下暂行规定：
全民所有制企业职工承租危险私房的，其私房修缮费暂由职工所在企业的职工福利费垫付。垫付的修缮费由职工所在企业通知有关房管部门。根据市人民政府批转的文件要求，由房管部门从房主以后出售该房时或征用时补偿的房价款中扣回，并转给承租私房职工所在企业归还垫付的职工福利费。