重点研发计划绩效评价体系思考

前言:寻找写作灵感?中文期刊网用心挑选的重点研发计划绩效评价体系思考,希望能为您的阅读和创作带来灵感,欢迎大家阅读并分享。

重点研发计划绩效评价体系思考

摘要:根据宁夏重点研发计划的特点及管理部门的要求,本文通过确定绩效评价原则,分析研究绩效评价方法,分别设计出满足宁夏重点研发计划的项目层面及计划层面的绩效评价框架,构建了宁夏重点研发计划的绩效评价体系。宁夏重点研发计划作为宁夏科技计划中的主要科技计划类型之一,其目标为面向自治区经济社会高质量发展需求,重点支持公益性研究、产业关键技术攻关、先进新技术集成创新、科技研发合作等科技活动,鼓励产学研融合,为建设现代化经济体系提供科技支撑。重点研发计划包括重大项目、一般项目及按重点领域、重点任务分设的沿黄试验区科技创新专项、东西部科技合作专项、科技惠民专项、农业科技园区专项等若干专项,专项设置根据实际情况进行动态调整。重点研发计划实行多元化投入方式,资金来源包括财政资金、单位自筹资金、金融资本、社会资金等。绩效评价是绩效管理的重要内容,近年来,政府相关部门为了做好绩效评价工作加强了绩效评价的相关工作。本文根据宁夏重点研发计划的特点从评价原则、评价方法、指标框架等方面设计了一套符合计划特点的绩效评价体系。

1.评价原则

1.1需求导向原则

评价指标要体现公共财政支出绩效评价的核心内容,满足《中央财政科技计划(专项、基金等)绩效评估规范(试行)》和《财政支出绩效评价管理办法》等国家绩效评价管理规定的具体要求,能体现我区科技发展的战略方针和政策导向,反映科技计划管理改革的需求。评价结果能够促进、引导科技资金投向、兼顾短期效果和长期效果及影响,对科技计划管理者和执行者都有引导作用。

1.2微观与宏观相结合原则(分层评价原则)

由于重点研发计划的基本构成单元是项目,各个科技项目实施成功与否是计划成功与否的关键和基础。科技计划绩效评价必须充分重视单个项目实施取得的技术成果、产生的经济效益及对承担单位(企业)技术创新能力与竞争力的提升所发挥的作用和影响等微观层面绩效评价,为科技计划实施是否成功提供基本支撑依据。单个项目取得的技术创新成果通过技术外溢的形式带动整个行业经济效益的提高,与其密切相关的行业也会受到不同程度的影响。因此,科技计划绩效评价必须与项目微观评价相结合,分别开发设计科技项目绩效评价指标和计划绩效评价指标进行分层评价,在项目绩效评价结果基础上综合分析评价计划总体的宏观效果和影响。

1.3定量与定性相结合原则

重点研发计划及项目绩效评价指标应采取定量与定性相结合的原则设计,既要充分重视以客观数据为基础定量评价,又要重视以描述性证据资料为基础的定性评价,二者有机结合进行全面评价。

1.4遵循“SMART”

评价指标要具体(Specific),定义清晰,不产生歧义;可度量(Measurable),指标有确定的评价基准对其进行衡量或分析;可实现(Attainable),指标的验证数据或者信息通过努力是可以获得的;相关性(Relevant),指标与评价对象的产出、效果相关,能够为科技计划管理提供相关信息;在限时条件下可实现(Time-bound),指标能够以合理的成本和人力在限定时间内收集相关评价证据。

2.评价方法

结合宁夏重点研发计划特点和绩效评价实践经验,选择以下方法作为宁夏重点研发计划绩效评价的基本方法:

2.1案卷研究法

案卷研究法是指收集、分析各种与被评对象相关的案卷、信息、文献资料,从中提取、总结有价值的评价证据,以满足评价需求的方法。案卷研究法是最基础、用途最广泛的评价方法之一。

2.2调查法(问卷调查)

调查法(问卷调查法)是指通过设计调查表或调查问卷发放给调查对象,从被调查对象的填报材料中获得评价信息的方法。调查法可分为材料收集式调查和观点统计式调查,两种方法在科技项目绩效评价和科技计划绩效评价中既可以单独使用也可以同时使用。通过填写调查表的方式系统收集科技项目投入、执行状况、产出、成果成效等数据信息和利益相关者的观点。

2.3座谈会法/访谈法

根据评价需要,评价人员选取一定数量的利益相关人员,召开座谈会或与其座谈或访谈的方式,获得受访者提供的专业知识、有效实例、数据和相关问题的观点、看法,为深入了解被评对象、对相关问题分析判断提供重要支撑证据。该方法主要用于科技项目绩效评价中对技术成果的创新性、先进性、技术成果用于效果等评价和科技计划绩效评价中计划对产业技术发展的作用和贡献、社会经济效益、持续性影响等方面分析、评价。

2.4实地调研法

实地调研法是指调研人员前往科技项目实施地直接获取项目具体情况的一种方法。实地调研目的是调研人员亲自收集项目一手资料,通过与相关人员沟通交流、参观、查看项目现场,对项目实际实施情景的观察,获得二手资料难以获取或无法充分反映的项目实际情况资料。

2.5案例研究法

案例研究法是一种定性、描述性的研究方法,它通过提供典型案例的详细信息,帮助评价人员对某一特定领域进行深入研究分析。在科技计划绩效评价中有关科技计划对产业共性关键技术问题解决的作用、对产业发展的促进作用、对资源利用水平的提升、生态环境改善贡献等方面是一种重要的分析评价方法。

2.6比较法/标杆分析法

比较法/标杆分析法又称基线比较法,是将评价的各项活动与从事该项活动的目标或最佳实践进行比较做出判断,并从中发现优势与不足的方法。在科技计划绩效评价中常用的比较基线有目标值、行业标准、同行业先进指标等。比较法在科技计划绩效评价中广泛应用,特别是科技计划项目人员、经费投入、产出、科技成果产业化经济效益、技术推广的范围、人才培养目标等量化考核指标的实现程度基本采用比较法。

2.7同行评议法

同行评议法是指组织相关领域多名专家,按照设定的原则和指标,专家根据评价信息资料和自己的专业知识对评价内容做出评价的方法。同行评议在科技计划绩效评价中得到广泛使用,特别在科技计划(项目)取得的成果科学价值和意义、创新性、先进性、应用前景、对产业发展的作用影响、对社会发展的作用和影响等方面评价常常应用。

2.8评价方法对应的评价内容

总结上述评价方法,同时对应到宁夏重点研发计划绩效评价指标中,根据各指标以期获得数据,采取不同的方法获得真实、有效的各类数据及佐证材料,满足绩效评价需求。

3.评价框架

宁夏重点研发计划为“打捆”项目,由若干项目组成,是项目群,虽然构成计划的各个项目都有具体的实施内容、较清晰的目标,但计划的目标较为宏观,缺少具体、直接的可考核性的目标指标。构建科技计划绩效评价指标较困难,而项目绩效评价指标和标准相对易于构建,但项目的绩效评价指标与结果未必能直接转化为计划的绩效评价指标和结果,需解决科技计划绩效评价指标体系与项目绩效评价指标体系相适应问题,使项目绩效评价结果既能成为计划绩效评价的基础和主要支撑,又能在时间和经费成本的限制下满足计划较宏观的评价需要,为科技计划优化布局、预算调整等提供决策参考依据。宁夏重点科技计划绩效评价框架需同时满足不同管理部门的需求。目前科技计划绩效评价由财政主管部门和科技主管部门基于自身职责分别组织评价,财政主管部门侧重绩效管理和资金使用效率的评价,科技主管部门侧重科技计划的进展和成果产出的绩效评价,二者侧重点不同。为减轻科技项目实施机构与科研人员负担,提高绩效评价工作效率,分表设计了宁夏重点研发计划项目绩效评价指标体系框架(见表2)及重点研发计划绩效评价指标体系框架(见表3)。

4.宁夏重点研发计划绩效评价体系面临的问题及对策建议

4.1科技成果创新性及先进性评价问题

由于科技计划绩效评价是基于项目评价的评价、科技项目的评价是科技计划绩效评价的基础,而科技项目评价的难点和关键点之一是项目取得的科技成果的创新性,因此科技项目成果的创新性评价也是科技计划绩效评价的难点和关键之一。如何客观、科学地评价科技成果创新性是科技计划绩效评价的主要问题。目前,解决的方法主要有两种:一是同行评议方法;二是标准化评价方法。同行评议方法方便、易行,但易受同行专家主观影响、评价结论易出现偏差,且创新性评价结论的表述缺乏标准、较为模糊。建议在实际评价过程中遴选同行评议专家必须按照回避性原则选择与项目无利益关系的专家,专家应涵盖项目细分的技术领域、专业水平高经验丰富的专家,且各专家影响力较为接近,避免权威专家主导评价意见和结论,降低专家主观影响程度;评价组在组织同行评议时,针对评价需要对科技成果创新性及先进性的描述和判断标志进行规定,不同的评议专家组在相同的语境下表述科技成果的创新性,降低评价结论的模糊性。标准化评价方法是近年来在推广应用的方法,2020年团体标准《科技成果评估规范》(T/CASTEM1003-2020)发布,为科技成果标准化评价建立了标准和依据。

4.2效果(效益)滞后性和外溢性评价问题

重点研发计划绩效评价涉及评价范围包含项目科技成果应用转化效果(效益)和影响的评价。主要评价关键成果的转化应用情况以及对科技、经济和社会发展产生的直接的作用和贡献;影响主要评价项目研发活动及成果对经济和社会发展所产生的间接的、长期的作用和贡献,以及对提高科研能力等方面的作用。从成果应用转化效果和影响主要评价内容看,既要评价评价之时的情况又要评价长期情况,既要评价直接的效果又要评价间接影响。由于科技项目的成果应用转化效果和影响需要一定时间才能显现,因此科技计划绩效评价时必须充分考虑应用转化效果和影响的滞后性和外溢性评价问题。在实际科技计划绩效评价,情况更复杂,以评价时间点看,评价所涉及的项目往往既有结题验收后的项目,又有刚结题验收项目和还在实施中的项目,更应重视应用转化效果和影响的滞后性和外溢性评价问题。在实际评价中可根据转化效果和影响的具体次级指标进行预测评价,并说明预测的理由。实际操作时,评价人员根据评价需要,与项目承担单位或管理部门充分沟通,收集多方面应用转化情况和影响的信息资料和观点,进行分析判断,作初步评价,在此基础上遴选合适的行业技术专家和管理专家帮助分析判断,绩效评价人员与咨询专家共同进行预测评价。

 作者:任丽萍 罗万有 马晓英 万娜 单位:宁夏科技发展战略和信息研究所