前言：寻找写作灵感？中文期刊网用心挑选的学术期刊评价方法，希望能为您的阅读和创作带来灵感，欢迎大家阅读并分享。
0引言
对科技期刊评价有利于期刊之间进行办刊竞争,吸引作者向优秀期刊投稿,办出特色,提高期刊质量。在期刊评价中,往往采用指标体系进行多属性评价,从而弥补单指标评价信息量不足的缺陷。由于历史原因与文献计量学发展的特点,影响力与时效性是期刊评价中非常重要的两个方面,虽然反映期刊论文刊载基本情况的来源指标也很重要,但来源指标中很少有较好的正向指标,比如载文量、基金论文比、平均作者数、地区分布数等指标并非越大越好,在这种情况下,考虑期刊的影响力与时效性的协调发展,采用科学的方法进行客观公正的评价具有十分重要的意义。学术界已经关注到期刊协调发展的相关问题。刘雪立提出必须处理好影响因子与质量、时效性与时滞、自引与他引、基础研究与应用研究等10大关系。郝秋红围绕作者、编辑、读者为核心的人本发展内涵,认为学术期刊自身科学发展与学术研究必须协调。李建英、石晓峰等认为学科均衡、协调发展的狭义界定是学科内部之间的均衡布局与协调发展,广义界定是以学科布局为核心,在人才队伍、地域分布、国家战略需求、社会影响等各方面的综合协调。陈景春认为高校科技学术期刊要取得科学发展,要注重办刊特色、选好原创精品,对期刊资源进行优化和重组,使期刊的学科分布结构得到优化,基本解决主体趋同、重复建设、同质竞争等问题。康兰媛采用经济学原理分析科技期刊可持续发展,提出科技期刊应该特色化经营、协调化发展、创新性运行、社会化导向。张惠[6]认为从生态学视野看,科技期刊的生存与发展不是孤立的,必须适应出版环境并对出版环境进行优化。关于学术期刊协调发展的分析与评价方法。桂文林、韩兆洲通过对统计类学术期刊历年被CSSCI收录情况,即年评价指标和综合评价指标的统计分析,指出我国统计类学术期刊协调发展问题,并提出相关对策。李咏梅、袁学良探讨了纸本资源与电子资源协调发展的基本原则,认为在推进二者协调发展时,应遵从本馆的发展目标,坚持以用户的需求为导向,考虑二者的互为补充,保障重点馆藏,并重视成本效益分析。俞立平、潘云涛等提出了一个用来衡量单一期刊均衡发展的新指标————和谐指数,认为可以将其作为期刊评价指标之一,与其他期刊评价指标一起共同进行期刊评价。俞立平、刘骏提出“协调指数冶,综合采用中位数均值比和基尼系数建立学科协调发展水平的评价指标。从目前的研究看,关于期刊协调发展的研究,主要集中在期刊与外部社会、环境的关系,包括期刊社与主管部门、作者、读者之间的关系,较少从学术质量角度研究期刊影响力与时效性之间的协调研究。从期刊评价方法角度,已经有数十种多属性评价方法在期刊评价中得到了广泛的应用,这些评价方法原理不同,评价结果也各不相同,如何进行选择缺乏研究。总体上,从期刊质量角度,注重影响力与时效性的协调评价比较缺乏,更缺少相应的评价方法。本文在对期刊评价本质和原理分析的基础上,提出采用因子分析方法提取公共因子,然后再进行几何平均的方法进行评价,从而解决这个问题。
1研究方法
1.1影响力指标与时效性指标是学术评价的重要基石
(1)期刊评价指标的分类
期刊评价指标的分类是期刊评价的基础,只有在分类的基础上,根据评价目的有所侧重地选择评价指标,才能让期刊评价服从管理需求。Shotton提出新时期学术期刊评价的5个标准:同行评议、内容丰富化程度、开放获取、数据集、计算机可读元数据。France鄄schet认为期刊的影响力或者重要性可以从两个方面来描述:第一是知名度(Popularity)可以通过影响因子类指标来衡量,第二是信誉度(Prestige),可以通过特征因子类指标来衡量。Mark等从投稿作者获益度、论文随机质量、编辑审稿能力等方面建立了开放存取期刊质量评价模型。叶继元在建立的学术“全评价冶分析框架中提出评价的三大维度,即形式评价、内容评价和价值、效用评价。赖茂生、屈鹏等将期刊评价指标分为基础理论指标、实际应用指标和定性评价三部分。李海燕、安静等从学术水平、编辑质量、出版发行三个方面建立指标体系,对医学期刊进行评价。张晓雪[17]将评价指标分为引用指标、内容指标与数字化出版指标。魏晓峰将期刊分为来源指标与被引指标,以数学期刊为例进行评价。期刊评价指标分类如图1所示,综合现有的期刊评价指标分类文献,可以将期刊评价指标分为办刊方针、自身特征、形式质量、内容质量、网络指标5大类,办刊方针是指导思想,自身特征是来源指标,形式质量主要是编辑出版指标,内容质量是其影响力和时效性,网络指标是期刊的网络表现,这种分类体现了先内容后形式,先定性后定量,先内在后外在的思想。从学术评价角度,目前采用较多的指标是自身特征、内容质量和网络指标三大类。第一,办刊方针指标,包括办刊方向,与主管部门、评审专家、作者、读者的关系等等,是期刊生存发展的重要指标。第二,自身特征指标,主要是期刊来源指标,包括载文量、基金论文比、平均作者数、地区分布数、海外论文比等等。第三,期刊形式质量指标,主要是编辑出版方面的指标,是期刊排版编辑质量的重要反映,一般在期刊学术评价中不选用,但在编辑出版质量评价中是非常重要的指标。第四,期刊内容质量指标,又包括影响力指标和时效性指标。影响力指标包括:总被引频次、影响因子、他引影响因子、5年影响因子、特征因子、h指数、学科扩散指标等等,该类指标众多,已经有几十种。时效性指标包括:被引半衰期、引用半衰期等等。需要说明的,有些指标具有多重性质,如引用半率期是来源指标,即年指标也可以说是影响力指标,之所以将其归类在时效性指标中,是因为时效性指标数量本来就不多,但又比较重要。期刊影响力指标的计算时间间隔与时效性是两个不同概念。比如影响因子涉及过去两年的载文量在统计当年的平均被引次数,5年影响因子涉及过去5年的载文量在统计当年的平均被引次数,但这两个指标仍然属于影响力指标,或者说,所有影响力指标均必须界定在一定时间范围内计算。第五,网络指标,包括是否开放存取,网络下载量、网络下载率、网络引用率等等。
(2)学术评价的重点就是影响力与时效性
以上指标中,从学术评价的角度,主要以内容质量即影响力和时效性评价为主,根本原因是期刊论文学术质量指标总体上难以获取。当然,部分来源指标也能反映一部分学术质量,也可以适当引入;部分网络指标,也是期刊影响力的体现,同样可以引入。但在学术评价中,现有的文献一般不评价出版质量与办刊方针,但在国家新闻出版部门组织的评价中却非常重视这两个指标,主要是评价目的不同。需要说明的是,期刊自身特征指标即来源指标,许多指标并不一定是越大越好,许多指标的选取存在一定的争议,比如地区分布数,作者地区分布太少固然不好,但是也并没有证据表明地区分布数越大越好,这样的指标还有载文量、平均作者数、海外论文比等等,在这样的情况下,来源指标用于期刊学术评价,其可选范围是有限的。基于以上分析,在期刊学术评价时,立足内容质量,从影响力和时效性两个方面进行评价是可取的,也是一种比较理想的组合,评价时可以适当选取少数来源指标与网络指标,这些指标总体上也可以分类为影响力指标或时效性指标。
1.2现有多属性评价方法分类
(1)期刊评价方法的分类
根据评价原理不同,学术期刊评价方法分类。期刊评价方法大致有三大类:第一类是线性加权汇总类评价方法,也是在实际应用中使用较多的评价方法,其原理是,将所有评价指标标准化,然后根据主观或客观方法设定权重,最后再进行加权汇总。根据主观方法确定权重的评价方法主要有层次分析法、专家会议法,根据客观方法确定权重的主要有熵权法、概率权法、离散系数法等等。第二类是非线性汇总类评价方法,又包括几何平均、调和平均、直接乘法合成等,常见的是前两者,其评价过程和第一类基本类似,不同的是在计算评价得分时,第一类评价方法是计算数学平均,第二类评价方法是计算几何平均、调和平均或直接相乘,呈现广义的非线性特征。第三类评价方法是非线性评价方法,包括赋权评价与不赋权评价,不过不赋权评价本质上是假设所有指标权重相等,所以所有非线性评价其实也有权重概念,俞立平、潘云涛等提出了该类评价方法模拟权重的概念,将评价结果与评价指标进行回归,为了减少多重共线性的影响,回归采用岭回归,然后对回归系数进行标准化就可以得到各评价指标的模拟权重,用来衡量非线性评价方法的实际权重。该类评价方法众多,包括主成分分析、因子分析、DEA数据包络分析、TOPSIS、ELECTRE、秩和比法、灰色关联评价等等。
(2)弥补式评价与非弥补式评价
如果考虑评价方法的协调发展因素,又可以分为弥补式评价和非弥补式评价,弥补式评价并不适合评价协调发展,只有非弥补式评价才能更好地评价协调发展,但是,多属性评价方案中,大多数属于弥补式评价。所谓弥补式评价,就是在评价总得分中,评价指标的得分是取长补短式互相补充的,各项指标增加都能对评价结果有所贡献,该类评价中。权重是非常重要的因素,对于权重较高的指标,其得分增加对评价结果影响较大,对于权重较小的指标,其得分增加对评价结果影响较小。所谓非弥补式评价,就是在评价总得分中,评价指标必须协调发展,任意一个指标变化对评价结果均影响较大。在该类评价中,权重没有意义,不会影响评价结果之间的排序。公式(1)中,由于采用几何平均,所以指标无法设置权重,也没有必要设置权重。这种评价方式,要求所有指标之间必须协同发展,彻底回避了指标权重设置时主客观赋权之间、不同权重设定方法之间的矛盾。进一步地,所有乘法合成类评价方法均是非弥补式评价,但是由于直接相乘结果对评价结果影响很大,所以实际应用不多,而平方平均降低了评价结果之间的差距,符合人们的直觉。
1.3因子几何平均法
在实际应用中,几何平均应用较少,原因主要有以下几点:第一,现实生活中有许多事物确实也是可以取长补短的,人们习惯于弥补式评价。第二,同类可以相加类似评价基本公理,同类指标不适合采用几何平均合成,普通的加法合成或者其他评价方法就可以处理。第三,不同类指标之间的相关性也决定了采用几何平均不合适,这是因为,如果两类指标之间相关,意味着它们之间有共同因素,此时采用加法合成类的弥补式评价方法也是合适的。为了评价协调发展,本文提出了因子几何平均法(FactorGeometricMean,FGM),其原理是,通过因子分析筛选出特征根大于1的公共因子,将其标准化后再进行几何平均得到评价结果。因子几何平均法的优点是:第一,由于公共因子之间不相关,所以完全可以进行几何平均。第二,是一种非弥补式评价,用来评价需要协调发展的对象,尤其是发展比较成熟的事物。第三,计算简捷,可以采用SPSS软件方便处理。第四,适用于兼顾不同几个方面协调发展的评价,每个方面涉及数个指标。当然,因子几何平均法也必须满足因子分析的前提条件,对于累计方差贡献率,达到70%以上即可,因为公共因子本质上是投影结果,只要理论分析认为评价的公共因子比较重要即可,牺牲掉的信息毕竟是其他非关键公共因子的信息。
1.4关于因子几何平均法的几点说明
公共因子适合采用几何平均。根据前文分析,在期刊学术评价中,影响力和时效性是非常重要的两类指标,这两类指标通过弥补式的评价方法进行评价也是可以的,因为两者高度相关。影响力比较高的指标,其时效性也比较好;时效性比较高的期刊,往往也容易获得更高的引用。唯有通过因子分析,才能真正提取出不相关的影响力与时效性得分值,这样才适合采用几何平均合成。因子分析的本质,就是通过投影运算,将影响力指标与时效性指标投影到影响力与时效性两个公共因子上,否则,原始影响力指标中也包括时效性成分,而原始时效性指标中,也包括影响力成分,不适合进行几何平均。学术期刊发展相对成熟,可以采用因子几何平均法。如果说在互联网发展之初,对学术期刊进行几何平均评价,那时值得商榷的,因为互联网对学术期刊的影响较大,学术期刊发展中存在很多新生事物,此时应该鼓励期刊创新,发挥弥补式评价的取长补短优势。在成熟阶段,应该鼓励协调发展。采用因子几何平均评价学术期刊并不影响期刊特色。这是因为期刊只有办出特色,才能保证影响力和时效性,从这个角度,影响力和时效性已经超越了原始影响力指标与时效性指标的范畴,可以说影响力与时效性是学术期刊质量的关键因素。由于学科不同、研究类型不同,因子几何平均法的评价结果也有一些问题,比如对于基础科学类学科,一般影响力和时效性得分较低,经过几何平均后总得分也不高。对于同一类学科,侧重基础研究的期刊,评价得分也不高。但这些现象不是因子几何平均法所独有的,而且是所有其他评价方法共同面临的问题。对于学术期刊,应该注重分类评价与分级管理。学术期刊评价的分类评价与分级管理的理念与原则不仅有利于各学术期刊对其发展现状进行明确定位,还有利于期刊管理部门建立起学术期刊的准入和淘汰机制,从而促进我国学术期刊的繁荣发展和提升我国学术期刊的学术质量。
2研究数据
本文以JCR2015数学期刊为例进行,选取的影响力指标包括:总被引频次(TotalCites)、影响因子(JournalImpactFactor)、他引影响因子(ImpactFactorwithoutJournalSelfCites)、5年影响因子(5-YearIm鄄pactFactor)、平均影响因子百分位(AverageJournalImpactFactorPercentile)、特征因子(EigenfactorScore)、标准化特征因子(NormalizedEigenfactor)、论文影响分值(ArticleInfluenceScore);时效性指标包括:被引半衰期(CitedHalf-life)、引用半衰期(CitingHalf-life)、即年指标(ImmediacyIndex)。其他载文量(CitableItems)、文献选出率(ArticlesinCitableItems)指标没有选取,因为这和期刊的学术质量相关不大。2015年JCR数学期刊共有312种,由于有些期刊中部分数据缺失,因此进行了必要的清洗,最后还有275种期刊。此外许多期刊被引半衰期和引用半衰期超过10年,JCR只公布“>10冶,对于这种情况全部采用10年代替。
3评价结果
首先采用因子分析提取公共因子,KMO检验值为0.809,Bartlett检验值为7664.122,相伴概率为0.000,说明适合采用因子分析。因子旋转矩阵。特征根大于1的共有3个公共因子,第一因子包括影响因子、他引影响因子、5年影响因子、即年指标、论文影响分值、平均影响因子百分位,可以将其命名为期刊影响力指标;第二因子包括总被引频次、特征因子、标准特征因子,由于后两个指标是以5年为期计算的,总被引频次中的论文跨度时间是期刊创刊以来的所有论文,可以将其命名为长期影响力指标;第三因子包括被引半衰期和引用半衰期,可以将其命名为期刊时效性指标。第一因子的方差贡献率为44.34%,第二因子的方差贡献率为26.67%,第三因子的方差贡献率为12.05%,累计贡献率为83.06%。原始指标之间相关度总体较大,除了被引半衰期、引用半衰期与其他指标之间多数相关度不大并且没有通过统计检验外,其他指标之间的相关系数均通过了统计检验。因子之间的相关系数如表4所示,通过因子旋转计算,三个公共因子之间的相关系数几乎均为0,并且均无法通过统计检验,说明公共因子的提炼效果极好。考虑到第一因子和第二因子的性质基本相近,都是期刊影响力指标,因此将其进行数学平均后再和第三因子进行几何平均。最终因子几何平均法的评价结果由表5所示,由于篇幅所限,本文只公布了得分排名前30的期刊。由于采用几何平均,注重协调发展,所以影响力与时效性协调较好的期刊评价得分较高,这是由几何平均的特点所决定的,当变量和一定,只有当变量大小接近时其积才更大。另外还有一个特点是排名前30的期刊之间由于几何平均导致区分度较大,第一名得分为64.55,而第30名很快衰减到25.74,这也是由乘法合成的特点所决定的,变量在相乘的情况下其差距比相加更大。
4结论与讨论
(1)要重视非弥补式评价的协调发展评价方法研究
本文将多属性评价方法分为线性加权汇总类、非线性加权汇总类以及非线性评价三种,指出绝大多数评价方法属于取长补短式的弥补式评价,只有乘法合成类评价方法属于非弥补式评价,可以用来评价事物的协调发展,该类评价方法不多,只有几何平均和乘法合成,由于指标之间的相关性,导致非弥补式评价方法应用不多,因此需要加强研究。
(2)因子几何平均法是一种有效的协调发展评价方法
因子几何平均法通过因子分析提取公共因子,然后再进行几何平均,从而从根本上解决了人工分类导致的指标间相关度较高的问题,而几何平均又是一种非弥补式评价方法,适合评价对象的协调发展,两者结合,比较适合比较成熟的发展领域评价。
(3)因子几何平均法适合期刊协调发展的学术评价
在期刊评价指标中,适合学术评价的主要是影响力指标与时效性指标,来源指标由于很少是越大越好的正向指标,所以难以进行期刊评价,期刊编辑出版指标与学术评价也关系不大,外在展示指标中有少数也可以归结到影响力指标,社会关系指标与学术水平关系也不大。在这种情况下,精选期刊影响力与时效性指标,采用因子几何平均法进行评价是比较合适的。此外,学术期刊发展已经相对成熟,采用因子几何平均评价学术期刊并不影响期刊特色。这是因为期刊只有办出特色,才能保证影响力和时效性,最终获得较高的得分。
(4)采用因子几何平均法评价要注意学科差异
与其他多属性评价方法一样,在期刊评价中,学科与研究类型差异对因子几何平均法评价结果影响也较大,基础研究类的期刊得分往往不高,所以在评价时要客观对待。此外,本文由于被引半衰期和引用半衰期数据所限,使得评价结果差异较大,如果有完备的相关数据,评价效果会更好。