首页
通知公告
项目动态
管理文件
文件下载
社科成果
社科动态
人才巡展
高校社科
图片新闻
相关链接
改进和完善学术期刊定性评价
发布时间:2018-08-16 10:27:00

  学术期刊评价在我国的学术评价活动中具有非常重要的地位。同时,对于学术期刊评价的结果,在学术界也历来争议不断。当前,从多方面对定性评价机制进行改进和完善,意义尤为重要。

  反思学术期刊定量评价

  学术期刊评价最初只是作为文献计量学研究的一个重要组成部分,通过对学术期刊的发展规律和增长趋势进行量化分析,揭示学科文献数量在期刊中的分布规律,为优化学术期刊的使用提供重要参考。

  学术期刊评价的方法经过了一个演变过程:由早期基于文献集中与分散分布规律的以“发文量”为主要指标评选核心期刊,到基于引文分布理论以“引文数量”为基础,通过计算期刊近两年的平均被引率即期刊影响因子来对期刊的影响力进行量化分级,再到近十年将“发文数量”和“引文数量”相结合、通过H指数和兼顾“引文数量”和“引文质量”的特征因子来对期刊进行复杂评价。以上方法都是通过期刊刊载文献数量或者被引数量进行量化统计并进而评价学术期刊,我们称之为学术期刊定量评价方法。

  学术期刊定量评价方法被广泛应用于图书情报学界,其初衷是为图书馆采购遴选出各学科重要的期刊或者为引文数据库建设遴选来源期刊。但是,随着期刊评价结果被用于科研管理,职称晋升、学术奖励和资源分配都与其息息相关,社会各界也对其争议不断。学者逐渐开始反思定量方法在学术评价中的作用。2012年《关于科研评价的旧金山宣言》主要矛头就是指向学术界对期刊影响因子的滥用;2014年《关于科研指标的莱顿宣言》明确指出,量化的评价应当辅助而不是取代定性的专家评估,尽管定量指标可以弥补同行评议中的偏见,但是评估过程应该参考这些定量信息,而不是使决策力让位于指标数字。因此,学术期刊评价中如何使用专家定性判断再次成为关注的热点。

  优化学术期刊定性评价机制

  同行评议(peer review),是定性评价方法中的一种,也称同行专家评审,指同一个学科、研究领域或同一个研究方向的专家按照一定的标准对学术期刊、研究成果、人员、机构等进行的评价活动。同行评议始于17 世纪学术期刊初创之时,如1665 年创刊的世界上最早的期刊之一、英国的《哲学汇刊》就实行同行评审制度。后来,同行评议逐步从学术期刊的审稿发展到评审项目、决定经费的分配。学界普遍认为,将同行评议等定性评价理念应用于学术期刊评价实践,能在一定程度上弥补发文数量、被引次数、影响因子等传统定量指标的不足。

  目前,国内的学术期刊评价体系几乎都明确声称采用定量和定性相结合的方法,但是评价过程中,很多评价体系仅仅公布了定量指标及权重,而对定性具体指标及其权重却未提及,实际操作中将定性评价仅仅作为参考、补充,所占比重很低。因此,定性评价在学术期刊评价体系中还存在诸多问题,需要从多方面对定性评价机制进行改进和完善。

  明确评价目的。学术期刊定性评价的目的与学术期刊评价的目的是一致的。学术期刊评价的目的可以有三个层次:整体的期刊综合质量评价、局部的期刊学术评价或者编校出版质量评价、基于单一指标的评价。评价目的明确,才会有相应的评价标准、指标和评价方法。除此之外,明确期刊评价的目的有助于评价专家对期刊评价工作有清晰明确的认识,有助于其在期刊评价过程中根据评价目标进行判断,做出比较客观公正的评价。

  设计科学合理的定性评价指标体系。定量评价需要一套指标体系,定性评价也需要科学合理的评价指标体系。指标设计时既要考虑指标体系的科学性,又要考虑实际的可操作性,同时还要根据期刊评价的目的有针对性地选取指标。定性评价指标可以参考以下五个方面:期刊的学术性(指期刊内容的学术含量及比重)、期刊刊载论文的创新性(选题观点、论证、资料、方法等的原创性)、编校质量(编辑策划、栏目设置及编校水平)、学术规范性(论文写作规范及引文著录规范)、社会声誉(学术水平与学风的社会认可度)。根据评价目的选取适合的指标并设置指标权重,比如评价目的是期刊的学术水平,那么期刊的学术性和论文的创新性就应该是评价的主要方面,而其他指标即使设置,权重也应该相对较小。

  定性评价形式要多样,同行专家要全程参与。学术期刊定性评价总结归纳起来主要有三种形式:问卷调查、专家访谈和会议讨论。问卷调查最常见的方式就是给出学术期刊列表,让专家或同行根据一定的标准对每种期刊进行打分,计算每种期刊的得分;专家访谈主要通过实地调研与专家面对面就期刊评价等相关问题进行交流;会议讨论则是集中组织专家对期刊评价体系或者方法建言献策,或者针对某个学科的期刊进行集中评审。目前的学术期刊评价体系中,一般都只使用了调查问卷或者专家会议讨论,并没有充分发挥出同行专家在期刊评价中的重要作用。各评价机构应最大程度发挥同行专家在期刊评价中的作用,从前期通过访谈或者座谈形式让专家参与到期刊评价指标体系的设计,中期专家对具体期刊的评价,再到后期专家对期刊评价结果进行审读做最后的把关,使专家全程参与到期刊评价过程中。

  同行专家遴选机制要完善。作为学术期刊定性评价的主体,专家的遴选尤为重要,既要考虑宏观层面专家结构的合理性,又要保证微观层面专家研究领域与期刊所属学科领域的匹配性。定性评价专家整体上可分为三个群体:主管部门内熟悉期刊业界发展的专家,此类专家可以从政治方向和价值导向上进行把控;学科专家,可以从学科专业角度对期刊的学术水平进行评价;期刊编辑专家,不仅可以评价期刊的学术水平,还可以评价期刊的编辑出版质量。针对学科专家和期刊编辑专家,遴选时要多维度多层次考虑:尽量覆盖分支学科;平衡专家的机构和地域分布;兼顾老中青各年龄段的学者。在微观层面需要通过建立专家库汇总专家基本信息、专业背景、从业信息和诚信情况等,以便遴选出责任心强、品德高尚且能与评价对象在专业领域上匹配的专家。

  重视读者在学术期刊评价中的作用。学术期刊的传统读者是学术共同体的成员,既包括知名专家学者,也包括初入学术殿堂的研究生。尽管期刊定性评价中有了一定数量的评审专家,但是评审专家相对于广大的读者群体而言,样本数量还是较小。仅仅以专家作为定性评价的主体,评价结果难免偏颇,因此有必要将读者纳入到学术期刊定性评价的主体。为了区别于同行专家,此处读者可以包括在读博士、在站博士后和具有初、中级职称的青年学者。他们处于学术的上升期,对学术期刊也比较了解,其评价意见能够反映此类读者对学术期刊的看法。

  定性评价过程公开透明。目前的学术期刊评价体系中,定性评价结果往往淹没在期刊评价结果中,其中的指标体系、评价方法等都没有公开。部分学术期刊评价体系中的定性评价部分仅对公众公布极少内容,专家姓名被公布,但并未公布其评议的具体是哪些期刊,也不公布评议流程和细节,因此难免会使公众将评价结果与暗箱操作联系起来。如果实行公开透明的评议,那么同行评议将被置于公众视野之下,这样的期刊评价会增加评价专家的责任感和约束力,评价结果的可信度也会提高。因此,定性评价不仅要公开学术期刊评价的范围、对象,而且要公布评审专家的入选条件、定性评价的标准和程序以及评价的结果等。

  (作者单位:中国社会科学评价研究院)

来源:中国社会科学报   作者:耿海英   编辑:蔡阳艳