摘 要:同行评议是各国科研资助机构普遍采用的项目申请评审方法。由于同行评议自身存在一些局限性,国外科研资助机构采取了各具特色的质量控制措施。我国国家自然科学基金自成立以来,在提升同行评议质量方面进行了很多有益探索。通过对几个典型国家的科研资助机构同行评议质量控制机制进行梳理,总结分析了各自特点和优势,结合我国实际情况,提出了加强我国科学基金同行评议质量控制的建议。
关键词:科研资助机构;同行评议;科学基金;质量控制
在当代各类科技评价活动中,包括科研立项评审、发表论文审稿、科技成果鉴定、评奖、学位与职称评定等,同行评议是基本方法。在科研立项评审领域,自20世纪50年代美国国家科学基金会(National Science Foundation,简称NSF)采用同行评议方法以来,同行评议已被各国科研资助机构普遍采用。我国国家自然科学基金(以下简称“科学基金”)从1986年正式成立开始,就一直采用同行评议作为立项评审方法。近年来,随着科学基金项目申请量的增加,确保项目申请同行评议质量面临越来越大的压力。
尽管同行评议被各国科研资助机构普遍采用,但该方法因各种局限性也一直备受争议。从20世纪70年代开始,就一直存在围绕同行评议的各类调查[1]。在众多的争议与调查中,一个标志性的起点是1975年7月美国国会众议院科学研究与技术委员会召集的针对NSF同行评议的听证会,随后美国科学院科学与公共政策委员会组织专家进行了连续6年的调查,于1978年和1981年发表了两份关于“美国国家科学基金会的同行评议”调查报告[2][3]。美国政府问责办公室(原名美国审计总署)多年来一直针对科研资助机构同行评议的公正性、有效性和效率等方面进行调查[4],其它国家的有关机构也对同行评议进行了多项调查,如英国皇家学会应研究理事会的要求,对同行评议的有效性和效率进行了评价[5]。兰德公司最近的一份报告对同行评议的局限性进行了较为系统的梳理,并提出了改进建议[6]。这些调查研究都发现同行评议存在一些问题,有的研究也在积极探寻同行评议的替代机制[7],但总体上看,各国科学界和科研管理部门对同行评议制度仍然是肯定的。
为弥补同行评议的局限,保证同行评议质量,国外主要科研资助机构都建立了质量控制机制,如美国国家科学基金会NSF、美国国立卫生研究院(National Institutes of Health,简称NIH)、德意志研究联合会(Deutsche Forschungsgemeinschaft,简称DFG)、欧洲科学基金会(European Science Foundation,简称ESF)和日本学术振兴会(Japan Society for the Promotion of Science,简称JSPS)等都采取了相应的质量控制措施。本文主要对国外典型科研资助机构的同行评议质量控制机制进行梳理、比较和分析,从而得到对我国科研资助机构的启发。
采取措施弥补同行评议的局限,是同行评议质量控制的基本出发点。对于不同的资助机构而言,同行评议还受到所处环境、文化背景等因素的影响。因此,不同国家科学资助机构同行评议的质量控制机制既有相似之处,又各有特点。下面主要对NSF、NIH、DFG、ESF和JSPS的同行评议质量控制机制进行梳理分析。
1.1 美国科学资助机构同行评议质量控制机制
美国是开展科学技术评价活动最早的国家之一,20世纪初成立的国会研究服务部被认为是科学评价制度的雏形。NSF和NIH作为美国最大的两个科学资助机构,已经建立了较为系统完备的同行评议质量控制机制。
NSF成立于1950年,是美国最大的政府性评价机构,也是国际上最大最具影响力的科学基金会。经过60多年的发展,NSF形成了比较完善的运作与管理体系,其同行评议质量控制措施主要包括:①采用多元化的评审方式。针对不同的项目,NSF选择采用通讯评审、会议评审以及二者相关结合的方式进行评议,对于大型设备和建设研究中心等项目,还会采取实地考察的评审方式;②建立规模宏大、多样性的评审专家库。NSF拥有一个包含27万位评审专家的中央数据库,并通过申请人、通讯评审者、小组会审专家及来访科学工作者推荐等多种途径寻求和扩展评审专家候选人;③详细的评审结果反馈和多级申诉保障。每一位申请人在评审结束后均会收到来自项目官员的说明材料,具体阐明评审环境、会审结论及理由。被拒者可以要求相应的项目官员对决定作出附加说明,如果依旧不满则可以要求相应的主任助理进行正式重审;④为“非共识”项目提供专门资助。NSF鼓励具有探索性的不为多数人支持的研究,对各个科学领域小型、探索性、高风险的研究项目提供探索性研究的小额资助;⑤回避利益冲突。NSF在选择同行评议人时对所有评审者都要明确告知“如存在潜在利益冲突,评审者必须作出声明”。申请项目的主要研究人员必须申明其合作者及其他有关人员,供NSF在挑选评审人员时参考;⑥定期监督与评估。对NSF同行评议的监督和评估主要由国家科学委员会、美国审计总署、预算和财务与资助管理局、NSF的主任评议委员会和NSF的总监察长办公室等机构定期实施[8]。
NIH成立于1930年,是美国主要的医学与行为学研究机构。其同行评议质量控制措施包括:①二级评审制度。二级评审制度是指申请书的学术评审与项目的资助评审分别独立进行。学术评审工作由NIH的科学评议中心实施,资助评审工作由NIH各研究所或研究中心的国家顾问委员会负责;②多方审阅制度。NIH需要将评审书面意见交给各研究所或研究中心的国家顾问委员会,各评审专家在会审之前对每份申请书单独审阅,其中,2~3位评审专家还要提供书面意见;③公示制度。为了让科学界尽可能广泛地了解情况,NIH通常将评审情况刊登在《每日商报》(the Commerce Business Daily)或通过其它渠道进行公示;④面审制度。申请书上报后,由科学家组成的非政府技术评审小组对其进行审核,根据评审专家的意见及NIH管理人员的意见,决定申请者是否具有竞争力,是否需要进行面审;⑤多次受理申请制度。NIH包括研究项目基金、研究中心基金、小企业创新研究——小企业技术转让基金及其它研究基金,每年受理项目申请3次,分别为2月1日、6月1日和10月1日。
1.2 欧洲科学资助机构同行评议质量控制机制
欧洲是应用同行评议比较早的地区之一,15世纪,同行评议最开始被用于欧洲的专利申请查新。论文评审同行评议的雏形可以追溯到1665年世界第—本科学杂志——英国皇家学会刊物《哲学会刊》论文审查。作为欧洲主要的科学资助机构,DFG和ESF采取了各种同行评议质量控制措施来保证和提高同行评议质量。
DFG成立于1951年,是德国最大的基础科学研究资助机构,作为自治型协会,DFG由独立的科学家领导,采用会员制。DFG的同行评议质量控制机制包括:①采用“2+1”的评审方式。DFG大多数项目采用“2+1”的通讯评审方式,即首先选择两位独立的有判断力的同行专家进行通讯评议,如果两位的意见一致,则按同行专家意见决定是否给予资助。如果首选的两位同行专家评议结果不一致,则选择第三位同行评议专家[9]。对于个人申请项目一般采用通讯评议,所有合作研究项目必须进行小组评议并要到现场访问,重点项目和特殊研究领域项目的评审一般采取答辩和实地考察相结合的方式;②随时逐项审批制。DFG大多数普通项目和单项资助项目采取随时逐项书面审批方式,每份申请书都要经过同行评议,学科委员会主任或副主任负责综合所有评审意见和建议;③评审专家遴选。同行评议委员会通过学会推荐和直接选举相结合的方式产生,首先由全国200多个学术组织提名产生同行评议专家候选人,然后通过所有在科研部门从事研究工作人员(约8万多名科学家)的无记名投票产生;④“N+M”管理模式。DFG的项目资助形式大多采取“N+M”的管理模式,即先资助N年,然后对研究进展情况进行评估再决定是否继续资助M年;⑤规避利益冲突。DFG与其它国家科学基金的同行评议不同,申请者可以提出书面申请,要求推荐一位同行对其项目作专门的评审,经DFG项目管理人员排除利益关系后,这位专家可以作为第三位评审专家;⑥监察制度。DFG监察由其理事会产生的“科学自律委员会”推荐,其职责是避免出现品质不良、学术舞弊等行为受到质疑的科学家获得DFG的资助,并就针对获得DFG资助的科学家的类似指控进行调查。
ESF成立于1974年,是一个由隶属于24个国家的67个国家级科学研究委员会、科学院、研究院和其它资助科学研究的基金组织组成的科学基金资助机构。ESF同行评议的质量控制机制包括:①采用“打分制”的评审方式。为了进行综合比较,ESF的项目评审结果实行打分制,评分形式由专家决定。ESF先根据需要将每个审稿人就审核结果分为4 级或5 级,然后根据其重要性,利用权重因子加权得到最终分值,以便根据基金组织方划定的合格线进行最终评判[10];②评审专家遴选方式。选择评审专家时,根据基金类别和将采用的同行评议模式,确定所需专家类别、人数与选择标准。利用一些可靠的专业信息管理系统进行选择,选定后为受邀者提供清晰详尽的操作指南,并告知注意事项;③反馈和申诉制度。评审结束后,尽快通知申请人及其他利益相关者。允许申请人查看决议报告,具体某个申请的排名只告知申请者本人。若有程序上的重大失误,则对决议进行修正,若接受申请人上诉,则需另找专家进行评审。
1.3 日本科学资助机构同行评议质量控制机制
日本的科技评价始于20世纪40年代的科技审议会制度。日本学术振兴会(Japan Society for the Promotion of Science,JSPS)是日本官方科学评价机构,其主要任务是负责资助项目的管理。JSPS是一个事务管理机构,不对具体学科组织评审,全部评审工作直接由分布在日本各地的专业分委员会承担。
JSPS的同行评议质量控制机制包括:①评审专家遴选。JSPS每年都委托日本学术会议推荐评审专家,评审专家推荐注重大学之间的平衡,不得过分集中,也考虑年龄构成(规定在60岁以下),鼓励青年研究者加入,同时,候选者中要有相当数量的女性研究者[11];②专门法律支持。JSPS有其专门的法律《日本学术振兴会法》,对于振兴会的很多事务都作出了明确规定。振兴会开展业务时,必须依据学术振兴会法制定《业务方法书》,经文部科学大臣审批后,用于指导振兴会主要业务的开展;③两阶段评审制度。科学研究费补助金申请分为通信评审和会议评审两个阶段,第一阶段,每个研究计划由3位或者6位审查员分别从专业性见解出发,以书面形式进行审查。第二阶段,主要在第一阶段审查评价的基础上进行调整,并在各专业领域的委员会上以讨论的形式进行审查;④审查结果公布。计划采纳与否的审查结果以书面形式通知研究机关的代表者,对于未被采纳课题的第一阶段审查结果,由日本学术振兴会科学研究委员会负责公布审查结果;⑤回避原则。评审专家不可对本人作为项目负责人的研究课题进行评分,对于评审专家本人担当研究合作者的研究课题,注明是“研究合作者”且不可对项目进行评分[12]。
1.4 不同科研资助机构同行评议质量控制机制比较
根据对3个国家地区5个资助机构同行评议质量控制机制的梳理可知,美日欧主要科学资助机构都对评审准则、评审方式、专家遴选方法、回避利益冲突、评审意见反馈、复审申诉和监督等方面进行了规定,因其所处环境不同、机构性质及其发展阶段不同,每个机构的质量控制机制都独具特色,如表1所示。
表1 国外科研资助机构同行评议质量控制机制
科研资助机构质量控制机制美国国家科学基金会规模宏大的评审专家库、评审结果的反馈和申诉、为“非共识”项目提供专门资助、回避利益冲突、监督与评估国立卫生研究院二级评审制度、多方审阅制度、公示制度、面审制度欧洲德意志研究联合会随时逐项审批制、评审专家的遴选、N+M的管理模式、规避利益冲突、监察制度、注重青年人才的培养欧洲科学基金会打分制评审方式、专家遴选方式、申诉制度日本日本学术振兴会专门法律支持、两阶段评审制度、审查结果公布、回避原则
(1)不同科学资助机构同行评议控制机制的共同点。NSF、DFG两个科学资助机构都针对不同项目采取通讯评审、会议评审和实地考察等不同评审方式,这种多元化的评审方式更有利于不同类型项目的合理评审;NSF、ESF两个科学资助机构都明确了评审结果反馈和申诉方式与程序,这个机制最大限度地保障了申请者的知情权和申诉权;NIH、JSPS两个科学资助机构都对评审结果进行公示,使得评审结果更加公开透明;NSF、DFG、JSPS三个科学资助机构在选择评审专家时都要求回避利益关系,保证了评审过程的公平公正。
(2)不同科学资助机构同行评议控制机制的差异。NSF的组织结构具有很强的美国特色,国家科学理事会掌握大政方针,基金委主任行使行政权,总监察长负责纠错防弊,三者形成权力制衡和分工。NSF对各个科学领域小型、探索性、高风险的研究项目提供探索性研究的小额资助,鼓励具有探索性的不为多数人支持的“非共识”研究;NIH独具特色的二级评审制度更好地保证了项目评审工作的科学性,两阶段的评审环节充分考虑了项目的学术价值和社会价值,确保了NIH长期健康发展;DFG独具特色的科学家自治机制使得项目评审更具公正性,自治机制的组织结构比较紧密,中间层次比较少,运转起来比较快捷和灵活。通过学会推荐保证了同行评议委员的学术资历,而直接选举有助于确立同行评议委员会的公正性和权威性。DFG的“N+M”管理模式体现了过程管理的思想,使管理更加高效,一方面减少了项目评审的压力与工作量,加快了审批进度,有利于非共识项目获得资助,同时,强化了中期管理,可以大大减少立项失误或者项目过时导致的风险;JSPS有其专门的法律《日本学术振兴会法》,对申请项目评审和资助过程进行规范与监督,保障了科学基金资助的公平公正。
综观国外科研资助机构对同行评议的质量控制机制,它们都针对自身特点,持续加强对同行评议的质量控制。有研究表明,后发国家在本国科学制度建构和科学政策制定过程中,可以效仿和借鉴发达国家的经验、政策与制度,但简单效仿并不能产生期待的效果[13]。国家自然科学基金是我国国家层面资助基础研究的主要渠道,一直坚持采用严格的同行评议制度,并建立了多项制度来保证同行评议的质量,如监督制度、回避制度、非共识推荐制度、评审意见反馈制度、复审制度等。与NSF、NIH、DFG等机构相比,我国的评审量巨大,面临更多压力,在变革性项目的评审机制和非共识项目处理等方面还缺乏有效的方法。针对我国科学基金面临的挑战,借鉴国外科研资助机构的做法,本文认为应从以下几个方面提高我国同行评议的质量。
(1)进一步扩大评审专家库建设规模。随着我国科学基金项目申请量的激增,评审专家资源短缺的问题日益凸显,项目评审压力逐年加大,扩大评审专家库势在必行。拓宽专家来源,例如,利用国内外学术交流会议的机会,与学术期刊、依托单位等协作收集专家信息。注重补充年轻科研人员,年轻科研人员拥有活跃的学术思想、大胆的挑战精神,是不容忽视的生力军。利用网络化信息手段辅助收集信息,经过相应的确认流程,为基金委同行评审提供更广泛的专家信息。同时,建立用户友好的专家系统,建立科学规范的管理制度,建立专家个人档案,对评审专家库实行动态管理,及时补充、调整、更新入库专家及相关信息。
(2)对变革性研究项目申请探索新的评审方法。变革性研究项目通常具有前瞻性、风险高、成功率相对较低的特点,对变革性研究项目的评审,需探索实施不同于一般同行评议规则的新的评审方法,如在评议标准方面,可以设计有针对性的评议指标,增强“原创性”、“创新性”等方面指标的权重;在评审专家方面,可以采取资助机构指定和申请人推荐相结合的方式。通过创新同行评议的具体方法,使得具有潜在价值的变革性研究项目得到资助。
(3)加强同行评议文化建设。在科研项目评审过程中,存在向评审专家“打招呼”的现象。对国家自然科学基金评审专家的一项调查表明,12.4%的专家在通讯评审阶段遇到过“打招呼”的情况[14]。这种现象不仅损害了科学基金同行评议过程的公正性,而且对弘扬科学精神和建设优良学风带来不良影响。因此,应大力提倡纯净、公平的评审环境,对评审专家和申请人进行宣讲培训,不断提高评审过程的公平性和透明性,引导科研人员牢固树立对项目评审过程的尊重和信任。
(4)对同行评议进行监测评估。科学基金通过举报制度、会议评审监督制度等,对项目评审过程进行监督。但是,关于同行评议的质量,还缺乏系统的监测。为掌握同行评议的公正性、有效性和效率等情况,有必要建立同行评议质量监测体系,对每年度的同行评议进行监测分析,及时发现存在的不足与问题,不断提高科学基金同行评议的质量。
参考文献:
[1] WOLD A,WESSELY SIMON.Peer review in grant applications:a systematic review[M]//F GODLEE,T JEFFERSON.Peer review in health sciences.London:BMJ Books,2003:14-44.
[2] STEPHEN S COLE,LEONARD RUBIN,JONATHAN R.Cole,peer review in the NSF:phase I of a study[M].Washington,DC:National Academy of Sciences,1978.
[3] JONATHAN R COLE,STEPHEN S COLE.The committee on science and public policy(COSPUP):phase II of a study[M].Washington,DC:National Academy of Sciences,1981.
[4] GAO.Peer review:reforms needed to ensure fairness in federal agency grant selection[Z].GAO/PEMD-94-1,1994.
[5] ROYAL SOCIETY.Response to the RCUK consultation on the efficiency and effectiveness of peer review[EB/OL].http://royalsociety.org/displaypagedoc.asp.id=23912,2008-05-10.
[6] RAND.Alternatives to peer review in research project funding[Z].2013.
[7] 达里尔·E.楚宾,爱德华·J.哈克特.难有同行的科学:同行评议与美国科学政策[M].谭文华,曾国屏,译.北京:北京大学出版社,2011:73-74.
[8] 龚旭.美国国家科学基金会的同行评议制度及其启示[J].中国基础科学,2004(6):41.
[9] 范英,郑永和,魏一鸣,等.海外科学基金评审方法与实践[M].北京:科学出版社,2004:55.
[10] 张鑫.科研项目同行评议中专家诚信体系建设研究[D].天津:天津大学,2011.
[11] European Science Foundation.European peer review guide[R].Member Organization,2011.
[12] 王嘉.科技成果评估方法与指标体系的研究[D].北京:中国矿业大学,2010.
[13] 龚旭.科学政策与同行评议:中美科学制度与政策比较研究[M].杭州:浙江大学出版社,2009:283-284.
[14] 国家科技评估中心.国家自然科学基金2015年度绩效评价报告[R].2016.
(责任编辑:万贤贤)
The Quality Control Mechanism of Peer Review in Foreign Research Funding Agencies and its Enlightenment
Abstract:Peer review is a commonly used method of project appraisal for national research funding agencies. Due to the limitations of peer review itself, foreign research funding agencies to adopt a unique quality control measures. Since the establishment of the National Natural Science Foundation of China, there have been many beneficial explorations in improving the quality of peer review. Based on the analysis of the quality control mechanism of peer review in several typical countries, this paper summarizes and analyzes their respective characteristics and advantages, combined with the current actual situation in our country, and puts forward suggestions to strengthen the quality of peer review in our country.
Key Words:Scientific Research Funding Agencies; Peer Review;Science Fund;Quality Control
收稿日期:2016-11-14 基金项目:国家自然科学基金应急管理项目(L1422024)
DOI:10.6049/kjjbydc.2016070749
中图分类号:G311
文献标识码:A
文章编号:1001-7348(2017)11-0114-04