图1 四国大学科研评价的具体过程
吴 杨
(北京理工大学 人文与社会科学学院，北京 100081)
摘要：科研评价是大学科研创新活动的风向标，健全的科研评价体系不仅为我国“双一流”大学建设提供保障，提高大学科研创新能力，而且为管理部门提供及时有效的科研发展信息。对英国、澳大利亚、日本以及韩国大学科研评价体系进行分析，综合比较其科研评价过程、评价指标及特点、评价结果与拨款关系等。在此基础上，根据我国实际情况，从目标导向、评价指标、评价专家、评价方法等4个方面设计完善我国大学科研评价体系政策，并提出未来研究展望。
关键词：“双一流”大学；大学科研评价；科研评价体系；国际比较
2017年9月，教育部、财政部、国家发展改革委印发《关于公布世界一流大学和一流学科建设高校及建设学科名单的通知》，公布世界一流大学和一流学科(简称“双一流”)建设高校及建设学科名单。2017年1月，教育部、财政部、国家发展改革委关于印发《统筹推进世界一流大学和一流学科建设实施办法(暂行)》的通知提出“加强过程管理，实施动态监测，及时跟踪指导。以学科为基础，制定科学合理的绩效评价办法”。由此可见，大学科研评价已成为我国“双一流”建设的重要组成部分。目前，我国科研评估主要针对大学教师的科研业绩，而我国要建设世界一流大学和一流学科必须引入系统化、常规化的国际评估制度，强调向国际科研评价标准看齐。因此，分析他国大学科研评价体系特点及优势，对完善我国科研评价体系、提升大学科研创新能力具有重要的战略意义。本研究选择英国、澳大利亚、日本、韩国4个国家，主要原因如下：①英国的科研评价体系经多年发展，以提高“科研质量”为宗旨，相对成熟，是很多国家学习的榜样。澳大利亚科研评价体系建设起步较晚，通过一系列改革日趋完善，其“准入制度”值得思考。日本和韩国均为亚洲地区国家，日本以“自我评价”方式考察大学科研整体实力，并取得了较好的效果。韩国在评估体系中纳入了“产学研结合”等指标，对大学和企业的合作具有很好的推动作用。可见，上述4个国家无论是大学科研评价历史发展、评价方式，还是评价指标，都各具特色，具有一定的代表性；②这4个国家拥有数量众多的世界一流大学和一流学科，其评价体系对其科研水平提升具有较大影响，对我国高水平大学科研创新评价体系构建有直接借鉴作用。本文通过最新资料研究，从评价过程、评价指标、评价结果以及评价经费支出等方面，综合分析四国大学科研评价体系优势和特点，以期提出适合我国“双一流”大学建设的政策及建议。
(1)单一国家大学科研评价体系借鉴。我国一些学者往往针对一个发达国家进行借鉴分析。万坤等[1]对瑞典FOKUS科研质量评价框架的评价单元、评价内容、评价指标、数据来源等进行深入分析。刘兰剑等[2]总结日本科研创新效率高的主要原因是完备的法律体系、受到广泛认同的评价文化，后者既保证了科研评价的客观公正又提高了科研水平。丁建洋[3]从日本大学科学创新能力形成视角出发，探索了日本学术振兴会在科技创新中的价值和意义。甄子健[4]通过案例分析探索了日本科技创新评价方法，并提出促进中国科技创新的建议。朴大林[6]分析了韩国大学评估新体系，认为在韩国大学评估中充分考虑了利益相关者的参与性[5]。杜德斌等[6]介绍了英国大学REF评估制度。张勇等[7]针对澳大利亚的科研评价体系进行分析，探索其演变路径和特点。伍莺莺等[8]分析了英国科研评价体系REF的特点和走向，以及中英科研评价体系的异同。
(2)多个国家大学科研评价体系的综合分析。我国部分学者对多个国家的科研评价体系进行了综合研究。黄小平等[9]通过对英国、美国、法国及澳大利亚四国科研评价体系的梳理发现，发达国家科研评价所具有的共性特征可为我国完善和建设结构合理的“双一流”大学科技创新能力评价体系提供借鉴。杨瑞仙等[10]从科研评价方法角度比较分析了国内外高校科研评价体系的异同。刘威等[11]在借鉴英国、澳大利亚以及荷兰等高校科技评价体系建设经验的基础上，构建了我国高校科技评价体系。顾海波等(2017)选取国外典型高校科研评价规则进行对比分析，发现其普遍以质量为评价导向，并采用分类和基于文献计量指标的同行评价等方法，从而提出我国高校科研评价规则与路径。张灵阁等[12]分析英国、澳大利亚、新西兰三国高等学校科研评价体系，重点关注专家组成方法、专家回避制度以及专家保密职责等几个方面的内容，为中国科研评价体系中的专家遴选提供了参考。
在大学科研评价体系国际比较研究中，不论是针对一个发达国家还是综合分析若干国家的科研评价体系，对本研究都具有较好的借鉴意义。 但现有研究主要聚焦于大学科研评价方法、评价规则、专家制度等方面，有关多个国家评价体系的评价过程、指标体系综合比较及对我国启示等方面的文献相对不足。本研究将对多个发达国家科研评价过程、指标体系特点、评价结果利用以及评价经费支出等问题进行系统对比与特性分析。
国内一些学者对我国大学科研评价体系及现状进行了研究。周光礼[13]对当前大学科研评价现状进行了分析，认为当前学术评估主导模式是一种行政化色彩浓厚的内部评估，主要包括晋升评估和年度评估。前者即为“评职称”，当前主要采用简单的量化技术，重科研轻教学；后者是指对所有教师进行的一年一度评估。这两种评估都是针对教师个人的问责性评估。曹昱晨[14]提出，当前我国学科评估存在着评价对象和内容界定不明确、层次不分明等问题，认为学科评估标准设立应兼顾国际化与本土化，学科群划分及评估标准要相适应等问题。冯用军等[15]提出，应在科学构建中国特色世界一流大学、学科与本科教育范畴架构的前提下，对中国大学进行客观分类和特征化研究，进而科学构建中国特色、世界接轨的“双一流”战略评估标准，从而为国家公开遴选和动态评估“双一流”战略提供参考。
针对“双一流”大学这类高水平创新主体的科研评价体系研究刚刚起步，具体到评价方式、评价指标等细节问题及政策建议有待进一步探索。一些学者主要针对我国大学科研评价体系现状与问题进行深入探讨，认为我国亟需建立与国际接轨的大学科研评价体系。
评价过程以及每个阶段采用的评价方法决定了科研评价实施效率与效果。通过对4个国家的比较分析，发现其大学科研评价实施过程基本包括评价启动、评价执行、评价结果发布及使用3个阶段。四国大学科研评价3个评价阶段工作存在较大差异，如图1所示。
大学科研评价启动阶段，除日本外，其它国家大学都要提交相关评估资料。日本主要进行自我评估并对各个大学实施评价前的培训，澳大利亚、韩国的评价启动期主要是收集资料。英国在评价启动期不仅会收集相关资料，而且会成立新的同行评议组。
大学科研评价执行阶段是具体实施评价阶段，在这一阶段4个国家都实行实地考察评价的考评方式。英国和澳大利亚的评估方法主要采用同行评议和文献计量评估相结合。英国采用的同行评议主要考核科研成果、影响力、环境活力等指标，文献计量方法主要考察科研成果、影响力。澳大利亚主要采用同行评议的方法考核科研成果，通过文献计量测量院系的科研表现，以学科为单位对科研质量进行评价。日本大学评价方法的核心是书面评价和实地考察评价，书面评价针对被评价对象的出版物，实地考察是通过现场调研的形式进行评价[16]。
大学科研评价结果应用阶段，4个国家都会形成评价报告并公布评价结果，英国、澳大利亚、韩国根据评价结果分配未来科研经费，韩国还对科研评价结果定期复查。
图1 四国大学科研评价的具体过程
评价指标是大学科研评价体系的核心，本文对四国大学科研评价指标、评价指标变化及特点等要素进行综合比较(见表1)。
表1四国大学科研评价指标体系比较
英国大学科研评价由4个高等教育拨款委员会主导，“REF团队”负责具体实施，该团队以英国高等教育拨款委员会(HEFCE)为基础[17-18]。2014年，英国实施最新的“研究卓越框架”(REF)，后者由以往的RAE科研评价制度发展而来，并取而代之[19-20]。REF现行评价指标及权重为：科研成果(65%)、科研影响力(20%)以及科研环境(15%)[17]。REF将“科研成果”的比重由最初的60%上调为65%，“科研环境”的权重由20%下降到15%。REF从上述3个方面对大学各学科科研状况和实力进行评价，更强调科研创新质量，对所公开发表的成果数量不作要求。
澳大利亚的大学和学院几乎都是公立性质，只有两所国际性大学，一所私立院校。澳大利亚大学科研评价机构由政府主导，民间专业机构由澳大利亚研究理事会(ARC)负责，澳大利亚现行评价体系是澳大利亚优秀研究计划(ERA)。ERA由ARC于2010年全面实施，评价内容包括4个方面：①科研质量，包括出版物及会议的级别、引用分析、同行评议、国内和国际科研收入；②科研活动，包括科研产出总量、科研收入等指标；③科研应用，包括科研商业收入等应用测量指标；④声誉[21]，包括在权威出版单位担任编辑的人数、参加知名学术团体的人数和全国科研奖金获得者人数等测量指标[22]。澳大利亚参评大学准入门槛较高，从而降低了科研评价成本，保证了参评大学的科研质量。如果大学或者科研机构的某一学科在指定的182个期刊上的加权年发文量低于阈值，则不进行学科编码和学科评价，阈值一般设定为50篇发表于国际等级刊物的文章[21]。准入制度能够有效降低评价成本和压力，同时能够对学科进行优胜劣汰并保证参评大学的科研质量。
日本高校科研评估主体是文部科学省。日本大学科研评价体系对科研创新水平的提升效果较显著。相较于英国以及澳大利亚，大学自我评价在日本科研评价模式中占据绝对主导地位。日本以自我评价为主的评价体系使其科研评价指标变动较少，评价成本较低，但也存在着弄虚作假。因此，2000年第三方机构NIAD-UE参与日本大学科研评价。NIAD-UE最初是政府机构，2004年成为独立法人，文部科学省只对它授权而自己并不直接参与评估。日本大学科研评价更关注大学整体科研实力，NIAD-UE设计的评价指标范围极广，能够对大学科研创新进行更全面的分析。同时，以自我评价为主的评价方式可降低评价成本，繁杂的评价指标也可以沿用至今。
韩国现行大学评价是由韩国大学教育协会(大教协)负责的“大学综合评价认定制”，共分为两个部分：一是大学质量管理体系；二是大学成果测量体系。大学质量管理体系包括3个部分：大学信息公示制度、大学自我评价以及外部专业机构评价。其中，自我评价和外部评价主要负责大学科研评价。外部评价包括由总统直接挂衔的“国家创新评价体系(NIS)”以及大学区域创新(NURI)等评价项目，是韩国大学科研评价体系的重要组成部分。NIS更多地关注大学内部科研机构的科研创新，是韩国大学科研评价的重要补充[23]。大学成果测量体系由产业角度的大学评价以及大学生核心能力测评组成。2008年起，由韩国政府、大教协以及主要经济团体共同从产业角度对大学科研创新进行评价，立足于大学对产业的贡献，其评价指标包括大学科研与产业界需求匹配度、毕业生职务能力培养以及教学课程适应性等。从产业角度对大学科研创新能力进行评价，能够极大提高科研创新成果转化效率，推动大学与企业之间的密切合作。韩国科研评价体系繁杂且重复，采用一个主评价体系、若干个子评价体系，一定程度上影响了大学日常运行。
大学科研评价等级设定、评价结果利用情况都影响评价的效果和社会影响力。本文选择评价等级设定以及评价结果对拨款的影响程度进行比较分析(见表2)。其中，评价结果对拨款的影响程度共分为3个等级：很相关、微相关以及不相关。
英国科研基金分配由评价结果主导。其科研评价体系分为5个等级，四颗星等级将会获得最高资金资助，N/A等级将获得最少资助甚至得不到任何资助。澳大利亚大学科研评价体系同英国相似，评价结果共分为5个等级。评价结果将递交给负责基金拨款机构“大学可持续研究卓越计划”的成员单位，不参加ERA评价的大学，将得不到科研基金资助。根据评估结果，澳大利亚对具备国际竞争力的院校和学科进行重点资助[24]。日本大学科研评价结果与其资金分配关系较小，一方面日本大学科研评价结果由自我评价决定；另一方面，其评价实施主要是由政府改制的第三方评价机构负责，因而其评价结果对于基金分配的影响较小。韩国大学科研评价由多个体系构成，不同体系的评价结果将会影响最终评价结果。其评价结果共分为5级，获得A级评价者将会增加科研资金，而评为E级的将会被缩减科研资金。
表2评价等级设计以及评价结果与科研拨款关系
(1)目标导向：以贡献度、开放度、创新潜力为导向对我国“双一流”大学建设科研创新评价体系进行总体设计。“双一流”大学建设的主旨不仅是综合水平跻身全球一流大学，而且承载着国家战略需求与社会发展的知识支撑和技术贡献。大学科研创新评价体系总体设计应以贡献度、开放度、创新潜力3个维度为导向。贡献度主要体现为大学及其学科现状和未来发展对国家与区域战略的知识支撑；开放度主要体现为大学及其学科与国外内大学、产业、行业的合作状态和交流程度；创新潜力主要体现为大学及其学科优势、特色、未来发展潜力以及跨学科合作机会。从以上3个维度进行“双一流”大学科研创新评价体系总体设计，未来才能够更加高效地提升我国大学总体科研创新实力。
(2)评价指标：将科研质量和创新成果转化能力纳入“双一流”大学科研创新评价指标体系。我国“双一流”科研创新评价指标体系应以“科研质量”为核心，以提高我国科研创新成果的前沿性和国际影响力。以英国为例，其大学评价材料仅需要参评学科提供4份科研水平最高的科研成果，大大提升了大学科研水平和国际影响力。同时，在我国“双一流”大学建设中，应考虑将大学“科研成果与社会实际需求匹配的能力”纳入评价体系。如韩国将产学研合作、成果转化等纳入其大学科研评价指标体系，从而促进了大学与企业合作，并加速了科研成果转化。
(3)评价专家：优化参评人员结构，拓展同行评议中评委的专业领域。“双一流”建设应考虑大学科研创新成果对不同行业和不同领域的贡献，因此大学科研成果鉴定应当由多层次、多领域的专业人士共同参加。参评专家不仅由本学科专家组成，而且应当根据参评大学的专业设置，邀请技术人员、跨学科研究者、科研成果应用者、企业家、政府相关人员共同参加，使大学科学研究与创新应用紧密结合。
(4)评价方法：同行评议与科研创新成果计量相结合。“双一流”建设科研创新评价方法应采用同行评议与科研创新成果计量相结合。这也是目前国外比较成熟的评价方法。文献计量评估是指对参评大学3～5年内发表的学术论文进行计量分析，主要测量大学的科研表现，具体指标包括出版物数量、他引率等，文献计量分析结果不发放给同行专家组。同行评议主要是实地考察，评估大学的科研条件、科研活动和科研成就。评估前专家要仔细研读大学提交的背景材料，然后对其进行实地考察，最后需撰写大学科研评估总结报告和未来大学科研创新发展建议。通过以上两种评价方法得出的综合结果可以对大学科研创新水平进行相对客观的质量评级。
(1)在“双一流”大学评价指标设计过程中本质价值与外显指标关系的思考。“双一流”大学作为我国科研创新主体，以创新为导向、以知识生产为己任。任何科研成果的本质价值都要根据其思想性、创新性、前沿性、实效性及发展潜力进行判断，科研创新成果评价既不能简单地用数量和表格数据等外显评价指标进行判识，也不能只参考科研成果当前的知识价值。科研评价的首要任务与基本规则就是考察科研成果的创新程度和潜力价值。
(2)在“双一流”大学科研评价过程中贯彻始终的评价宗旨同与时俱进的科研评价管理制度关系的思考。“双一流”大学评价体系构建的宗旨是为了激发科研工作者的创新动力，营造一个鼓励自由探索、支持原始创新、允许失败的良好科研氛围。科研评价既不能遵循行政原则，也不能过份侧重于科研管理规范。科研评价管理制度应不断地进行动态调整和实时更新，以适应创新规律、学科发展、大学战略定位和学术生态环境建设。
(3)在“双一流”大学科研评价体系构建过程中国家战略需求、学术自主思想、科研工作者专业发展三者关系的思考。“双一流”大学应以兴学强国为己任，为科教兴国作出贡献。在科研评价体系构建过程中，应进行多层次、多角度设计，既鼓励未来科研工作主动聚焦于国家重大战略需求，也为前沿学术研究提供广阔的空间；既鼓励大学重视培养具有家国情怀和全球视野的创新人才，也使科教结合的思想与内容真正落实到教师自身发展和学生培养过程中。
(4)“双一流”大学科研评价结果与拨款相关性的思考。很多国家科研评价结果为科技资源合理分配提供了参考依据，如英国、澳大利亚、韩国，科研评价结果等级越高，得到的科研经费就越多，不参与科研评价的大学将得到很少甚至得不到资金拨款。目前，我国应将“双一流”大学建设科研评价指标与科研拨款挂钩，其相关度取决于大学及其学科发展现状和未来趋势。这样既可以实现科研资源最优化配置，又可提高大学竞争意识。
参考文献:
[1] 万坤，李晨英，韩明杰，等. 瑞典FOKUS科研质量评价框架特征分析及启示[J].科技管理研究，2016(19)：70-80.
[2] 刘兰剑，应海涛. 基于立法的日本科研评价体系研究[J].科研管理，2017，38(4)：145-153.
[3] 丁建洋. 学术权力的凝视:日本大学治理结构的历史演进与运行逻辑——日本大学高层次科学创新能力形成的一个视角[J].清华大学教育研究，2016(1)：40-47.
[4] 甄子健. 日本科技创新政策评价的方法和实例[J].全球科技经济瞭望，2015(2)：41-55.
[5] 朴大林. 韩国大学评估新体系探析[J].世界教育信息，2013(6)：26-31.
[6] 杜德斌，张仁开，李鹏飞. 英国大学REF评估制度及启示[J].中国高校科技，2015(3)：36-39.
[7] 张勇，张灵阁，韩明杰. 澳大利亚科研评价体系的演变、特点和启示[J].中国科技论坛，2015(12)：147-153.
[8] 伍莺莺，张昭. 英国科研评价体系探析及其启示[J].科技进步与对策，2016，33(12)：138-141.
[9] 黄小平，陈洋子. “双一流”大学科技创新能力评价：国际经验及启示——基于对英、法、美、澳科研评价体系的考察[J].江苏高教，2017(1)：93-98.
[10] 杨瑞仙，梁艳萍. 国内外高校科研评价方法比较研究[J].情报杂志，2015(9)：108-110.
[11] 刘威，张娟，师瑞峰. 高校科技评价体系框架模型研究[J].黑龙江高教研究，2015(1)：91-93.
[12] 张灵阁，韩明杰，赵勇，等. 英澳新三国高等学校科研评价体系的比较及启示[J]. 中国科技论坛，2017(1)：179-185.
[13] 周光礼. “双一流”建设的三重突破：体制、管理与技术[J].大学教育科学，2016(4)：4-14.
[14] 曹昱晨. “一流学科”的评价体系初探[J]. 中国高校科技，2016(7)：41-42.
[15] 冯用军，赵雪. 中国“双一流”战略：概念框架、分类特征和评估标准[J].现代教育管理，2018(1)：12-18.
[16] 独立行政法人日本学術振興会科学研究費委員会.科学研究費助成事業における審査及び評価に関する規程(抄)[EB/OL].[2018-04-06]. http://www.jsps.go.jp/j-grantsinaid/25_tokusui/data/h27/h27_shinsakitei.pdf.
[17] UK Higher Education Funding Bodys. Consultation on the second research excellence framework-summary of responses [EB/OL]. [2018-04-06]. http://www.ref.ac.uk/media/ref,2021/downloads/REF_2017_02.pdf.
[18] Higher Education Funding Council for England. Consultation on the second research excellence framework REF managers report：executive summary [EB/OL]. [2018-04-06].http://www.hefce.ac.uk/media/HEFCE,2014/Content/Pubs/2016/201636/HEFCE2016_36.pdf.
[19] REBECCA SMITH. From RAE to REF[J].The Biochemical Society，2008，4：38-39.
[20] RICHARD CATLOW. The research excellence framework 2014[J].Chemistry World，2011(8)：9-12.
[21] Austrlian Research Council.2015-2016 State of Australian university research[EB/OL]. [2018-04-06].http://www.arc.gov.au/sites/default/files/filedepot/Public/ERA/ERA%202015/ERA_2015_National_Report/ERA2015_Introduction.pdf.
[22] Austrlian Research Council.State of Australian university research 2015-16: volume 1 ERA national-report section4 [EB/OL]. [2018-04-06] http://www.arc.gov.au/sites/default/files/filedepot/Public/ERA/ERA%202015/ERA_2015_National_Report/ERA2015_Section4.pdf.
[23] 王晓杰，金佳律，付瑞萱. 韩国高校学术评价制度体系的借鉴与反思[J].吉林师范大学学报：人文社会科学版，2014(4)：111-116.
[24] MARTIN B. ERA: adverse consequences [J]. Australian Universities' Review，2011，53(2)：99-102.
[25] Austrlian Research Council. ERA 2015 evaluation handbook [EB/OL]. [2018-04-06].http://www.arc.gov.au/sites/default/files/filedepot/Public/ERA/ERA%202015/ERA2015_Evaluation_Handbook_finalupload.pdf.
[26] EIJI WATANABE. Impact of university evaluation on education and research [EB/OL]. [2018-04-06]. http://www.zam.go.jp/n00/pdf/nk001006.pdf.
Wu Yang
(School of Humanities and Social Science, Beijing Institute of Technology, Beijing 100081,China)
Abstract：The evaluation on research innovation is a beacon to the research innovation in university. It not only can improve the innovation ability and motivation of university research, but also can provide the administrative department timely information. At present, the research innovation evaluation system of university in China needs to be perfected. In order to do so, we should selective learn from the advanced experience of foreign university research evaluation. This article will analyze the characteristic of UK, Australia, Japan and South Korea. What's more, we will compare the research evaluation system on the university from scientific research evaluation process and evaluation method, evaluation index system and index characteristics, evaluation results grade and allocation relationship, etc. At last, this article will put forward policies and measures about university research innovation from evaluation goal-oriented, evaluation index, evaluation expert, evaluation method and so on.
KeyWords:"Double Top" University; University Research Evaluation; Research Evaluation System; International Comparison
作者简介：吴杨(1979-)，女，黑龙江哈尔滨人，博士，北京理工大学人文与社会科学学院副教授，研究方向为科研评估、知识创新。
基金项目：国家自然科学基金面上项目(71774016)
收稿日期：2018-04-26
文章编号：1001-7348(2018)15-0126-06
文献标识码：A
中图分类号：G644
DOI：10.6049/kjjbydc.2018010584
(责任编辑：张 悦)