图1 2014年各学科CSSCI论文数量
摘 要：如何全面、客观、科学合理地评价各高校及高校内部各机构、各学科和各科研人员的科研业绩，是每个高校都必须尽力解决好的一个非常重要而又较为困难的问题。目前，大部分高校科研评价中都或多或少地存在偏差，其部分根源在于3种陷阱，即对学科间存在的学科差异了解不够，对各种科研成果的宏观总量了解不够，对各类科研活动及成果的真实发展速度了解不够。对此，提出了基于同类相比原则的数量与占比相结合的高校科研评价方法，强调科研管理部门尽量全面掌握各学科性质差异、各类数据库的收录范围和年度收录总量变化情况，以及各类科研成果产出总量的发展态势。该方法的实施有利于更科学、公正、合理地做好高校科研业绩评价工作。
关键词：科研评价方法；科研业绩考核；科研量化评价；文献计量
科研是高校的重要职能之一，在研究型大学中其重要程度尤甚。随着我国高教事业的快速发展和国家在科研投入方面的加强，我国高校在科研方面已取得了跨越式发展。与之相适应的是，如何评价所在高校以及高校内部各下属机构、各学科和各科研人员的科研业绩，以获得本校科研现状与趋势、优势与劣势、目标与差距等方面真实且公正的评价结论，以便为学校科学制定下一步发展规划，调整科研资源配置方案，进一步完善教师业绩考核制度、职称晋升制度、科研奖励制度以及人才引进政策等，提供更全面、客观、翔实和可靠的参考依据,已成为各高校必须尽力解决好的一个重要问题。
然而，科研活动的复杂性，加之高校内外部各种宏观和微观因素的影响，决定了从实践层面做好高校科研评价工作事实上并不容易。为此, 教育部于2013年11月发布了《关于深化高等学校科技评价改革的意见》，明确提出：针对科技活动人员、创新团队、平台基地、科研项目等不同对象，按照基础研究、应用研究、技术转移、成果转化等不同工作的特点，实行各有侧重的分类评价[1]。另外，就如何做好高校内部的科研评价工作，也有不少研究从不同角度提出了一些完善的方法。比如，艾春艳等[2]采用文献计量方法对北京大学的科研竞争力进行了评价，从多个角度分析了机构整体、机构内各学科、各院系及研究人员的科研实力与影响力，为学校的科研发展提供了决策依据。赵飞等(2016)觉察到目前大部分高校科研评价基本上是从学校整体和学科角度进行，看似完整的学校—学科—人员评价体系中，实际还存在着一些不可忽视的盲点，比如，院系的设置事实上很难做到与学科一一对应，而现实中高校主要是按照院系进行规划与管理的，为此他们提出了一种院系与学科角度相结合的高校科研评价方法。刘威等[3]提出，在高校科研评价中应该分别建立个人和研究机构两类科研评价体系框架模型,并对如何确定权重因子进行了阐述。朱军文和刘念才[4]提出，高校科研评价应该加强定量方法与质量导向的兼容性,实行以定量评价指标为参考的代表作同行评价制度，适当缩小定量评价使用范围，实施定量指标质量标准对数量标准的单向替代，同时还要加强个性化数据平台建设,提高定量评价指标基础数据质量。李峰(2015)则提出，在开展学科竞争力评价时，要以大数据思维为指导，认为只有尽可能地综合运用多种数据来源、多样化的指标体系、多种方法手段，进行系统的资料收集、数据分析、趋势预测和可视化展示，完成系统全面结构化的学科竞争力评价报告，才能真正为学科服务。此外，董政娥和陈惠兰[5]在微观层面探讨了如何基于ESI和InCites数据库支持高校进行科研评价的服务模式问题。还有学者在对美、英、澳等国高校科研制度进行梳理的基础上,为我国高校科研评价提出了若干建议[6]。上述研究丰富了高校科研评价方法体系。
然而，就总体而言，在目前的高校科研评价中，特别是在高校内部科研评价实践中，有些盲点尚未被系统和深刻地揭示出来，或仍未得到大多数高校的足够重视并加以解决。比如，目前存在的一个普遍问题是，在对科研进行“简单化的数量评价”过程中，只看谁的论文数量多，谁的多就认为谁的科研好；只看其年发明专利数量是否多于上一年，超过了就认为该年的发明专利工作又取得了进步等。这些结论从表面看似乎都是正确的，但事实上却可能是偏颇，甚至错误的。这里暂且撇开质量方面可能存在的不同因素，单纯从数值来看，也存在发生错误的可能。因为这些评价很多时候没有以适当口径的类别划分为基础，违背了“同类相比”原则。这些评价往往忽视了背后实际存在的一些陷阱，比如各学科之间的学科差异问题、国际论文和国内论文的差异问题、发展速度快学科和发展速度慢学科的差异问题、本校发展速度和全国高校整体发展速度差异问题等。显然，这样得出的结论往往是肤浅，然后甚至可能是错误的，这些结论又可能进一步导致相关政策制定方面发生更大偏差，最后导致教师与教师之间、教师与学科之间、教师与学校之间、学科与学科之间、学科与学校之间、教师和管理者之间矛盾丛生，教师工作积极性下降，从而影响学校发展。因此，如何在多学科、多院系和多种科研成果并存，各学科、各类科研活动发展速度有快有慢的情况下，超越上述陷阱可能带来的偏差，既追求管理上的高效便利，又尽可能科学、公正、合理地作好高校内部科研评价，仍是一个值得重视和进一步探讨解决的重要问题。
不同学科、院系、个人之间的科研情况，以及不同科研活动与科研成果之间，客观上均存在差异，因而无论是学科、院系、个人等各层次的评价，还是论文、课题、专利等不同类型的科研活动和科研成果评价，都应该尽量避免直接、简单的比较。但在实践过程中，在大多数情况下又恰恰无法回避这个矛盾。目前，我国高校的资源分配首先是以高校整体为基本单位，而一个高校的科研整体内部大都由几个或几十个学科(院系)的论文、课题、专利等多种科研活动和科研成果组成，无论是人事考核、科研考核、职称晋升、人才引进、奖励评审等方面的制度或规定，都首先是在学校层面制定的，因而不可避免地造成了不同学科和多种科研成果间的比较，而且为了提高管理效率又大多采用简化方式进行，由此很容易带来科研量化评价实践中的一些问题，甚至产生重大偏差。
(1)对学科间差异了解不够、尊重不够。学校的科研工作是由各学科、各院系的科研工作构成的，但在学校作为一个整体和学校科研管理部门作为总的管理机构的情况下，加之管理人员素质方面可能存在的不足等因素，科研评价工作往往会产生“简单化、一刀切”等弊端，有的甚至会被美化为“公平”和“一碗水端平”。其实，不仅在自然科学与人文社会科学之间，而且在自然科学和人文社会科学各自内部之间均存在着区别，这些区别有时还非常明显。但在实际的科研评价中，这些问题往往被无意或是有意忽略和掩盖，被“一刀切”地强制执行，由此导致一部分学科的教师因感到科研评价制度的简单、粗暴、不合理而产生抵触甚至更激烈的抗争。比如，假设有一个综合型高校，在2014年发表的CSSCI论文中，语言学有36篇，中国文学有46篇，经济学有86篇，这3个学科的教师数也大致相等。按照现在大多数高校的科研评价方法，一般会认为经济学的科研业绩最好，而语言学的科研业绩最差，相应地，在给予的科研奖励或是科研资源投入中，自然也是经济学最多而语言学最少。显然，这样的评价结果是值得商榷的，其原因就是对各学科之间的学科差异重视不够、尊重不够。事实上，就该校3个学科在全国同行中的影响来看，如果只从发表论文数量的角度统计，该校语言学论文占了当年全国CSSCI语言学论文总量的1.5%，中国文学占了当年全国CSSCI中国文学论文总量的1%，而经济学只占当年全国CSSCI经济学论文总量的0.5%，其评价结论和管理部门作出的结论恰恰是相反的。类似这种情况，在自然科学与人文社会科学之间以及自然科学内部各学科之间进行比较时同样存在。比如，仍然假设在2014年，一个计算机学科的教师发表了2篇SCI论文，一个化学学科的教师发表了3篇SCI论文，按目前大多数高校的科研评价方法，一般会简单认为化学学科的老师更优秀。但进一步考察当年我国作者发表的SCI论文数量结构可以发现，属于化学学科(Chemistry)的有24 000多篇，而属于计算机学科(Computer Science)的只有4 200篇，这样就很难再轻易支持上述结论。
(2)对各种科研成果的宏观总量了解不够、重视不够。在各校科研评价、科研奖励等文件中，SCI论文、SSCI论文、A&HCI论文、EI论文、CSSCI论文、CSCD论文等是最常见的一些分类标签，但不少高校的科研管理部门，事实上对这些数据库的学科收录范围和论文收录总量、我国学者近年来在国际期刊上发表的论文总量等均缺乏清晰了解，而仅凭一些模糊的印象，或只是照搬其它高校的做法，由此这些高校出台的科研政策便很容易产生偏颇。比如，有的高校将SCI、SSCI、A&HCI等论文归在一起，不加区分，给予完全相同的分数和奖励；有的高校则按期刊影响因子大小分为几个层次，给予不同的分数和奖励；也有高校直接规定发表一篇SCI论文奖励多少，发表一篇SSCI或A&HCI论文奖励多少等。这些考核政策和奖励政策在最终出台前，事实上均经过了校内多种力量和多种因素的较量，虽然很难准确判断各高校最终形成这样或那样规定的清晰理由，但仍然可以大致肯定的是，之所以会出现这么多带有“自以为是、自作自化”的政策偏向，一个普遍性原因在于，很多高校的管理部门虽然将本校论文是否被这些数据库收录作为评价的重要依据，但事实上又对这些数据库的主要收录范围和收录总量等特征了解不多或一知半解，对我国学者近年来在国际期刊上发表的论文总量究竟是多少等了解不多，更不用说细化到各学科了。不难想象，在这样的情况下，要科学合理地做好科研评价工作显然也是困难的。比如，笔者曾看到过一个高校的科研奖励文件中规定：发表一篇SCI论文奖励1万元，发表1篇SSCI论文或A&HCI论文奖励0.3万元。那么，这样的政策是否合理呢？虽然各校有各校的追求和爱好，各校有各校的实际情况和特殊考虑，但仍不妨参考一下2014年我国学者的整体国际发文情况作为判断标准：我国学者在该年发表的SCI、SSCI、A&HCI论文数量分别为26.34万篇、1.09万篇和1 097篇。
(3)对各类科研活动及成果的真实发展速度了解不够、重视不够。如前所述，高校为了追求科研管理方面的便利和高效，一般会以SCI论文、SSCI论文、A&HCI论文、EI论文、CSSCI论文、CSCD论文、国家级课题、省部级课题、发明专利、国家级科技获奖、省部级科技获奖等作为分类标签，并对每种科研成果进行赋值和考核奖励，这本身并没有错。但在现实中由于某些高校对各类科研活动及成果的真实发展速度了解不够、重视不够，经常出现政策朝令夕改的现象。比如，某高校的科研考核和奖励文件出台后才一两年，就发现计算出来的SCI论文、EI论文科研奖励金额已远远超过了原来的财务预算而不得不作出紧急修改。因为原来的预算都是只按大致估计的增长比例，比如按10%～20%来估计，但实际结果却出现了80%以上甚至翻一番的增速。科研成果快速增长对高校而言固然是好事，但这个问题的背后还是暴露出了部分高校管理部门对当前我国各类科研活动及成果的真实发展速度、对各类科研数据库每年收录总量的稳定性和波动性等了解不够和重视不够的问题。事实上，就上述几类科研成果近几年来的国内宏观总量而言，CSSCI论文、CSCD论文、国家级课题、省部级课题、国家级科技获奖、省部级科技获奖等的总量是相对稳定的，而SCI论文、EI论文、发明专利等则是以比较大幅度快速增长。也正因如此，使得高校在评价自己的某些科研表现时不容易得出正确结论。比如，在各校的年度科研总结中，经常有类似表述：“2014年学校在科研方面有了较大进步，一年来共获得发明专利授权20项,比上一年增加了3项；共发表SCI论文60篇，比上一年增加了10篇”。从表面上看，这样的评价结论没有错，但是从更大范围，比如与全国高校的整体发展速度比较来看，这种静态和封闭的评价，就可能是一种有偏见的评价，即不能评价出高校的真实发展水平。就高校整体而言，近年来，我国高校的发明专利授权数量和SCI论文发表数量都取得了快速增大，有些高校的科研成果数量尽管不断增加，但实际上科研实力排名可能在退后。因为高校虽然纵向比较有进步，但其它高校的进步速度却远远超过它。比如，笔者对近年来全国高校的发明专利数据进行统计发现，某高校2014年获得的授权发明专利为103项，在全国高校中排名第95名，2015年时该校获得的授权发明专利增加到了126项，增幅非常明显，但在全国高校中的排名却已退后到了第104名。
综上所述，高校在进行科研评价时，为了追求管理效率，离不开使用数量评价的方法，但在应用时，要充分注意“同类才能相比”的原则，否则难以得到真正客观的评价结论。即对不同学科、不同年份的数据进行评价时要慎之又慎，要仔细判断能否直接比较。对于不能直接比较的数据，一种比较可行的方法是先进行转换，即同时计算出各类成果在各自领域的占比等“商数”，采用数量与占比相结合的科研评价方法来比较，以便得出更科学、全面和合理的评价结论。当然，这就要求高校管理部门更多地掌握一些宏观背景数据，以便超越上述陷阱可能带来的各种偏差，用联系的视角、结构的视角、动态的视角综合分析问题。
(1)要尽量全面掌握各学科的性质差异。由于学科评价在科研评价中最为常见，为了在科研评价工作中尽可能做到科学、公正和合理，在事前尽量多收集和掌握各学科间的差异特征是必要的。比如，从宏观角度而言，1962年美国科学学家普赖斯提出了“小科学”和“大科学”的概念，认为这两者在科技人口、科研投入、学科复杂程度、科研产出等方面都存在着数量级的差别[7]。而从微观角度而言，自然科学内部各学科、人文社会科学内部各学科之间的异同等，也需要尽量多地深入了解。比如，笔者曾依据2008年CSSCI论文数据，从论文总数、作者总数、期刊数、篇均作者人数、合著比例、关键词总数、关键词分布集散度、交叉学科论文比例、论文参考文献中的中外文比例等多个方面进行了定量统计，发现即使同属于人文社会科学，内部各学科在学科性质、学科规模、学科研究合作生产方式、学科知识积累方式、学科与现实生活的距离等方面仍存在着明显差异[8]。这些“基本数据”实际上可以为各高校人文科学评价和各种管理制度设计提供参考。
(2)要尽量全面掌握各类数据库的收录范围和年度收录总量变化情况。在各校科研评价、科研奖励等文件中，一般会以SCI论文、SSCI论文、A&HCI论文、EI论文、CSSCI论文、CSCD论文等作为分类标准，因而全面掌握各类数据库的收录范围和年度收录总量变化情况很有必要，以便对各学科论文发表的难易程度等有大致判断。以2014年为例，从宏观上讲，至少应大致知道，该年CSSCI库收录的论文总量为9.2万篇， CSCD库收录的论文总量为27.9万篇，web of knowledge数据库中收录的我国作者发表的SCI论文总量约为26.3万篇，SSCI论文约1.1万篇， A&HCI论文约1 100篇。而从微观上讲，最好能深入到各数据库内部，了解不同学科间的大致差异。比如，仍以2014年CSSCI收录的论文数量为例，由图1可知，经济学、管理学、教育学等学科的论文总量排在最前面，其论文总量分别为18 339篇、8 933篇、7 746篇，统计学、环境科学、考古学等排在最后几位，其论文总量分别为245篇、603篇、689篇。通过图2可进一步掌握CSCD库中各学科(研究方向)的论文数量分布，比如排前几位的分别为普通医学及内科学(General & Internal Medicine)、工程(Engineering)、农业(Agriculture)，论文量分别为5.64万篇、3.98万篇、1.84万篇。显然，这些背景数据的掌握更有利于在制定政策时做到心中有数。
(3)要尽量全面掌握各类科研成果产出总量发展态势。各学科发展速度、各类科研成果产出总量发展速度问题，涉及很多因素，如学科自身原因、时代机遇、数据库收录规则、国家政策变化、国家间实力变迁等。就近年来的情况看，CSSCI论文、CSCD论文、国家自然科学基金课题、国家社会科学基金课题等总量相对稳定，无论是增幅还是降幅都在15%以内，但SCI论文、发明专利等增幅较大(见图3)，比如2015年的授权发明专利数量比2014年增加了45%。因此，应注意区别对待。
高校科研评价是一项很复杂的工作，既涉及到作为每一种评价工作所共同要求的评价主体、评价对象、评价程序、评价方法、评价监管等方面的合理设计，又涉及到“科研”作为评价对象所具有的一些特殊性，包括科研成果数量评价、质量评价、人力资源和资金等投入评价、科研活动合作情况评价等方面的综合平衡。本文重点在于，探讨高校内部科研业绩量化评价时易出现的一些问题，为此梳理出了容易导致这些问题的3类常见陷阱，即对学科间差异了解不够，对各种科研成果的宏观总量了解不够，对各类科研活动及成果的真实发展速度了解不够。在此基础上，笔者提出，在实施高校内部科研量化评价工作时必须充分注意以适当的类别划分为基础，遵循“同类才能相比”的原则。同时，进一步探讨了可用于改进和完善的具体方法和途径，即尽量全面地掌握各学科的性质差异，尽量全面掌握各类数据库的收录范围和年度收录总量的变化情况，尽量全面掌握各类科研成果产出总量的发展态势。根据上述相关问题分析，笔者认为，在目前的高校科研评价实践中，以下两点值得进一步重视：
图1 2014年各学科CSSCI论文数量
数据来源：笔者根据数据库网站统计得到
图2 2014年各主要研究方向CSCD论文数量
数据来源：笔者根据数据库网站统计得到
图3 2011-2015年全国各类科研成果数量
(1)要进一步加强宏观意识、整体意识。重视对学科间大与小、强与弱、快与慢等差异情况的掌握，重视对各种数据和数据库背景性知识的掌握，重视对各种科研活动及科研成果发展速度和趋势的宏观分析, 以便较全面了解每个数据背后的内外部环境。这样就可以在进行科研评价时，既有微观数据作比较，又有宏观数据作参考；既了解自己高校的发展情况，又了解其它高校的发展情况，从而得出更科学、全面、客观、公正的评价结论。
(2)要进一步重视相对指标的应用。绝对指标反映的是-定时间、-定条件下的绝对数值，但它只适用于完全同类的对比。而相对指标，如占比数据，不仅有助于更清楚地认识现象之间的相互关系，理解数据所代表的真实意义，也能在原来不能直接对比的两个绝对值之间找到可以对比的基础，例如不同学科、不同时间的两个指标进行对比分析。从而使得在开展科研评价时，一方面可以获得更多前瞻性或预测性信息，以及更丰富、深入、细致的数据对比；另一方面有利于更科学、全面、公正和合理地做好高校科研评价工作，进一步推动高等教育事业的发展。
参考文献：
[1] 教育部关于深化高等学校科技评价改革的意见[EB/OL].http://www.moe.edu.cn/publicfiles/business/htmlfiles/moe/moe_784/201312/160920.html.
[2] 艾春艳，赵飞，游越，等．基于机构决策的科研竞争力评估方法初探[J]．大学图书馆学报,2013(5):84-86,67.
[3] 刘威,张娟,师瑞峰.高校科研评价体系框架模型研究[J].黑龙江高教研究,2015(1):91-94.
[4] 朱军文,刘念才.高校科研评价定量方法与质量导向的偏离及治理[J].教育研究, 2014(8):52-59.
[5] 董政娥,陈惠兰.图书馆基于ESI和InCites数据库支持高校学科科研评价的服务模式探讨[J].图书馆杂志,2014(11):23-28.
[6] 胡锦绣.高校科研评价制度的国际比较研究[J].科研管理,2015(S1):324-328.
[7] 牛杰，张汉静.论科学建制的强势与弱势——从小科学建制、大科学建制谈起[J].自然辩证法研究,2016(3):33-39.
[8] 汤建民.中国人文社会科学各学科研究论文特征的计量分析[J].科学学研究,2011(7): 991-998.
(责任编辑：云昭洁)
The Common Traps and the Surpassing Strategy of Research Performance Quantitative Evaluation in Universities
Abstract：How to assess research performance of each university, and their internal institutions, disciplines and researchers in an overall, objective and reasonable way, is the most important and difficult problem that each university needs to solve.Currently, most universities have different degrees of bias in scientific research evaluation, which partial originates from three different traps: the difference of disciplines is not enough understood; the amount of scientific research results is not enough understood; the developing speed of various scientific research activities and results is not enough understood.According to these situations, this essay adopts a research assessment method on the basis of similar comparison principle, which combines quantity and proportion, emphasizes that scientific research management department should comprehensively grasp property differences of all disciplines, collection scope of all kinds of database, changes of total amount and developing trend of scientific research output.And this method can assess research development situation of universities more scientifically, more fairly and more reasonably.
Key Words：Research Assessment Methods; Research Performance Evaluation; Research Quantitative Evaluation; Literature Metrology
收稿日期：2016-01-05
基金项目：中国科协创新战略研究院项目(2016ysxh1-3-9)
DOI：10.6049/kjjbydc.2016110086
中图分类号：G644
文献标识码：：A
文章编号：：1001-7348(2017)15-0101-06