项目申请者“头衔”更有利于科研绩效提升吗
——一个面向国家社科基金教育学项目产出的倒序评估

李文平,刘 莹

(郑州大学 教育学院,河南 郑州450001)

摘 要:如何预判项目申请者的科研绩效是科研资助中的焦点问题。不同于传统做法,以已结题的国家社科基金教育学项目产出为既定绩效,利用倾向得分匹配方法,倒序评估项目申请者既有“头衔”对产出绩效的因果效应,结果发现:项目申请者“头衔”显著提升了科研绩效,较行政职务头衔,学术荣誉头衔带来的科研绩效提升更显著。但并非所有类型头衔都显著作用于科研绩效,确切地讲,教育部新世纪人才、国务院特殊津贴专家、校长、院长、研究所所长及副所长等头衔更有利于科研绩效提升。对此,基金主管部门可通过适当增加对有“头衔”者的资助,构建以成果为导向的资助方式,倡导以结项为依据的评价体系,开放以质量为核心的结题通道等途径改善科研项目绩效。

关键词:科研项目;科研产出;倒序绩效评价;倾向得分匹配

What is the Impact of the Applicant's “Title” on the Output Performance of Research Projects
—— A Back-Chaining Evaluation Based on the Data of National Education Science Planning Fund

Li Wenping,Liu Ying

(School of Education, Zhengzhou University,Zhengzhou 450001,China)

AbstractHow to predict the performance of an applicants is the focus of research funding.Different from the traditional way, this study use PSM method to test the causal effect of the applicant's “title” on its performance based on the data of National education science planning fund.We find that the “title” of the applicant significantly improves the performance; the performance improvement brought by the “academic honor title” is significantly higher; However, not all types of titles have significantly improved performance, Specifically, the title of “New Century Excellent Talents Supporting Plan”, “Government special allowance expert of the State Council”, headmasters, deans, director and deputy director of a research institute are more conducive to the improvement of performance.According to these findings, fund authorities can improve the performance by increasing the funding for those with “titles”, building results-oriented funding, advocating evaluation systems based on results, and opening up quality-centered completion channels.

Key Words:Research Project; Research Output; Back-Chaining Performance Evaluation; Propensity Score Matching

收稿日期:2019-11-04

基金项目:河南省哲学社会科学规划项目(2019CJY036);河南省教育厅人文社会科学研究项目(2020-ZZJH-448)

作者简介:李文平(1988—),河南遂平人,博士,郑州大学教育学院讲师,研究方向为大学生学习与发展、高等教育管理;刘莹(1988—),河南新乡人,博士,郑州大学教育学院讲师、硕士生导师,研究方向为高等教育理论和大学生就业创业。本文通讯作者:刘莹。

DOI10.6049/kjjbydc.2019110077

开放科学(资源服务)标识码(OSID):

中图分类号:G31

文献标识码:A

文章编号:1001-7348(2020)21-0018-09

0 引言

实现更优绩效是我国科研经费管理体制改革的初衷。近年来,我国科研经费管理体制改革持续推进,从扩大预算调节权,到简化申报材料,再到科研经费“包干制”试点改革,其出发点和落脚点就是要激发科研人员活力,提升科研绩效[1]。遗憾的是,无论是专家学者基于个人经验判断[2],还是一系列针对国家自然科学基金、国家社会科学基金、全国教育科学规划基金使用效率的实证评估研究,其结果都指向我国科研经费利用水平低[3],科研项目学术成果经济成本较大[4],科研项目效率不高[5]。那么,谁是高绩效者?由谁承担科研项目能产生更高的绩效?科研项目主管机构及其委托评审专家在面对项目申请书时很难科学、准确地给出判断,因为现行基金评审制度是一种基于申请文本的正序评估,即基于现在预判未来,而未来具有不确定性[6]。进而,如何找到高绩效者成为课题评审中遇到的难题。从理论上讲,头衔是人力资本积累的结果,是学术能力的体现,可反映申请者既往研究基础、现有学术团队和研究资源,拥有“头衔”将更有利于申请者的绩效表现。根据现实结果看,基金管理部门与评审专家也确实偏好于信任有“头衔”者,更多地将基金委托给后者[7-8]。但是,有“头衔”的申请者真的是高绩效者吗?对此,已有研究检验明显不足,已有科研项目主持人遴选与科研绩效研究主要集中于对项目绩效低下的原因[9]、项目申报公平问题[10]、项目立项决定性因素[11-13]以及如何诊断并提升评审程序科学性[14]的探讨。相关实证研究则是从更普遍的话语范畴,探讨年龄[15]、性别[16]、职称[17]、学科及单位[18]等因素与科研产出的关系,而上述研究多存在因果关系倒置、样本自选择偏误等问题。为了解决上述问题,本文决定采用倒序评估思路,以已结题项目即已产出成果为绩效标准,以立项当年项目申请者的背景特征为解释因素,采用倾向得分匹配法(PSM)控制样本自选择偏误,推断“头衔”与绩效表现的因果关系,以期为基金主管部门更科学地寻找合适的“受托人”提供资料积累。

1 研究设计

1.1 研究对象选取

由于我国基金项目种类繁多、支持领域广泛且不同学科、领域之间在成果界定、成果发表难度、“头衔”获得难度等方面差异颇大,在一项研究中很难将不同类别基金纳入相同的话语体系,而且多样化项目来源所涉及的资料较为繁复,研究过程中将会面临资料过多与资料匮乏并存的局面。从可操作性角度,本研究只选取国家社会科学基金单列学科之一的全国教育科学规划基金。目前来看,该基金的网络信息公开化程度较高,课题鉴定、课题成果可检索度较高,具备较好的倒序评估条件。具体而言,本文选择近两年结题(立项时间多为2013年以后)的国家一般项目开展研究。据统计,2018年共有169项课题申请结项(重大0项、重点14项、一般86项、青年69项),2019年共有175项课题申请结项(重大2项、重点9项、一般88项、青年76项),近两年申请结项的174项国家一般项目中,不合格1项、终止13项、合格103项、良好41项、优秀1项、免鉴定15项。具体而言,近两年结项认定结果为“合格”及以上的160项国家一般项目负责人构成了本文研究对象,选择原因在于:第一,较重大项目、重点项目,一般项目所占比例更大,其对申请者的年龄、职称、学衔等无过多特殊要求,选择此类项目能保证研究样本具有代表性的同时,使其具有内部一致性,满足后期匹配需求;重点项目、重大项目会因较小的样本量,对申请者的职称等特殊要求起凸显某些典型特征的作用,造成估计偏误。此外,由于青年项目承担者年龄因素,使得在样本匹配时出现职称、导师资格、头衔等方面的断层,故本研究未选择此类项目。第二,作为单列学科教育学基金在经历2013年的整顿后,评审过程的规范性、公正性、公开性提升,保证了立项匿名评审阶段的随机性,使得进入样本框的研究样本是随机分布的,保证了研究结论的科学性。

1.2 技术路线

图1展示了本研究技术路线。第一,在全国教育科学规划领导小组办公室网站检获2018年和2019年结项结果为“合格”及以上的国家社会基金教育类一般项目,然后通过项目信息进一步统计项目负责人所承担项目的论文产出,包括高水平产出和总产出。第二,依据项目信息查找项目负责人的“头衔”、性别、年龄、学科等个人信息并将其初步分为“有头衔”组和“无头衔”组。第三,根据项目负责人的个人信息变量,以“头衔”为干预手段,以科研成果为结果变量完成倾向得分匹配,进而形成可供比较的“干预组”和“控制组”。第四,利用统计软件Stata13.0计算不同匹配方法下“头衔”对科研产出影响的平均处理效应(ATT)。最后,通过观测平均处理效应,判断项目申请者“头衔”是否更有利于科研绩效,得出研究结论、分析原因并提出改进建议。

图1 技术路线

1.3 变量确定

1.3.1 成果选择

教育科研项目成果形式种类多样,如专著、论文、研究报告等。本研究选取已公开发表的学术论文为评价科研绩效的载体,主要出于以下3方面考虑:一是期刊论文承载了课题研究70%以上的信息,从现实来看,诸多其它类型课题成果,如专著、研究报告等往往由论文孵化而来[19]。二是专著、研究报告等成果形式的可查阅性不佳,信息公开化程度远低于期刊论文。三是以论文作为科研成果的代表也是国际上相关研究的通行做法[20]。具体来说,本研究根据全国教育科学规划课题结题鉴定细则,将CSSCI来源期刊或SSCI等国际索引期刊收录的论文作为总成果统计标准。为了区分研究质量,按照“细则”对部分课题免于鉴定的规定,将发表于《教育研究》、《心理学报》、《求是》、《中国社会科学》以及被《新华文摘》全文转载的论文视为高水平成果,考虑到国内发表SSCI论文规模和难度,本研究亦将此类成果视为高水平成果。需要说明的是,由于同一课题名下发表的论文既有课题负责人单独署名,也有负责人第一作者、第二作者、第三作者及其他作者署名,还有负责人未署名论文,考虑到署名顺序所代表的作者实际贡献差异,本文采取折半权重方式对论文赋值:单独作者和第一作者权重为1,第二作者权重为1/2,第三作者及其它权重为1/4,无署名权重为0。

1.3.2 自变量选择

本研究的自变量为项目申请者“头衔”。头衔又称名衔,指官衔、学衔等称号[21]。其中官衔通常指行政职务称号,而学衔则与职称所象征的学术意涵相一致。所以,主要来说,在教育科研领域“头衔”可分为行政职务类和学术类两大类别。就行政职务头衔而言,根据教育科研项目主持人的常见特征,本文将其分为:校长、副校长、党委书记(校)、党委副书记(校)、院长/处长、副院长/副处长、党委书记(院)、党委副书记(院)、研究所所长/研究室主任、研究所副所长/研究室副主任,以及无头衔11个类别。就学术类头衔而言,除最基本的学衔外,我国政府为奖励学术贡献特别突出的专家还设立了长江学者、千人计划入选者、万人计划入选者、教育部新世纪优秀人才、国家百千万人才、国家级教学名师、国务院政府特殊津贴专家等一系列荣誉头衔,本文将上述7种类别以及“无头衔”视为学术荣誉头衔的观测变量。本文统计的“头衔”均是项目立项当年项目负责人的头衔,若有多个头衔只选择负责人填写级别最高的一个头衔。

1.3.3 协变量选择

受倾向得分匹配方法条件独立假设的限定,协变量选取应是满足既影响科研论文产出,又影响头衔获得的前定变量。一方面,从理论上讲,项目主持人的各种素质都可能影响科研成果产出,但根据Hartmann[22]、Bornmann & Daniel[23] 、Cole[24]、Jisun Jung[25]的研究成果,性别、年龄、学科、职称和单位性质会对科研产出产生较大影响。除上述因素外,Clark & Centra[26]认为,研究生教育经历也是影响科研产出的重要条件,而成为研究生指导老师亦会对科研产出产生积极影响,因为研究生能在科学研究中提供相当的人力支持。另一方面,王立剑等[27]认为,影响学术人员获得人才头衔的因素包括性别、年龄等个人特征和学习经历因素。本研究在选取协变量时借鉴上述研究结论,但受限于样本信息可获得性,最终选取性别(男=1,女=0)、年龄(45岁及以下=1,46-50岁=2,51-55岁=3,56-60岁=4,60岁以上=5)、学科(教育=1,心理=2,经管=3,体育及其它=4)、所在单位(985高校=1,211高校=2,一般性高校=3,高职高专=4,科研院所=5,中小学及其它=6)、职称(教授/正高=1,副教授/副高=2,讲师及其他=3)、学位(博士=1,硕士=2,学士及其它=3)、导师资格(无=0,博导=1,硕导=2)等7类变量用于倾向得分计算。需要指出的是,由于本研究统计的头衔与协变量信息均为立项当年已确定的信息,结果变量则为立项至结项之间产生的信息,前者早于后者发生。因此,在推断“头衔”影响“成果”的因果处理效应时,结果变量既不会对自变量产生反向因果影响,也不会对协变量产生反向因果影响,由此保证了因果推断的准确性。

1.4 检验方法

因传统OLS回归在因果推断中的相对劣势[28],本研究采用倾向得分匹配法实现因果效应计算。倾向得分匹配法是在反事实框架下,依据被研究个体虚拟条件概率进行替换的分析方法[29]。其基本逻辑是,设置一个反事实组(对照组),使其样本尽可能与干预组样本在可观测协变量上分布趋同。倾向得分是指被研究个体在给定可观测协变量的条件下受到某种“处理”的概率,依据此得分,研究者将与干预组个体、得分相似的对照组个体进行匹配,以完成类似随机试验设计。根据匹配后两组样本在结果变量上的平均差异,获得被研究个体在接受某种干预后的平均处理效应。

假定有干预变量Di(“头衔”)将本研究中的样本分为两组,有头衔的干预组(Di=1)和没有头衔的对照组(Di=0)。对于某一观测样本i,其潜在结果变量论文数量被定义为Yi(Di)。那么,因为拥有头衔带来的论文产出差异(干预组平均处理效应ATT)可表示为:

(1)

式(1)中,N1为有头衔组的样本数,∑i:Di=1表示仅对有头衔组个体进行加总,y1i表示有头衔组样本可观测到的论文发表数量,表示有头衔组样本假若没有头衔时的潜在论文发表数量,即为现实中无法观测到的“反事实结果”。

2 研究过程

2.1 项目产出与项目主持人基本数据构建

从性质上来说,本研究属于基于公开统计资料的非介入性实证研究。因此,如何科学有效地搜集公开资料便成为确保研究信度的首要环节。

(1)项目产出信息搜寻。CSSCI论文数据收集通过CNKI期刊检索界面完成。首先,以项目负责人姓名、全国教育科学规划项目、CSSCI来源期刊为检索词在CNKI期刊检索界面完成相应勾选和检索;然后,根据课题编号、名称以及当年CSSCI来源期刊目录对检索结果进行二次筛选,剔除不符合条件的结果;最后,将符合条件的论文按相应署名顺序及成果类型(总成果/高水平成果)录入Excel信息表单。SSCI论文数据通过Web of Science核心期刊合集获得。利用授权号和作者姓名进行精确检索,根据检获结果,完成成果与项目名称、主持人姓名精确匹配,将符合条件的论文按署名顺序录入统计表单。

(2)主持人头衔及背景信息搜寻。首先,利用160项国家一般课题的公开信息为每位主持人建立基础数据表单。其次,根据基础表单检索主持人在立项当年所发表的期刊论文,通过论文公开的收稿日期、作者简介等信息完成头衔、性别等变量登记。第三,由于论文作者简介部分包含的信息并不完全,为补充表单,笔者通过检索主持人所在单位网站的师资简介、个人CV、通知公告等板块进一步补充负责人变量信息。第四,完成上述3个步骤后,对于变量信息仍不完备的主持人,按照缺失信息类别+主持人姓名+所在单位+百度搜索限定时间节点方式查找全网,通过对检获结果逐一排查,完成背景信息表单制作。

完成上述两个步骤后,通过论文数据与头衔及背景信息匹配建立研究样本信息库。项目产出与项目主持人基本数据如表1所示。

表1 论文产出与项目主持人基本数据

主持人因素观测变量人数(百分比%)总产出(篇)高水平产出(篇)学术荣誉头衔教育部新世纪优秀人才3(1.9)4.160.83国务院政府特殊津贴专家7(4.4)4.070.85无150(93.8)2.860.37行政职位头衔校长14(8.8)1.960.28副校长11(6.9)1.790.54党委书记(校)6(3.8)1.500.33院长/处长23(14.4)3.260.39副院长/副处长26(15.6)3.860.43党委书记(院/系)3(1.9)3.000.33研究室(所/中心)主任22(13.8)3.130.68研究室(所/中心)副主任6(3.8)5.580.50无50(31.3)2.630.29性别男118(73.8)3.220.39女42(26.3)2.160.45年龄45岁及以下24(15.0)4.940.3846~50岁37(23.1)2.790.2951~55岁50(31.3)2.530.4156~60岁32(20.0)2.170.3860岁以上17(10.6)2.980.58所在学科教育98(61.3)3.470.45心理17(10.6)3.130.54经管17(10.6)2.550.35体育及其它28(17.5)1.210.19所在单位985高校24(15.0)3.330.27211高校36(22.5)3.990.41一般性高校75(46.9)2.770.46高职高专4(2.5)3.120.50科研院所7(4.4)2.211.0中小学及其它14(8.8)0.760.0职称教授/正高104(65.0)3.000.46副教授/副高53(33.1)2.940.31讲师及其它3(1.9)0.830.0学位博士125(78.1)3.430.43硕士20(12.5)1.560.35学士及其它15(9.4)0.710.30导师资格博导50(31.3)3.510.47硕导73(45.6)3.230.50无37(23.1)1.610.13

注:统计的项目主持人中,学术荣誉头衔为长江学者、千人计划入选者、万人计划入选者、国家百千万人才、国家级教学名师的样本数为0,行政头衔为党委副书记(校)、党委副书记(院)的样本数为0,故表1未展示相应类别,下文的因果效应推断也未展示相应类别

2.2 倾向得分匹配及匹配效果检验

(1)倾向得分匹配。本研究使用倾向得分匹配主要分为3步:首先,利用搜集到的性别、年龄等协变量信息在Stata软件中输入Logistic模型代码,以预测某一样本拥有头衔的概率,此概率即为倾向值。其次,基于预测的倾向值完成匹配,为获得更稳健的估计效果,本研究使用了以下4种匹配方法:寻找倾向值最邻近个体的邻近匹配、限制倾向值得分绝对距离的半径匹配、根据核函数计算匹配权重的核匹配以及使用局部线性回归以估计匹配权重的局部线性回归匹配。最后,利用匹配后样本,通过观测干预组平均处理效应(ATT)便可获得头衔与论文产出的因果效应。

(2)匹配效果检验。在估计处理效应之前,需检验PSM匹配效果,包括共同支撑检验和条件独立假设检验。共同支撑假设要求具有可观测协变量特征的样本同时有成为“有头衔”者和“无头衔”者的正向概率,即干预组和对照组样本的倾向得分要有重叠部分。由图2可知,未匹配的干预组和控制组倾向得分区间为[0.015,0.996],匹配的干预组和控制组倾向得分区间为[0.063,0.967],表明两组样本共同取值域有较大的重叠范围[0.063—0.967],能够满足共同支撑假设。条件独立假设限定的是倾向得分匹配后干预组和对照组样本在可观测协变量特征上的分布无显著差异。图2显示,与倾向值匹配前相比,匹配后的两组样本在协变量倾向值分布形态、拟合线趋势、峰度、偏度方面基本相同,说明匹配后干预组和对照组样本在可观测协变量特征值分布上无显著差异。而且软件后台记录数据显示,较匹配之前,匹配后协变量倾向值的标准化差异聚集于0附近且未超出1个标准差,说明匹配结果满足条件独立假设。

图2 匹配前后干预组与对照组样本倾向值密度分布

3 研究结果

3.1 头衔对总产出影响的处理效应

完成匹配效果检验之后,通过比较干预组和对照组的平均处理效应便可估计“头衔”给论文产出带来的影响。表2展示了4种匹配方法估计的平均处理效应。以邻近匹配方法为例,在干预组和对照组特征变量相匹配情况下,拥有学术荣誉头衔的主持人比“无头衔”主持人的论文总产出高1.4篇(平均处理效应ATT系数为1.4),说明学术荣誉头衔确为项目主持人带来了显著的总产出提升;同样,行政职务头衔也为主持人带来了显著的总产出提升。表2显示,拥有行政职务头衔给主持人论文产出带来的平均处理效应为0.707,即相较无头衔者,拥有行政职务头衔的主持人,其论文总产出会增加0.707篇。

由于不同匹配方法采用的共同取值域存在差异,其所估计出的平均处理效应也会存在较小的差异,但整体来看,使用4种匹配方法获得的处理效应估计值多为大于1的正值(8个系数中仅有1个为0.707),并且所有估计系数都通过了统计显著性检验。这意味着本研究结果具有稳健性,拥有“头衔”对主持人论文总产出具有显著正向影响。

另外,本研究就两类头衔对总产出的影响大小进行了对比分析。从ATT系数估计值看,使用邻近匹配、核匹配、局部线性回归匹配获得的估计结果均呈现以下结果:学术荣誉头衔ATT系数>行政职务头衔ATT系数,表明拥有学术荣誉头衔对总产出的影响要大于行政职务头衔对总产出的影响,且这种估计结果是稳健的。

表2 头衔对论文产出影响的平均处理效应

处理组/对照组匹配方法ATT标准误Z值P>|Z|有学术荣誉头衔/无学术荣誉头衔邻近匹配k=11.4**1.21.980.048半径匹配(0.01)1.642**1.1832.010.045核匹配(0.06)1.501**1.1722.030.043局部线性回归匹配(0.8)1.481*1.2211.940.052对总体产出影响的平均处理效应有行政职务头衔/无行政职务头衔邻近匹配k=10.707**0.5802.360.018半径匹配(0.01)1.751**0.5972.300.021核匹配(0.06)1.177**0.5562.480.013局部线性回归匹配(0.8)1.025**0.60272.280.022有学术荣誉头衔/无学术荣誉头衔邻近匹配k=10.35**0.6652.510.013半径匹配(0.01)0.561**0.6722.480.014核匹配(0.06)0.512**0.6512.570.011局部线性回归匹配(0.8)0.487**0.6642.510.013对高水平产出影响的平均处理效应有行政职务头衔/无行政职务头衔邻近匹配k=10.416**0.1592.420.015半径匹配(0.01)0.427**0.1552.480.013核匹配(0.06)0.354**0.1492.570.010局部线性回归匹配(0.8)0.237**0.1612.400.017

注:表中的标准误、Z值和显著性通过500次bootstrap抽样后获得,其中*表示p<0.1,**表示p<0.05,***表示p<0.01

3.2 头衔对高水平产出影响的处理效应

全国教育科学规划领导小组办公室一直鼓励产出高水平研究成果。总产出反映的只是“一锅端”式的总括性绩效,而且对总产出产生显著影响的“头衔”不一定会对高水平产出产生显著影响,这也是本研究力求廓清的问题之一。因此,本文亦评估了“头衔”对高水平产出影响的处理效应。同样以邻近匹配方法为例,由表2可知,学术荣誉头衔对高水平论文产出影响的ATT系数为0.35,且经过500次Bootstrap抽样估计后该系数呈现了统计显著意义,即从干预组随机抽取一名有学术荣誉头衔的负责人,其论文产出比与之相匹配的无头衔负责人显著增加了0.35篇;行政职务头衔对高水平产出影响的ATT系数为0.416,并且该系数通过了显著性水平为0.05的显著性检验,说明拥有行政荣誉头衔亦能显著提升项目负责人高水平产出。

稳健性估计结果显示,4种匹配方法下,学术荣誉头衔、行政职务头衔对高水平产出影响的平均处理效应系数均为正值,并且所有估计系数都通过了统计显著性检验,表明拥有“头衔”会对负责人高水平成果带来显著正向影响。

此外,本研究使用4种匹配方法获得ATT系数均值,比较学术荣誉头衔和行政职务头衔对高水平产出的影响,其结果再次呈现出学术荣誉头衔ATT系数均值(0.477 5)>行政职务头衔ATT系数均值(0.358 5)的特点,说明学术荣誉头衔对高水平产出的影响大于行政职务头衔对高水平产出的影响。

3.3 不同头衔对论文产出的异质性影响

既然“头衔”对总产出和高水平产出都具有显著正向影响,那么是否所有类别的头衔都能正向显著影响论文产出?为此,本研究将不同类别头衔视为不同干预方式,共分为10种干预:教育部新世纪人才、国务院特殊津贴专家、校长、副校长、校党委书记、院长/处长、副院长/副处长、院党委书记、所长/主任、副所长/副主任,上述10种干预方式均以“无头衔”组为对照组。为保证估计结果的稳健性,仍选用上文4种匹配方法完成PSM分析,详细拟合结果见表3。

以邻近匹配方法为例,在对总产出的影响上,教育部新世纪人才、国务院特殊津贴专家、院长/处长、所长/主任、副所长/副主任等头衔的ATT估计系数通过了显著性检验且为正值,说明相较于无头衔的对照组,拥有上述5类头衔的主持人,其论文总产出得到显著提升;在对高水平产出的影响上,教育部新世纪人才、国务院特殊津贴专家、校长、院长/处长、所长/主任5类头衔的ATT估计系数通过了显著性检验且为正值,说明拥有上述“头衔”对主持人产出高水平论文具有显著影响。同样进行稳健性检验,对比其它3种匹配方法的估计结果发现,研究结论依然一致。由此,本研究得出稳健性结论:教育部新世纪人才、国务院特殊津贴专家、院长/处长、研究所所长/研究室主任、研究所副所长/研究室副主任5类头衔可显著提升论文总体产出;教育部新世纪人才、国务院特殊津贴专家、校长、院长/处长、研究所所长/研究室主任5类头衔可显著提升高水平论文产出。

值得注意的是,无论是对总产出的影响还是对高水平产出的影响,学术荣誉类头衔所属亚类均产生了显著正向作用,而行政职务类头衔所辖8个类别中有5类未能产生显著影响。这在一定程度上说明,学术荣誉头衔对论文产出的贡献大于行政职务头衔,进一步验证了上文研究结论。

表3 不同头衔对论文产出影响的平均处理效应

处理方案参数对总体产出影响的平均处理效应邻近匹配半径匹配核匹配局部线性回归匹配对高水平产出影响的平均处理效应邻近匹配半径匹配核匹配局部线性回归匹配教育部新世纪人才ATT1.783*1.839*1.483*1.3290.416*0.628*0.372*0.476*标准误0.9631.0820.9020.960.9840.9640.9150.945|t|1.731.751.781.451.841.721.721.64国务院政府特殊津贴专家ATT1.178*1.625*1.7231.419*0.142*0.5**0.5690.542*标准误0.6830.9350.4520.6830.4940.5120.3670.494|t|1.701.841.191.841.921.981.551.71校长ATT0.7831.1321.1861.2390.38*0.335*0.419**0.43*标准误1.2810.9570.9851.2810.2770.1950.1990.277|t|0.611.181.200.971.891.712.101.85副校长ATT0.0220.7250.9670.5470.4540.20.4470.368标准误0.0821.1170.9490.8210.2510.4760.4140.251|t|0.030.651.020.671.610.421.081.47党委书记(校)ATT0.5000.9760.8450.9850.0830.1050.0620.053标准误0.6320.5750.6890.9830.3270.5760.3790.280|t|1.581.231.061.000.250.390.450.19院长/处长ATT1.65*3.357**2.591**1.876**0.347*0.428*0.278*0.259*标准误0.9181.6480.9660.9180.2290.2970.2340.229|t|1.812.042.682.041.821.841.891.93副院长/副处长ATT1.1411.2581.4991.4410.2310.1710.2310.241标准误1.1561.1291.0381.1560.2690.2890.2190.269|t|0.991.111.441.250.860.591.050.91党委书记(院)ATT0.6670.023-0.0810.2180.3330.0110.5840.166标准误1.7811.6501.811.780.3330.4070.4150.333|t|0.410.210.270.280.290.320.310.50研究所所长/研究室主任ATT1.034*1.421*1.078**1.078*0.352*0.761**0.446*0.446*标准误0.9211.0010.9920.9210.2520.3540.3090.252|t|1.721.821.991.871.892.151.941.76研究所副所长/研究室副主任ATT2.05*2.058**2.236*2.379*0.5000.4750.3590.337标准误1.6212.0981.5802.1950.3410.4130.3640.341|t|1.811.981.811.881.461.150.990.99

注: 1.64<|t|<1.96在10%的水平上显著*;1.96<|t|<2.576在5%的水平上显著**;|t|>2.576在1%的水平上显著***

4 结论与建议

4.1 研究结论

依据绩效评价思路,本研究将已发表论文作为科研项目已生成的绩效,以倒序评估方式,借助倾向得分匹配方法检验“头衔”对项目主持人科研绩效的影响,得出以下结论:

(1)项目申请者“头衔”显著提升了科研绩效。无论是对总产出的影响还是对高水平产出的影响,采用4种匹配方法获得学术荣誉头衔和行政职务头衔的平均处理效应估计系数(ATT)均显著为正,表明“头衔”对论文产出的影响是正向且显著的,“头衔”显著提升了科研绩效。原因可从3个方面解释:一是人力资本。就常态社会来讲,头衔是对项目主持人既往学术能力的认可,拥有头衔的主持人往往具有较强的学术能力,在很大程度上保证了更多数量、更高质量的论文产出,从而保证了更高的绩效。二是“信号效应”。拥有头衔的主持人即便不具备较强的学术能力,但其头衔也会向外界释放出强力的学术能力信号,使其更容易受到信任、获得关注,也更容易通过期刊论文遴选,从而产生高绩效。三是寻租。一般而论,拥有头衔的主持人通常具有较多的社会资本,具有论文评审等学术资源评审和配置权。在中国这样的人情社会里,拥有评审权的学者通常互相“买面子”,因为他们也需要申报课题或发表论文[21],这便为拥有头衔的主持人通过寻租获得高绩效提供了可能。

(2)相较行政职务头衔,学术荣誉头衔带来的科研绩效提升更显著。无论是基于整体判断(见表2),还是对学术荣誉和行政职务两类头衔所属具体类别的比较(见表3),在对论文产出(总产出和高水平产出)的影响上,学术荣誉头衔和行政职务头衔的平均处理效应估计系数都呈现出“学术荣誉头衔”>“行政职务头衔”的特点,表明相较行政职务头衔,学术荣誉头衔对论文产出的影响更大,上述结果与头衔稀缺程度有关。在本研究统计的160位项目主持人中,拥有学术荣誉头衔的占比仅为6.3%,拥有行政职务头衔的占比为68.7%,这种直观对比反映出学术荣誉头衔较行政职务头衔更具有稀缺性。经济学中,稀缺资源配置通常会使用“竞价”方式,所以,尽管稀缺资源并不具备更高的价值和使用价值,但会因“竞价”而产生更强的竞争性和排他性。由此看来,更稀缺的头衔通常意味着更强的竞争性和排他性,这使其获取难度更高,同时意味着其所蕴含的人力资本更强、社会资本更多,所释放的信号效应更强。按照上述解释,学术荣誉头衔对科研绩效的影响大于行政职务头衔便容易理解。

(3)虽然作为整体而论的“头衔”显著提升了科研绩效,但并非所有类别的头衔都显著作用于科研绩效。各“头衔”平均处理效应系数显示,“头衔”为教育部新世纪人才、国务院特殊津贴专家、校长、院长/处长、研究所所长/主任、研究所副所长/副主任的主持人显著提升了论文产出。然而,头衔为校党委书记、院党委书记、副校长、副院长/副处长的主持人,其论文产出并无显著提升。上述结果与不同“头衔”所蕴含的人力资本差异有关。详细分析可发现,未能显著提升科研绩效的头衔类型多为党务头衔和行政副职头衔,某种程度上讲,党务头衔及行政副职头衔对任职者的能力要求更多为岗位对应的业务能力,其对学术能力的要求不像学术荣誉头衔和行政正职头衔那样严格,这也为拥有此类头衔的主持人绩效不彰埋下了隐患。

4.2 政策建议

本研究的初衷是以倒序评估法评估“头衔”对科研项目产出的因果处理效应,从而为未来更有针对性地提升科研项目绩效提供资料依据。根据上述研究结论,提出如下4个方面的建议:

(1)适当增加对有“头衔”申请者的科研资助。在任何国家,国家级科研资助追求的绝不是纯粹的公平——让每个申请者最终都获得资助,而是人类智慧的结晶——更多高质量科研成果。因此,直接地讲,谁能更多、更高质量地产出科研成果,谁就应该获得资助。依据本研究结论,拥有“头衔”,特别是拥有教育部新世纪人才、国务院特殊津贴专家等学术荣誉头衔,拥有校长、院长/处长、研究所所长/研究室主任、副所长/副主任等行政职务头衔的申请人的确显著促进了科研产出。因此,秉承“实事求是”原则,将科研资助适当向拥有上述“头衔”的申请人倾斜,是本研究结论所蕴含的最直接的政策建议。

(2)构建以成果为导向的科研资助体系。虽然出于工具理性考虑,对有“头衔”的申请者予以资助倾斜无可厚非,但若长此以往,科研评审可能将发生异化:申请者间的竞争将从立项竞争转化为“头衔”竞争。从根本上看,科研经费管理体制改革的目的是要产出更多、更高质量的科研成果,因此,如何激励主持人自觉产出更多高质量成果才是科研资助制度设计的初衷。出于这种制度设计需求,本文认为,可建立以绩效为导向的科研资助方式。具体而言,它是一种“倒序”拨付经费的资助办法,是指在项目立项时将选题具有一定科学性、创新性和可操作性的项目均作为立项项目,在项目执行期内并不拨付经费或仅拨付少量经费,待项目完成以后再按照项目产出进行结题等级认定,若项目产出达到相应等级就将项目认定为相应等级并补充拨付或追回相应等级的经费,若无任何成果则撤销“立项”决定。这样便形成了一种立项单位、依托机构、研究人员三者共担风险的激励模式,从而更长久地激发科研人员产出。

(3)倡导建立以结项为依据的学术业绩评价体系。目前,在我国学术业绩评价体系中,无论是职称评审还是人才头衔申请,立项在研课题与已结项课题具有同等使用效力。一方面,这导致一些科研人员重视项目立项但忽视研究推进,甚至出现一些科研人员通过项目立项实现了职称晋升,但无法完成项目的现象。另一方面,尽管现有国家社科基金申报模式规避了高级人才一人承担多项国家级课题的风险,但在这种重立项、轻结项的学术评价体系下,无法避免一些学术人员对一切科研产出均以相关文件的最低规定标准为准绳,以求尽快结题,重获申请资格。为此,基金管理部门可倡导社会各界建立以项目结项而非立项作为评价主持人业绩依据的学术业绩评价体系,以正本清源。

(4)可考虑开放以质量为核心的结题认定通道。为保证评审客观性,国家一般课题结题标准被具体化为“1本专著+3篇CSSCI论文,或者获得省部级以上奖项,或者研究成果被省部级以上机关完整采纳”。上述操作方法下,科研成果质量鉴定的权力被转嫁给期刊、评奖机构和政府部门,项目结题评审在很大程度上变成了“卡条件”,基金评审机构及其依托专家在结题时的作用远不如立项时那么突出。从质量保障角度看,虽然期刊、评奖机构、政府部门的接受和认可一定程度上反映了研究成果质量,但在学术研究领域,人们既无法将爱因斯坦关于相对论的一篇论文与约翰·多依关于某森林中各种木材弹性的一百篇论文划等号[30],也无法轻易断定3篇CSSCI期刊论文质量就高于一篇研究报告。因此,本研究认为,可考虑开放以质量为核心的结题认定通道,发挥基金评审机构所依托专家在结题时的同行评议作用,允许以代表作申请结题。同时,为防止认定通道异化,建议采用学科领域专家库完全随机分配的双盲评审制度,施行专家评分积分制,仅对达到规定积分的成果,认定相应结题等级,这也是对前文建议的补充。

4.3 研究不足与展望

本文是一项探索性的倒序式绩效评估研究,在科研产出已知的条件下,倒序求证项目负责人的既有“头衔”对其科研产出的影响。在具体操作上,本文抽样选择2018年和2019年结题的国家社科基金教育学项目,这在本质上属于社会科学范畴的非介入性实证研究。因此,在研究结论的适用性上,本结论能否可推广至学科范式更强的自然科学领域,仍需进一步研究探索。同时,本文选取有“头衔”的负责人可能恰为学科领域内最优秀或非最优秀群体,若是最优秀群体则可能高估“头衔”的处理效应,若为非最优秀群体则可能低估“头衔”的处理效应。未来需要在更大抽样范围内采用完全随机抽样方式,进一步验证本研究结论是否具有较强的科学信度和效度。

参考文献:

[1] 韩凤芹,史卫.推进科研经费“包干制”试点的几点建议[EB/OL].(2019-7-30)[2019-9-19]http://www.chineseafs.org/index.php?m=content&c=index&a=show&catid=23&id=1475.

[2] 郭少峰,魏铭言.高抒委员批科研经费分配不公两极分化严重[N].新京报,2009-03-13(002).

[3] 周寄中, 杨列勋, 许治.关于国家自然科学基金管理科学部资助项目后评估的研究[J].管理评论, 2007, 19(3):13-19.

[4] 尚虎平, 叶杰, 赵盼盼.我国科学研究中的公共财政效率:低效与浪费[J].科学学研究, 2012, 30(10):1476-1487.

[5] 李硕豪, 耿乐乐.国家社科基金教育学项目科研绩效研究[J].高等教育研究, 2017, 38(8):42-50.

[6] 顾海兵.国家社科基金:应由资助项目转为奖励成果[J].学术界, 2003(1):152-158.

[7] 沈文钦.科研经费分配应远离权力和人情[N].人民日报,2010-09-07(009).

[8] YIGONG SHI, YI RAO.China's research culture[J].Science,2010,329(5996):1128-1128.

[9] GALLO S, THOMPSON L, SCHMALING K , et al.Risk evaluation in peer review of grant applications[J].Environment Systems & Decisions, 2018(38):1-14.

[10] LANGFELDT L.The decision-making constraints and processes of grant peer review, and their effects on the review outcome[J].Social Studies of Science, 2001, 31(6):820-841.

[11] 邓国华, 郭杰, 张晓奇.科研项目立项评估机制研究[J].科研管理, 2009(S1):49-55.

[12] 刘作仪.浅谈政府资助科研项目的立项评议[J].中国基础科学, 2004, 6(4):44-47.

[13] REINHART M .Peer review of grant applications in biology and medicine.reliability, fairness, and validity[J].Scientometrics, 2009, 81(3):789-809.

[14] 周春喜.基于灰色理论的科研项目立项评审[J].科学学与科学技术管理, 2006, 27(4):39-43.

[15] 林曾.夕阳无限好——从美国大学教授发表期刊文章看年龄与科研能力之间的关系[J].北京大学教育评论, 2009, 7(1):108-123.

[16] FOX M F .Gender,family characteristics, and publication productivity among scientists[J].Social Studies of Science, 2005, 35(1):131-150.

[17] LEWIS D D R .Determinants of research productivity in higher education[J].Research in Higher Education, 1998, 39(6):607-631.

[18] 沈红, 张和平.基于科研论文发表的中国研究型大学正教授的类型及特征[J].复旦教育论坛, 2015, 13(6):54-61.

[19] 丁福虎.科研绩效评估的理论与方法[J].科技管理研究, 2000(3):45-48.

[20] 尚虎平, 叶杰.绩效导向的科研项目资助:按成果而不是按“自我标榜”拨款 [J].自然辩证法研究, 2011, 27(11):73-81.

[21] 头衔.现代汉语词典[M].上海:商务印书馆,1973:1312.

[22] HARTMANN I, NEIDHARDT F.Peer review at the deutsche forschungsgemeinschaft[J].Scientometrics, 1990, 19(5-6):419-425.

[23] BORNMANN L, DANIEL H D.Selection of research fellowship recipients by committee peer review.Reliability, fairness and predictive validity of Board of Trustees' decisions[J].Scientometrics, 2005, 63(2):297-320.

[24] COLE J R , ZUCKERMAN H .Marriage, motherhood and research performance in science[J].Scientific American, 1987, 256(2):119-125.

[25] JUNG J.Faculty research productivity in hong kong across academic discipline[J].Higher Education Studies, 2012, 2(4):1-13.

[26] CLARK M J, CENTRA J A.Influences on the career accomplishments of Ph.D.'s[J].Research in Higher Education,1985, 23(3): 256-269.

[27] 王立剑,代秀亮,金蕾,等.人才头衔能否提升科技人才职业成就[J].科技进步与对策,2019,36(21):1-8.

[28] ROSENBAUM P R, RUBIN D B.Constructing a control group using multivariate matched sampling methods that incorporate the propensity score[J].The American Statistician, 1985, 39(1):33-38.

[29] 胡安宁.社会科学因果推断的理论基础[M].北京:社会科学文献出版社, 2015:195.

[30] 亨利·罗索夫斯基.美国校园文化:学生·教授·管理[M].济南:山东人民出版社,1996:209.

(责任编辑:张 悦)