开放科学(资源服务)标识码(OSID)：
In order to meet the contemporary requirements of deepening education evaluation reform in the new era, this study summarizes the research trends concerning social impact assessment in universities by means of literature research, which provides strong theoretical support for the construction of a scientific and feasible social impact assessment system and the promotion of reform and innovation in the research evaluation system in China. It also reflects on the shortcomings of existing research and proposes the focus and possible growth points for future research, with a view to advancing the research in this field towards continuous enrichment and depth.
The study follows the logic of "what to assess-what leads to assessment-why to assess-how to assess-who to assess". The assessment system is defined as an organic whole, including assessment object, assessment orientation, assessment concept, assessment methods and assessment subject based on the integration of the conceptual framework of existing studies. Among them, as the assessment object has been defined as the research results of universities, the four dimensions of assessment orientation, assessment philosophy, assessment methods and assessment subjects present the cutting-edge developments and core ideas in this research field.
The findings of this study suggest that four new trends are emerging in current social impact assessment research. The first is the "process-oriented" assessment. In studies on social impact assessment, the emphasis is shifted from the outcomes of impacts to the interactions that occur during the impact process. The next is "humanized" assessment philosophy. In studies on social impact assessment, the tendency to focus on beneficiaries or groups of beneficiaries is more evident, i.e., human beings are the starting and ending points of social impact assessment, and relevant studies focus on individuals or groups of beneficiaries. The third is "integrated" assessment methodology. In studies related to social impact assessment, there is a tendency to adopt an integrated approach to social impact assessment, which is considered to better present a "complete picture" of social impact and ensure the objectivity and impartiality of the assessment. The last refers to the "diversity" of assessment subjects. In studies related to social impact assessment, it is advocated that non-academic review should be included in addition to traditional academic review.This approach is considered to facilitate a broader group of people to understand the content of the research, jointly develop the research agenda and achieve impact.
This study provides a comprehensive and systematic overview of the knowledge structure and research frontiers in the field of social impact assessment of research results, and summarizes new trends in research in a timely manner, which is of great significance for deepening theoretical research and promoting innovation in practice. It further reflects on the shortcomings of existing research, and suggests focal points and possible growth areas for future research, which will help to further deepen the research in this area.
开放科学(资源服务)标识码(OSID)：
社会影响是衡量科研成果社会贡献的重要维度,强调科研成果对学术共同体以外的经济、文化、公共政策、医疗、环境、教育以及公民生活质量所产生的外部影响和推动作用[1]。社会影响并不是一个专有术语,而是中文语境下对其内涵的概括表述。因其一般相对于学术影响而言,所以也常用非学术影响替代(刘小强,杨雅欣,2020)。近年来,伴随知识生产模式的现代转型,各国对科研成果的社会影响格外关注,纷纷在科研评估体系中增设社会影响这一重要维度,并不断增加其权重。当然,不同国家或地区在不同语境下往往采用差异化表达方式指代社会影响,如第三主流活动(Third stream activities)(Molas-Gallart,2002)、社会相关性(Societal relevance)(Drooge,2010)等,但就这些名词的内涵而言,都在关注公共资助科研成果产生的社会影响。
就我国的现实情况而言,2020年以来,国家先后颁布《关于规范高等学校SCI论文相关指标使用 树立正确评价导向的若干意见》《深化新时代教育评价改革总体方案》《关于破除高校哲学社会科学研究评价中“唯论文”不良导向的若干意见》等系列重要文件,强调要破除“五唯”顽瘴痼疾,扭转不科学的科研评价导向。实际上,“五唯”最大的症结在于“唯”,对于科研评价改革而言,要破除“唯论文”“SCI至上”等不良评价导向,就要建立多元评价体系和标准。科研成果的社会影响是一个不容忽视的评价维度,也是近年来科研评估制度改革创新的重要突破口。那么,社会影响评估框架应如何构建?要遵循怎样的评估理念?凸显怎样的评估导向?采用哪些评估方法?纳入哪些评估主体?这些问题都亟待澄清。
基于此,本研究从问题出发,参考学者们对评估体系相关内涵结构的概念阐释,明晰分析维度,搭建分析框架。已有关于评估体系内涵结构的阐释主要聚焦评估导向、评估方法、评估客体、评估主体等方面。如博耶(1990)提出评估的6项标准(目标明确、知识充足、方法恰当、重要结果、交流有效和深思熟虑)和4项原则(学者品质、绩效标准、学术证明、过程可靠),在国际学术界产生了广泛影响,尽管尚未使用评估体系的概念,但实际上已初见体系的轮廓。《教育评价词典》界定评估体系由价值目标、组织管理、方法技术、社会心理、评估结构5个子系统构成。叶继元(2010)提出,合理的评估体系应该由评价主体、评价客体、评价目的、评价方法、评价标准及指标、评价制度六大要素构成。在整合已有研究概念框架的基础上,本研究依循“评估什么—以何引领评估—为何评估—如何评估—由谁评估”的逻辑展开,由于评估对象为高校科研成果,因而主要从评估导向、评估理念、评估方法、评估主体4个维度展开。
在确定研究分析框架的基础上,本研究立足深化新时代教育评价改革的时代要求,结构化梳理近20年国内外关于科研成果社会影响评估的前沿研究,以把握这一领域的知识结构与研究趋势。同时,反思现有研究存在的不足,并提出未来研究的聚焦点和可能的增长点,以期推进这一领域研究不断走向深入,为我国构建科学可行的社会影响评估体系、推动科研评价制度改革创新提供理论支撑。
评估导向过程化是指在社会影响评估相关研究中,强调从重点评估影响结果,转向关注影响发生过程中的互动。以互动过程作为评估的重要依据,不但有利于捕捉不易被察觉的潜在社会影响,从而更好地把握和评估社会影响,同时还能传递一种价值观念,即社会影响不仅是研究要实现的目标,更是一个努力的过程,在这个过程中,每一点努力都具有重要价值,以此反向引导高校和学者重视知识生产过程中的积极互动与社会反馈,进而促进科研工作的可持续发展[2]。
社会影响评估一直面临一个关键问题,即如何将特定社会影响与相关研究工作相对应,其背后有两重困境:一是影响存在滞后性,研究的社会影响需要较长时间才能显现,因此很难衡量;二是影响难以归因,对于可以在多大程度上将社会影响归因于某一项或某几项具体研究,很难评估。为弥合研究与其影响之间的鸿沟,更加全面、准确地衡量科研成果的社会影响,近年来学者们提出一种逻辑假设:研究的社会影响并非通过学术界对社会的单向传递发生,而是研究人员在特定环境中通过与社会之间的互动生成,积极互动能够产生良好的影响[2]。因此,要实现社会影响就必须重视和鼓励研究过程中的接触和互动,相关研究主要围绕互动频率、方式、渠道、机制等展开。
(1)互动动机。Hessels(2010)认为科研人员之所以乐于在研究过程中进行互动,是受为社会作出贡献的目标驱动,以及出于对“究竟我的研究能够为社会带来怎样的影响”这一问题的好奇和困惑;Ylijoki等(2011)认为研究者对互动的关注热情来源于外部财政投入压力,因为研究的社会影响已成为财政拨款的重要评估指标,学者需要积极开展互动以扩大研究的社会影响,从而获得更多经费支持;Alice(2011)认为研究者关注和开展互动的目的在于提升其社会与学术声誉。
(2)互动方式。Jack等[2]在社会影响评估中引入生产性互动(Productive interactions)的概念,是指研究人员与广泛的利益相关者之间通过多种渠道进行有效互动,在这种互动中,知识生产既以学术质量为基准,又以社会影响为导向。这些互动主要可以分为三类,体现出研究人员与社会之间的不同互动方式:①直接互动,人与人之间直接接触,通过面对面接触或电话、电子邮件、视频会议进行沟通和互动;②间接互动,以某种成果作为物质载体,在研究者与利益相关者之间建立联系,如艺术品、展览、模型或电影;③金融互动,研究者与潜在受益人之间通过经济手段进行交流互动,如研究合同、财务捐助、研究项目实物成果捐助等。 Muhonen等[3]通过分析60个影响力案例进一步对上述3种互动方式进行细化,如在直接互动中增加定期互动,在间接互动的中介物中增加面向公众出版科学读物、政策立法等,还增加媒体参与、公共参与、研究参与等双向互动方式。Díaz Mari
o等[4]通过整理33个社会影响研究项目及相关科研人员半结构访谈资料,根据互动主体所处环境,将互动分为3种方式:①个人互动,个人单独参与互动产生社会影响;②小组互动,研究人员与受益人组成互动小组,通过开展某些活动促进社会影响产生;③组织互动,强调互动主体处在复杂的互动网络中,与网络中不同领域主体通过不同方式共同参与互动、分享观点、协调配合,从而促进社会影响产生。
(3)互动路径与机制。对互动机制的关注可为扩大社会影响辐射面创造良好的支持条件,充分发挥评估的改进功能[5]。Muhonen等[3]从影响发生的时点、涉及的受益者、互动载体3个角度对16个国家的影响案例进行分析,归纳出科研成果产生社会影响的4条主路径、12条子路径及与之对应的机制。4条主路径包括传播路径、协同创造路径、应对变化路径和推动社会变革路径。其中,传播路径强调研究人员与受益人之间存在反馈循环,便于研究人员及时调整科研成果,以产生社会影响,包括互动传播子路径;协同创造路径强调研究人员与受益人之间通过不同程度的互动合力产生社会影响,包括合作、公众参与、专家咨询、流动4条子路径;应对变化路径强调研究人员及时对社会事件进行研究献策,产生社会影响,包括“周年纪念”“把握当下”、社会创新、商业化4条子路径;推动社会变革强调研究人员积极运用科研成果推动社会变革从而产生社会影响,包括参与研究、知识渗透、构建新认识论3条子路径(见表1)。
表1 科研成果产生社会影响的路径及机制
Tab.1 Pathways and mechanisms of social impact of scientific research results
主路径子路径机制传播互动传播受益人通过各种渠道,如出版物、社交媒体、网站、数据库、电视等直接了解研究结果协同创造合作A. 通过研究人员定期与受益人互动合作产生影响(强调规律性)B. 通过开放性出版物等方式产生影响(侧重于开放性方法)C. 通过多学科或跨学科的方法产生影响公众参与受益人通过社交媒体等公共渠道,积极参与科研成果的研究讨论专家咨询研究人员作为专家,对一些社会问题提出政策建议流动研究人员的专业知识技能被用于新的研究领域应对变化“周年纪念”研究人员对一些周期性或热点事件(如中国共产党成立100周年)进行研究“把握当下”研究人员能够对一些突发情况(媒体提出的热点话题,如自然灾害、恐怖袭击等)作出及时应对和分析社会创新在复杂的社会背景下,受益人和学者由各自独立关注某社会问题转向共同构建解决方案,贡献各自的智慧,凸显主人翁意识商业化将科研成果开发为某种商品,在市场上投入使用推动社会变革参与研究通过受益人的参与,增强科研成果的适切性,持续产生社会影响知识渗透研究结果慢慢渗透到日常生活和政治舞台中,在公共舆论、立法与法律方面或短期或长期潜移默化为政策带来改变构建新认识论研究者通过建立新认识论(思维方式),影响制度实践(如课程建设)
(4)关于在评估中强化互动的观点分野。一些学者对于强化互动过程的评估导向表示支持。如Smits等[6]认为在当前学术研究和社会发展协同进步的背景下,社会影响的产生并非仅由学术社会主导,而是学术界、其它社会领域及广大公众反复互动沟通的结果;Landry等(2010)认为过程性互动能够纳入一些不同声音,丰富和扩充科学知识内涵,因此应在评估中予以强化,以鼓励互动的发生;Hessels(2010)认为关注互动过程有利于引导研究人员增强责任意识。在以往评估中,学者通常表现出被迫参与社会影响评估,而对互动过程的强化能够引导学者关注与开展互动,让学者清晰地看到自身科研的每一步会产生何种影响,以提高其参与社会影响创造活动的积极性。与此同时,一些学者也表达了担忧和反对意见。如Williams&Pierce(2016)认为科研人员与政府官员之间的互动会对研究的科学性产生影响,因为学术话语追求精确和清晰,而政治话语通常较为模糊;Bozeman等(2013)认为在评估中强化互动过程会对科研自主性产生影响,如影响学者的研究选题、研究自由度等。
评估理念人本化是指在社会影响评估相关研究中,明显体现出对受益人(Beneficiaries)或受益群体关注的研究趋势,即将人作为社会影响评估的出发点和落脚点,相关研究围绕个体或群体受益人展开。
科研评估是科研事业发展的指挥棒,有什么样的评估理念,就有什么样的改革行动。在社会影响评估兴起之初,受财政投资压力和学术资本主义话语体系影响,社会影响评估较为关注经济绩效等易于衡量的指标,较少关注影响所涉及的受益人群,这种评估观不仅影响了高等教育与外部社会关系的发展[7],也损害了大学的声望和地位[8]。社会影响评估相关实践表明,研究人员与潜在受益人的早期互动能够显著扩大科研成果的社会影响[9]。于是,政府和资助机构开始重视和鼓励研究人员从受益人视角出发设计研究路径,扩大研究的外部影响。在此背景下,利益相关者、受益人等相关词汇在社会影响评估研究中出现的频率越来越高,表明评估理念朝着人本化趋势转向。相关研究主要围绕以下方面展开:
(1)对关注受益人的呼吁。在发生转变的过程中,评估理念被拓展到更宽的范畴,即由关注绩效逐渐转向关注受益人。Benneworth[10]认为对受益人的关注将引导科研工作者关照不同利益群体的价值偏好,并与其进行价值协商,由此带来彼此理解的深化,又反过来影响科学家思考究竟什么是值得开展的研究;Morton(2015)认为对受益人的关注能够加深研究人员与受众之间的沟通和理解,进而消弭长久以来两者之间的隔阂;Guba&Lincoln(2008)认为当前已进入第四代评估,该评估遵循社会建构主义理念与方法,强调将受益人的主张、问题纳入评估中,以此营造良好的评估环境;Molas-Gallart(2015)认为对受益人的关注能够深化对受益人概念的理解,强调受益人不仅包含评估对象,也包括进行评估的人员;Bonaccorsi等[11]认为受益人在社会影响产生过程中具有一定主动性,对受益人的关注有助于转变思路,思考如何通过提高受益人对科研成果的接收效率提高社会影响的辐射强度。
(2)关于受益人类型的研究。很多学者关注究竟哪些人群可以成为科研成果社会影响的受益人,并对受益人群特征进行研究。Muhonen等[3]通过对来自16个国家不同学科的60个影响案例进行文本分析,发现案例涉及的社会受益群体主要包括公民、非政府组织、专业人士、从业者、政策制定者、商业、工业和文化产业等领域相关人员;Burrows(1999)根据受益人前期参与研究的活跃度、蕴含的潜力以及对研究的影响程度,区分科研成果的利益相关者集群,包括政府监管机构、管理团队、行政机构和员工4类群体;Ylijoki等(2011)按照与大学开展外部合作的紧密度对受益人群体进行划分,包括工商业、专业研究人员、决策者、媒体和公民。此外,社会影响涉及的受益人群特征也是学者关注的研究热点。英国国王学院(King's College London)和数字科学公司(Digital Science)联合对英国REF2014中6 679个社会影响力案例进行文本挖掘,锁定英国高校科研成果的主要受益群体,包括企业、学生、幼儿、患者、学校、社区、国家医疗服务体系、教师、妇女、家庭、政府、工人、临床医师等近40类人群,几乎每个案例都涉及多种类型的受益群体,且受益群体的地理位置分布较为广泛,受益人群几乎涵盖所有国家[12]。
(3)关于受益方式的研究。相关研究主要讨论受益人通过何种方式获益,学者们提出直接受益和间接受益两种方式。直接受益是指科研成果直接对受益人产生影响,如在生物医学领域,研究成果可以帮助患者治愈疾病,患者本人及其家属就是研究的直接受益人,这是一种直接受益方式(Toole,2012)。间接受益更多出现在哲学社会科学研究的社会影响中,由于研究成果的潜在用户在社会中较为分散,社会影响的产生具有偶然性,因而往往通过间接方式影响受益者。Weiss[13]指出科学研究不仅能通过直接的工具性方式产生影响,还可以通过思想意识逐渐渗透到社会公共领域,通过影响政策和大众思想观念的方式影响社会;Hazelkorn等[14]基于社会影响案例的研究发现,爱尔兰一位哲学家利用自身专业知识拓展和丰富共和主义理念,这一学术理念被用于西班牙政府实施的政治改革中,推动西班牙对于自由的倡导和社会发展。这种影响发生在民众日常生活中,以一种间接方式作用于受益人。Benneworth[15]借助利益相关者理论构建社会影响产生过程中政府、大学、受益人之间的关系网络,认为在社会影响产生过程中,高校与受益人之间并不是机械的线性对应关系与直接影响关系,考虑到社会影响的受益人及其受益方式,应将其置于复杂社会关系网络中加以考量。
评估方法综合化是指在社会影响评估相关研究中,趋向采用综合化方法开展社会影响评估。这种方法被认为能更好地展现社会影响的完整图景[16],保证评估的客观性与公正性。
不论在学术评价领域还是社会影响评估领域,在学科评估之初,主要遵循传统线性逻辑进行评估,即认为研究活动与其辐射的社会影响之间可以构成一一对应关系,且更多关注科研成果的经济影响而忽视潜在的文化影响。因此,通常采用计量经济等定量方法测量影响强度。由于社会影响自身的模糊性和滞后性以及研究成果与其影响之间复杂的网络关系,线性思维主导的评估方法显然无法有效衡量科研成果的社会影响,因此深受诟病。随着相关研究不断深入,学者主张遵循非线性评估逻辑,将定性评估方法引入社会影响评估中,如影响力案例、调查研究等方法。定性方法能够刻画影响生成的全过程,更好地捕捉社会影响的全貌[17]。相关研究围绕以下方面展开:
(1)关于采用定量评估的观点分野。学界对于采用定量方法评估社会影响是否科学一直争议不断。Bornmann[5]认为采用定量方法评估社会影响具有数据易获得和科学客观两大优点;Cronin等[18]认为定量数据指标能够作为高校科研成果社会影响的直接证明,维护学校声誉。尽管定量研究具有一定优势,但大部分学者认为仅依靠定量方法评估社会影响并不充分、有效。如Penfield等[1]认为采用传统定量方法评估社会影响有三重不适应:①定量评估不能衡量所有类型的影响情形;②容易限制评估主体的评估思路,从而忽视一些可能产生潜在影响的创新性学术研究;③社会影响容易被简单货币化或绩效化。
(2)关于引入定性评估的态度。大部分学者对于遵循非线性思维、引入定性评估方法持肯定和欢迎态度。Bornmann[5]认为质性方法通过对影响路径的关注,能注意到影响产生过程中的细节、复杂问题;Boaz等(2009)认为案例研究对于影响的直观化描述能够进一步提高科研人员积极性,丰富评估的价值内涵;Bullen等(2009)认为定性评估方法的学科适用面更大,如哲学社会科学研究主要聚焦概念解释和价值观念澄析,其产生的影响大多是无形的,因而很难用定量指标衡量其贡献,此时定性描述更加适用。然而,在对包括影响力案例评估方法等定性评估的一片叫好声中,也有部分学者提出应当关注和规避定性评估的风险,主要涉及以下两方面内容:一是效度问题。刘爱生(2021)指出,用于衡量社会影响的案例研究方法存在一定局限,单个案例并不能充分展示学科产生社会影响的全貌;Godin&Doré(2005)认为案例研究评估的客观性难以保障,评估结果很容易受到案例写作质量影响,同时案例研究没有一个特定标准,不利于评估机构进行排序和比较。二是负担问题。Martin[19]认为研究人员需要耗费大量精力准备和撰写影响力案例,这无疑会挤占研究人员的科研工作时间。根据兰德公司对英国20所参评REF2021卓越研究框架排名院校的分析调查显示,准备一个影响案例的成本约为7 500英镑,一个影响模板的成本约为3 500英镑。英国高校共花费约5 500万英镑准备提交影响评估的材料,这无疑额外增加了院校和参与该项工作人员的负担[16]。
(3)关于评估方法综合化的研究。Schmoch等(2010)认为综合化方法能够规避单一评估方法存在的缺陷,通过捕捉不同维度的社会影响展示影响的全貌;Spaapen等[2]探讨社会影响产生过程中研究人员与利益相关者互动的两种模式:一是自上而下的互动模式,其具有制度化的保障体系,因而易产生一些定量数据,便于测量影响;二是自下而上的互动模式,强调一些偶发因素对研究成果的社会影响产生促进作用,因而可能采取一些定性评估方法(如案例、叙事等),以更好地辨析情境化信息。综合化评估方法适用面较广,对于评估社会影响具有更强的适切性。Pedersen等[20]总结目前学界探讨的几种认同度较高的社会影响评估模型,如研究贡献框架(Research contribution framework,RCF)、影响映射(Contribution mapping,CM)等,通过对比几种模型发现,每一种社会影响评估模型都至少需要4种评估方法作为支撑。由此可以看出,在社会影响评估中,综合化评估方法已成为主流导向。Rijcke等(2016)提出,虽然质性和量化两种方法各有优劣,但是在评估实践中并不是对立和矛盾的,而是互为补充、相互支撑。非线性思维并不意味着舍弃量化研究方法,而是以具体的非线性思维为指导,针对不同情景与评估方法的特点综合运用各种方法进行评估。
评估主体多元化是指在社会影响评估相关研究中,倡导在传统学术评审基础上纳入多元非学术评审,非学术评审的主体来自行业、政府、公共机构中与研究相关的其他利益相关者个体。这种做法有利于更广泛的群体了解研究内容、共同制定研究议程、扩大研究的社会影响(Jong等,2016)。
社会影响本身具有很强的社会建构性,传统同行评议容易受到制度化组织惯性的影响,局限于关注成果的学术价值,而对成果的社会价值重视不够[21]。以往的评估实践证明,评估成员多样化有利于提升集体决策的效率和公平性(McNamara等,2014)。近年来,一些评估组织或机构借鉴交叉学科项目的评审经验,在社会影响评估主体中纳入来自行业、企业、公共机构的非学术评审人员,组建混合式评审委员会,以期最大程度尊重科研成果使用主体的价值诉求,综合判断科研成果的社会价值,避免单一评估主体造成的选择性偏误(Sivertsen&Meijer,2020)。学界也同步出现大量研究分析评估主体多元化的趋势及利弊,相关研究主要包括以下方面:
(1)关于同行评议局限性的研究。Latour &Woolgar[22]指出学术同行受到自身学术背景和价值观念影响,很难客观衡量和评估研究成果的社会影响,因而认为在社会影响评估中采用同行评议方法值得进一步商榷;Bozeman&Boardman[23]提出社会影响评估不能单纯采用同行评议方法,并通过对一所美国顶级研究型大学的实证调查,发现大学研究人员并不重视成果的社会影响,当被问及在多大程度上同意“研究的社会影响比研究的创新性重要”时,64%的学者表示不同意,认为这是在挑战其权威和破坏研究的自主性,只有5%的研究者同意这一说法。这表明学术评审更加重视研究成果的学术贡献,而不是实际效用。有些研究人员甚至抵制将利益相关者的观点纳入评估中。Holbrook&Hrotic[24]也表达了同样的观点,其认为研究人员不是缺乏评估能力,而是不愿意参与社会影响评估,因此仅邀请学术同行参与评估存在一定局限和风险。
(2)关于纳入非学术评审的观点分野。学者们开始关注在社会影响评估中纳入非学术评审以组成混合评估小组这一新趋势。一部分学者持肯定态度,如Nightingale[25]认为社会需求复杂多样且处于不断发展中,需要具备不同类型专业知识的群体共同评估研究的社会影响,因而很有必要将非学术评审纳入评估小组;Luo等[26]基于对来自爱尔兰科学基金会(Science Foundation Ireland)调查者计划(资助科学、技术、工程和数学领域)164份审查报告的分析,提出相比传统学术评估小组而言,囊括非学术评审参与的混合评估小组评估的热情和互动程度更高,评估涉及的领域也更广,能够帮助评估小组深化对社会影响的理解;Bammer(2019)认为非学术评审参与评估实践能够拓宽未来研究方向,使研究成果更具应用性。另一部分学者则提出了担忧,如Derrick[27]指出非学术评审缺乏专业知识且眼光局限,可能会忽视一些具有发展潜力的研究,并认为纳入非学术评审只是为了让评估过程和结果看上去更加公正和可信,实际上并没有发挥其作用;Lamont[28]认为非学术评审人员对社会影响的不同理解可能使评估小组产生内部争议,进而影响评估效率和有效性;Bozeman等(2013)把混合评估小组带来的不利因素称为合作的“黑暗面”,认为非学术评审参与对科研方向选择具有潜在的限制性影响;Holbrook &Hrotic[24]通过对5个科学资助机构的调查指出,非学术评审只能作为评审团中不重要的部分参与评估,而学术同行才是评审团中最重要的成员。
通过对国内外社会影响评估研究脉络与特点的梳理,可以发现目前社会影响评估研究呈现出4个新趋势(见图1)。
图1 高校科研成果社会影响评估研究框架
Fig.1 Research framework of social impact assessment of scientific research results
(1)评估导向过程化。从已有研究中不难发现,关于评估导向过程化的研究内容越来越细化,虽然已有研究关于是否应在评估中强化互动仍存在观点分歧,但毫无疑问,相关研究趋势体现出学者们致力于突破传统评估的诊断功能,将视角转向科研成果与社会影响之间的过渡地带,以引导高校更好地理解何种形式的互动与交流对社会影响的产生起到重要作用。这有利于加深高校对科研成果社会影响的理解。同时,对过程与结果的共同关注也有利于促进科学与社会之间的多向度交流,从而扩大科研成果的社会影响。
(2)评估理念人本化。已有研究对受益人的关注表明学者们对科研成果社会影响评估标准的认识正逐步深化。对科研成果社会影响的评估不应仅以达到一定绩效水平为标准,还应关注社会实践主体的意义诠释。因此,评估改革的方向应着重考量研究具体涉及到的利益群体,致力于启发、支持研究者积极参与社会实践(王洪波,2020),助力其价值反思与行动变革,进而促发卓越社会影响的产生。
(3)评估方法综合化。学者们对定量和定性两种评估方法在社会影响评估中的适用情况进行了深入分析。评估方法综合化趋势为开发针对不同学科、不同类型的科研成果分类评估方案提供了可行路径,高校及学者可以采用更加多样、灵活的方式描述其互动参与过程和影响发生的图景。这在标准清晰、规则严谨的评估框架下给高校留有一定自主空间,弥补了单一评估方法存在的限制和缺陷,能够更好地展现高校在促进参与和影响产生方面作出的努力。
(4)评估主体多元化。学者们对于在评估小组中纳入非学术评审的必要性与存在的挑战作了相对完善的研究和归纳,虽然一些学者对非学术评审的专业性仍存在疑虑,但面对挑战和变化,更应该思考如何有效解决问题而非躲避问题。社会影响卓越与否是基于各主体之间的共识判定的,关涉到社会中多元主体的价值追求,因而所谓的研究者走出“象牙塔”并非仅仅指研究者单向度到实践领域搜集影响的证据,以证明研究的卓越性,而是强调研究者投身社会,与处于非优势地位的非学术评审共同建构知识和价值,而评估中多元主体的参与和协商过程本身就是实现价值共创的有效路径。
总体来看,上述创新观点为开展后续研究和推进实践探索提供了宝贵思路。但也应反思现有研究的不足,把握未来探索方向,以期推进相关研究不断丰富、深入。
(1)当前研究倡导的过程性评估导向为社会影响评估实践提供了抓手,同时传递出一种价值观念——评估不应仅仅追求达到预期目标,而应充分关照互动过程的导向意义,聚焦服务贡献。通过对过程的审查引导,督促高校有组织、有意识地拓展科研人员与受益者之间的互动路径,促进科研成果更好地服务终端用户。然而,已有研究对过程性评估导向的风险分析和优化路径还不明朗,而科研人员与利益相关者之间的互动关联非常复杂。因此,未来研究可聚焦不同学科之间的横向比较、过程性评估导向对不同学科的适切性等问题。
(2)研究中蕴含的人本化理念体现了当前研究重在突破工具理性主导下机械地以数据作为评价依据的绩效评估模式的桎梏,致力于实现切实增进民生福祉的价值追求。然而,当前研究的切入角度仍较为狭隘,仅将受益人设定为研究成果的接受者,将研究人员作为走出“象牙塔”的供给者,忽视了研究影响的双向建构性和终端用户参与研究过程的重要价值。未来研究可围绕提升受益人参与度、构建受益人与研究人员深度对话的互动机制等展开。
(3)已有研究主张采用综合化评估方法,更加适应当前科研成果多样化的需要。已有研究在采用定量数据衡量发展水平、趋势的同时,也采用质性方法描述和刻画科研成果的需求导向、特色发展和生长潜力[29]。这不仅有利于在评估中更有效地捕捉和评估影响发生的路径及价值内涵,而且有助于反向激励和促进科研活动、学科发展的多样化,将视角真正聚焦到广泛的社会影响上。然而,已有研究更多的是对评估方法优劣进行探讨,对于定量或定性方法适用情形及融合路径的探索仍不充分。未来研究可进一步聚焦在评估实践中如何根据不同学科特点针对性选择适当的评估方式,探索构建真正适用于社会影响评估的方法体系。
(4)已有研究基本达成共识:在后常规科学时代背景下,公众参与科学成为必然趋势,在评审委员会中纳入非学术评审有利于平衡学术团体的权力结构,触动积极的评估改革。科研人员与受益方共同构成知识生产主体,两者间的沟通与互动承载着积极反思和变革力量[30]。然而,目前相关研究仍局限于理念层面,缺少对该主张的理论及运行机制的深入探究。未来研究可基于各国纳入非学术评审的具体实践案例,探索非学术评审的非专业性特质对评估效率和评估专业性的影响。
需要说明的是,既要把握热点研究的前沿观点及其推进实践的重要意义,也有必要警惕这一新兴评估维度给科研体系带来的潜在风险。虽然本文关注焦点在于科研成果的社会影响评估之于科研体系和学科发展的重要价值,但强调社会影响并不等同于狭隘地认为大学知识生产活动应被直接的短期社会效益驱动。相反,影响力导向下的科研活动应定位于为社会作出更长远、可持续的贡献。如对于一些由好奇心驱动的基础研究而言,其产生的外部社会收益可能集中在经济文化领域,且需要经过较长的转化周期才能体现出来,对这类研究的评估可以不考虑短期社会收益,而是通过评估研究的学术水平和创新性考量其研究价值[31]。因此,关注社会影响并不意味着舍弃学术影响,而是要促进研究成果的学术贡献与非学术贡献形成相互协调的动态平衡,提升学术系统的活力和多样性,构建良好的科研生态体系。
[1] PENFIELD T, BAKER M J, SCOBLE R, et al. Assessment, evaluations, and definitions of research impact:a review[J]. Research Evaluation, 2014, 23(1): 21-32.
[2] JACK S,LEONIE V D. Introducing 'productive interactions' in social impact assessment[J].Research Evaluation,2011,20(3):211-218.
[3] MUHONEN R, BENNEWORTH P, OLMOS-PE
UELA J. From productive interactions to impact pathways: understanding the key dimensions in developing SSH research societal impact[J]. Research Evaluation, 2020, 29(1): 34-47.
[4] D
AZ MARIO B L, CABALLERO-RICO F C, ROQUE HERN
NDEZ R V, et al. Towards the construction of productive interactions for social impact[J]. Sustainability, 2021, 13(2):1-20.
[5] BORNMANN L. What is societal impact of research and how can it be assessed? a literature survey[J]. Journal of the American Society for Information Science and Technology, 2013, 64(2): 217-233.
[6] SMITS, KUHLMANN.The rise of systemic instruments in innovation policy [J]. International Journal of Foresight and Innovation Policy, 2004, 1(1-2):4-32.
[7] 高慧.知识生产的时空转变与科技成果评价范式转型[J].科技进步与对策,2022,39(2):121-127.
[8] 殷昊,万力,刘大锰,等.以人为本的高校科研活力与创新能力评价探讨——以中国地质大学(北京)为例[J].中国高校科技,2022,36(8):40-44.
[9] MEYER R. The public values failures of climate science in the US[J]. Minerva, 2011, 49(1): 47-70.
[10] BENNEWORTH P.We need a better understanding of 'good' research impacts[EB/OL]. (2017-10-17)[2022-03-08].https://www.ideas-idees.ca/blog/we-need-better-understanding-good-research-impacts.
[11] BONACCORSI A, CHIARELLO F, FANTONI G. Impact for whom? mapping the users of public research with lexicon-based text mining[J]. Scientometrics, 2021, 126(2): 1745-1774.
[12] King's College London. The nature, scale and beneficiaries of research impact: an initial analysis of Research Excellence Framework (REF) 2014 impact case studies[R]. HEFCE, 2015.
[13] WEISS C H. Knowledge creep and decision accretion[J]. Knowledge, 1980, 1(3): 381-404.
[14] HAZELKORN E, RYAN M, GIBSON A, et al. Recognising the value of the arts and humanities in a time of austerity[R]. HERAVALUE Final Report,2013.
[15] BENNEWORTH P, JONGBLOED B W. Who matters to universities? a stakeholder perspective on humanities, arts and social sciences valorisation[J]. Higher Education, 2010, 59(5):567-588.
[16] 茹宁,闫广芬. 非学术影响评价:英国REF科研影响评估的创新性评析[J]. 国家教育行政学院学报,2020,34(9):24-34.
[17] ROSS C,NICHOL L,ELLIOTT C,et al.From chain to net:assessing interdisciplinary contributions to academic impact through narrative case studies[J].Studies in Higher Education,2020,46(18):1-16.
[18] CRONIN B, SUGIMOTO C. The citation: from culture to infrastructure[M].Cambridge,MA: MIT Press, 2014:47-66.
[19] MARTIN B R. The Research Excellence Framework and the 'impact agenda': are we creating a Frankenstein monster[J]. Research Evaluation, 2011, 20(3): 247-254.
[20] PEDERSEN D B, GRØNVAD J F, HVIDTFELDT R. Methods for mapping the impact of social sciences and humanities:a literature review[J]. Research Evaluation, 2020, 29(1):4-21.
[21] WATERMEYER R, CHUBB J. Evaluating 'impact' in the UK's Research Excellence Framework (REF): liminality, looseness and new modalities of scholarly distinction[J]. Studies in Higher Education, 2019, 44(9):1554-1556.
[22] LATOUR B, WOOLGAR S. Laboratory life: the construction of scientific facts[M]. Princeton University Press, 2013.
[23] BOZEMAN B, BOARDMAN C. Broad impacts and narrow perspectives: passing the buck on science and social impacts[J]. Social Epistemology, 2009, 23(3-4): 183-198.
[24] HOLBROOK J B,HROTIC S. Blue skies, impacts, and peer review[J]. Rt: a Journal on Research Policy and Evaluation,2013,1(1):1-24.
[25] NIGHTINGALE P, SCOTT A. Peer review and the relevance gap: ten suggestions for policy-makers[J]. Science and Public Policy, 2007, 34(8): 543-553.
[26] LUO J, MA L, SHANKAR K. Does the inclusion of non-academic reviewers make any difference for grant impact panels[J]. Science and Public Policy, 2021, 48(6): 763-775.
[27] DERRICK G . The evaluators' eye[M]. Cham, Switzerland : Palgrave Macmillan,2018.
[28] LAMONT M. How professors think: inside the curious world of academic judgment[M]. Cambridge, MA: Harvard University Press,2009.
[29] 周玲.“双一流”成效评估:基于技术价值合理性的思考[J].上海教育评估研究,2022,11(5):1-6.
[30] 王熙,侍晓坤.致力于公共福祉的教育研究——反思西方循证决策实践的负面影响[J].清华大学教育研究,2022,43(4):53-59.
[31] MA L, AGNEW R. Deconstructing impact: a framework for impact evaluation in grant applications[J]. Science and Public Policy, 2022, 49(2): 289-301.