开放科学(资源服务)标识码(OSID)：
开放科学(资源服务)标识码(OSID)：
国家科技奖励制度是我国科技管理政策的重要组成部分，对于激励自主创新、激发人才活力、营造创新环境具有重大导向作用，对于促进科技创新、推动行业进步乃至建设创新型国家和世界科技强国具有重要意义[1]。因此，国家科技奖励实施绩效备受关注。没有科学评价，就没有科学管理[2]。继2017年《关于深化科技奖励制度改革的方案》明确提出建立科技奖励工作后评估制度之后，2019年12月，财政部、科技部联合印发了《国家科学技术奖励绩效评价暂行办法》(以下简称《评价办法》)，对国家科技奖励绩效评价的目的、主体、内容、指标等作出了政策性规定[3]。然而，从实际操作层面审视《评价办法》，不难发现，国家科技奖励绩效评价从政策设计到付诸实施尚有一定距离，尤其是指标设计方面，仅从宏观上满足了政策文本制定的需要，至于评价指标如何分级、权重如何设计、评价标准如何设置等具体操作问题均未涉及。因此，研究制定一套科学有效、切实可行的国家科技奖励绩效评价指标体系，成为《评价办法》落地见效的关键所在。
从评价技术层面看，国家科技奖励绩效评价指标体系生成是从基本概念到评价维度再到测量指标的操作化过程，其本质是国家科技奖励绩效基本概念从抽象到具体的解构过程。这一过程类似费孝通[4]描述的差序格局：“以某个点为中心……犹如投入水中一个石子后的水波，一圈圈地推出去，越推越远……。”如图1所示，国家科技奖励绩效基本概念处于同心圆的最中心位置，通过概念操作化的外力作用，中心圈向外扩展至评价维度，直至最外圈的测量指标。
图1 国家科技奖励绩效评价指标生成机理模型
目前，学术界关于科技奖励绩效评价的研究主要集中在3个方面。首先，科技奖励评价方法研究。评价方法是影响科技奖励评审结果的重要因素之一，龚建桥[5]较早对科技奖励的评审方法及评价指标体系进行了系统探讨；胡宗义等[6]提出了一种各分量均为三角模糊数的模糊矢量比较方法——模糊灰色关联分析法；曹玮等[7]针对科技奖励评价问题的特点，运用变异系数改进了评价方法，并将专家信度系数、聚类分析法等融入突变级数法，设计出基于改进CRITIC-CPM的科技奖励评价模型；王瑛等[8]针对科技奖励评价中各指标权重的不确定性问题，运用随机森林赋权法减少了主观赋权的影响，引入一致可信度、非一致可信度和净可信度信息，提出改进的ELECTRE-Ⅲ科技奖励评价方法。其次，科技奖励获奖项目绩效评价研究。获奖项目后续发展情况是科技奖励绩效的重要体现之一，王福涛[9]通过对2000—2003年度获得国家科技奖励的成果转化与应用情况进行统计分析，得出国家科技奖励有效促进了科技成果应用的结论；危怀安[10]在分析获奖项目成果数据的基础上，提出应加快构建国家科技计划与国家科技奖励交互作用机制；杨兰蓉等[11]、危怀安和胡晓军[12]对2000—2003年获奖项目获奖前后经济效益进行对比分析发现，科技奖励对科技成果转化应用具有显著政策导向作用；杨兰蓉[13]分析了国家科技奖励获奖者对获奖成果继续开发的需求，建议加强对获奖项目的后续管理和跟踪研究；陈银花[14]从科技价值、经济效益、持续性发展等方面构建了一套获奖科技成果后评价指标体系，并以上海市2006—2008年获奖项目为例进行了实证分析；中国建筑材料联合会[15]对2007—2011年间建材行业的获奖项目进行奖后跟踪调查研究，提出了促进获奖项目后续转化推广的对策建议。最后，科技奖励制度运行绩效评价研究。目前，从宏观上研究科技奖励运行绩效的成果并不多见，滕跃[16]将IS09000标准质量管理体系引入科技奖励系统，设计了一套科技奖励体系运行绩效灰色模糊评价综合模型；熊小刚[17-18]基于因子分析、群组决策分析、融合层次分析、数据包络分析等方法，将国家科技奖励制度运行绩效评价指标划分为奖励投入(包括人力资本、资金投入、设备投入)和奖励产出(包括获奖项目数量、获奖人员数量、奖励效应)两大类，并进行了实证分析；危怀安等[19]基于项目后评估理论，从过程和结果两个维度初步探讨了国家科技奖励后评估的主要对象、关键内容和核心节点。
综上所述，虽然学者们对科技奖励绩效评价进行了比较深入的研究，但仍然存在较大改进空间。首先，关于科技奖励评价方法的研究，实质上并不是对科技奖励绩效评价的研究，而是关于科技奖励如何评审的研究，属于科技评价的范畴。其次，获奖项目绩效虽然是科技奖励绩效的重要组成部分，但并不能涵盖科技奖励绩效的全部内涵，如科技奖励的目标定位、评审过程就不在其中。最后，关于科技奖励制度运行绩效评价的研究存在一定缺陷，运用质量管理体系评价科技奖励绩效的设计初衷是好的，但其是一种典型的内部评价体系，有“自说自话”之嫌，而从投入与产出关系角度评价国家科技奖励的运行绩效，虽然符合逻辑且简单易行，但不足之处也非常明显。一方面，国家科技奖励制度是一个复杂的运行系统，必然受到多种因素影响，人力资本、资金投入、设备投入等未必是最核心的要素，评审、管理、监督等制度设计的影响可能更为重要。另一方面，国家科技奖励制度运行绩效必然包括科技、经济、社会、生态、文化等多方面的效益和持续性影响，获奖项目数量、获奖人员数量显然不能成为其核心评价指标。至于国家科技奖励绩效后评估的相关研究，只是提供了初步分析框架，没有产生成型的后评估指标体系。鉴于此，本文在前人研究成果基础上，遵循“基本概念—评价维度—测量指标”的逻辑理路，探析国家科技奖励绩效评价指标体系的内在生成机理，进而构建一套更加科学有效、切实可行的国家科技奖励绩效评价指标体系。
国家科技奖励绩效评价的两个基本条件是明确的绩效概念和有效的评价指标，而确定国家科技奖励绩效的基本概念是制定评价指标的前提和基础，也是国家科技奖励绩效评价指标体系生成的逻辑起点。
从语义学角度看，国家科技奖励绩效的中心词是“绩效”，定语是“国家科技奖励”，因此，国家科技奖励绩效应该是管理学中的绩效概念在国家科技奖励领域的发展与应用。在管理学中，一般认为绩效是组织或员工在一定时期、一定条件下完成某一工作任务的过程及其达到的结果[20]。随着绩效评价在实践中的应用与发展，绩效评价的对象逐渐超出了组织和员工的范围，出现了管理绩效、制度绩效、政策绩效、创新绩效、治理绩效等概念。从组织层面看，国家科技奖励绩效是一种公共组织绩效。《国家科学技术奖励条例》规定，国家科学技术奖励工作办公室是国家科学技术奖励委员会的日常办事机构，是国家科学技术奖励政策与法规的执行机构，承担国家科学技术奖励工作。因此，国家科技奖励绩效就是国家科技奖励工作办公室在一定时期、一定条件下完成国家科技奖励工作任务的过程及其达到的结果。从制度层面看，国家科技奖励绩效也是一种制度绩效，即国家科技奖励制度实施的过程和效果。组织绩效和制度绩效互为表里、一体两面，共同构成国家科技奖励绩效的全部内涵。如果没有组织作为运行载体，国家科技奖励制度将无法实施，制度绩效更无从谈起；如果没有制度作为价值指引，组织将会无的放矢，甚至形同虚设，组织绩效必将大打折扣。
绩效评价是一项严密的技术程式，必须将评价对象的实质定义转变为操作定义，才能保证绩效评价具有现实可能性。操作定义是将无法得到的社会结构、制度及有关人们行为、思想和特征的内在事实，用代表其的外在事实代替，并通过后者研究和评价前者的操作化过程。这种操作化过程是沟通抽象理论概念与具体经验事实的一座桥梁[21] 。只有将抽象的理论概念操作化，转换成现实世界中人人可见且可测量的经验事实，绩效评价才能进行。
国家科技奖励绩效概念的操作化就是把国家科技奖励工作划分成若干个独立的、可检测的、可测评的工作单元或构成要素。通过对国家科技奖励工作办公室官网工作信息的系统梳理(见图2)，可以大致将国家科技奖励工作流程分为3个阶段：①奖前准备阶段，包括提名、受理、形式审查等环节；②奖励评审阶段，包括网络初评、会议初评、考察、异议处理、评审、审定、报批、颁奖等环节；③奖后服务阶段，包括奖励宣传、转化、跟踪等环节。每个工作环节都有相应的政策文件、执行机构支撑以及人财物投入，都会产生某种形式的绩效数据[22]。要对国家科技奖励绩效进行评价，必须系统掌握上述工作环节的核心绩效信息，才能制定出科学的评价指标。
维度是分类的技术术语，一个抽象概念往往具有若干不同面向或维度。国家科技奖励绩效评价维度主要是指国家科技奖励实施过程与结果中体现在制度或价值层面的若干具体可观察的面向，其是国家科技奖励绩效评价指标体系生成的逻辑中介。
图2 国家科技奖励工作流程
解构国家科技奖励评价维度必然涉及到评价进路的选择问题。评价进路是绩效评价过程中选择评价维度、测量指标以及预设评价目标的途径与策略[23]。在绩效评价体系中，评价进路属于方法论层面的问题，上承评价目的与意义，下启评价维度、测量指标，并规定着评价内容的设置标准，很大程度上决定了绩效评价的真实性和有效性。
谭玮[24]将法治社会评价进路划分为制度性进路和价值性进路，借鉴其做法，也可以从制度和价值两条路径理解国家科技奖励绩效的评价进路。如表1所示，国家科技奖励绩效评价的制度性进路和价值性进路在评价主体、目的、内容、方法等方面各有侧重。通过比较两种进路发现，国家科技奖励绩效评价的价值性进路遵循从理论到现实的逻辑，是以科技奖励价值要素为标准对国家科技奖励实施现状进行的评价，强调国家评价科技奖励价值实现程度以及与理想状态的差距；而国家科技奖励绩效评价的制度性进路则遵循从现实到现实的逻辑，更强调现行国家科技奖励制度实施状况以及科技奖励机构运行状况，主要满足科技奖励管理部门的决策需求和管理需求，某种程度上可以说是绩效导向下的目标管理。但是，从本质上讲，两种进路不是冲突与对立的关系，而更应当是一种同源同构性关系[7]。制度和价值是国家科技奖励绩效评价进路的不同侧面，没有科技奖励制度的设立与运行，科技奖励价值的评价就无从实现；同样，没有科技奖励价值要素的内在作用，科技奖励制度必然会形同虚设，制度性进路的评价也将失去其基本意义。开展国家科技奖励绩效评价不能择其一而用之，而应当在充分考虑中国科技奖励现实特征和规律的基础上，以功能同构思路统筹制度和价值两条评价进路，不断丰富和完善中国特色科技奖励绩效评价体系。
表1 国家科技奖励绩效评价制度性进路与价值性进路比较
进路类型评价主体评价目的评价内容评价方法制度性进路政府部门等内部主体检验国家科技奖励目标是否完成国家科技奖励制度、机构运行状况以定量方法为主,倾向于问卷调查、统计分析、社会实验等价值性进路学术团体、社会机构等外部主体总结与反思国家科技奖励制度,完善国家科技奖励的内涵与价值国家科技奖励制度实施现状与理想价值标准的差距定量与定性相结合,倾向于实地体验、开放型访谈、田野观察、个案调查等
统合制度与价值两条评价进路，评价维度解构的任务在于分析并聚焦国家科技奖励在制度或价值层面若干面向的范围限制，重点是找到各维度的关键观察事项，使评价维度的指向更加明确，进而使国家科技奖励绩效从抽象到具体的操作更加清晰。
考虑到国家科技奖励绩效评价的特殊性，评价维度的渊源主要包括国家科技奖励相关政策法规文件、国家科技奖励工作办公室官网工作信息、学术界关于科技奖励绩效评价已有研究成果以及国内外科技奖励绩效评价经验与教训等。在研读大量文献的基础上，借鉴财政部财政支出绩效评价指标框架[25]和国家自然科学基金绩效评价指标框架[26]，本文尝试将国家科技奖励绩效评价维度划分为奖励目标、评奖过程和奖励效果，每一个评价维度又划分为若干子维度，详见表2。由于每个子维度之下都存在大量各种形式的数据资讯和绩效信息，从国家科技奖励绩效评价操作化角度分析，应该从这些子维度蕴含的绩效信息中选择最为重要和突出的评价要点或关键观察事项，作出维度范围上的清晰界定，才能化繁为简，为接下来的测量指标操作化打好基础。
(1)奖励目标维度解构。评价子维度1、2是围绕奖励目标维度展开的。其中，奖励目标科学性主要包括国家科技奖励的目标定位与我国科技创新、经济社会发展以及国家安全需要的适应性问题，考察奖励目标设定的法规政策依据是否充分，奖励目标是否通过清晰、可衡量的指标值予以体现；奖励目标实现度主要指专家学者和科技奖励管理部门对奖励目标实现程度的评价。
(2)评奖过程维度解构。评价子维度3～5是围绕评奖过程维度展开的。其中，规章制度健全性主要包括奖项、等级、数量、奖金设置是否合理，评审指标体系、评审流程设计是否科学合理、客观可行，提名、形审、咨询考察、异议处理等管理制度是否完善；制度执行有效性主要包括受理过程是否规范有序，网评与会评评审单元划分、专家遴选规则是否科学合理，行业咨询、项目考察工作是否真实有效；评奖质量可控性主要包括是否按照规定进行公示、是否按照规定进行异议处理、是否按照规定做好保密工作、评审监督工作是否及时有效、各类工作文档记录是否完备。
(3)奖励效果维度解构。评价子维度6～8是围绕奖励效果维度展开的。其中，奖励工作满意度主要包括评审专家、获奖人员、一般科技工作者、社会公众等对科技奖励工作的满意度；评奖结果公信力主要包括专家学者和社会公众对国家科技奖励评奖结果的认同度；奖励效应持续性主要包括国家科技奖励奖后，论文、专著、专利和经济效益的增加率，对人才培养、社会治理、生态治理的促进作用，对行业进步的推动作用，服务国家重大需求、取得重大科学突破的效果等。
评价维度及其观察范围确立后，国家科技奖励绩效评价指标体系才演进至逻辑同心圆的最外环，即终端测量指标设计阶段。测量指标筛选与赋权是国家科技奖励绩效评价指标体系生成的逻辑终点。测量指标设计一般遵循“初选—咨询—筛选—赋权—确定”的技术路径。
在前期评价维度解构的基础上，结合各维度的关键观察事项，本文对国家科技奖励绩效评价指标进行实验性预选，得到奖励目标、评奖过程、奖励效果3个一级指标、8个二级指标和37个三级指标。随后，设计国家科技奖励绩效评价指标专家咨询问卷，对35位专家进行了两轮咨询，专家详情见表3。
表2 国家科技奖励绩效评价维度观察事项
评价维度子维度具体范围奖励目标1.奖励目标科学性1.目标定位的适应性;2.目标设定的法规政策依据是否充分;3.目标是否清晰可行2.奖励目标实现度1.目标自评实现度;2.目标他评实现度评奖过程3.规章制度健全性1.提名、受理、形审、异议处理、咨询考察、奖后服务等管理制度的完善程度;2.奖种设置、评价指标体系、评审单元划分、专家遴选、网评、会评规则等评审制度的完善程度4.制度执行有效性1.提名、形审过程规范性;2.评审过程科学性;3.行业咨询有效性;4.项目考察有效性;5.宣传工作有效性5.评奖质量可控性1.质量管理有效性;2.奖励规则通晓率;3.公示环节执行率;4.信访异议办结率;5.旁听人员满意率;6.保密工作严格性;7.监督工作有效性;8.档案记录完整性奖励效果6.奖励工作满意度1.评审专家满意度;2.科技人员满意度;3.奖后服务满意度7.评奖结果公信力1.评奖结果专家认同率;2.评奖结果公众认同率8.奖励效应持续性1.科技效应;2.经济效应;3.社会效应;4.生态效应;5.文化效应
表3 专家类型与工作单位分布
专家类型及单位政府机关高等学校科研机构企业合计科技奖励研究专家073010科技奖励评审专家065314科技奖励管理专家42107一般科技工作者02114
问卷回收后，根据专家反馈意见，对测量指标进行分析整理。对80%以上的专家勾选“非常赞成”和“比较赞成”的指标予以保留或作适当的文字修改，赞成率不足80%的指标予以删除。经过两轮专家咨询后，专家们对国家科技奖励绩效评价指标的意见基本趋于一致，因而不再进行第三轮咨询，指标体系基本确立。3个一级指标和8个二级指标保持不变，三级指标由原来的37个删减合并为28个，详见表4。
指标权重系数是影响绩效指标体系科学性的重要因素，本文采用最为常用的层次分析法测量指标赋权。基本思路为：①建立国家科技奖励绩效评价层次结构模型(见图3)；②设计国家科技奖励绩效评价指标权重专家咨询问卷，对相关专家进行咨询；③根据专家意见和建议，构建两两比较判断矩阵；④整理汇总所有专家数据，计算各个测量指标的综合权重。
具体地，采用Satty相对重要性等级公式(见表5)设计指标权重专家咨询问卷，通过多种渠道邀请23位科技奖励评审或研究专家，对各层级指标进行两两比较赋权，专家结构与权威系数见表6。然后，根据专家评分结果，构建两两比较判断矩阵。第1位专家对3个一级指标的评分结果，形成了表7所示的一级指标两两比较判断矩阵结果，其它以此类推。
指标权重计算步骤如下：
(1)对判断矩阵每一列元素进行归一化处理，公式为
其余类同，每列经归一化后的判断矩阵为：
(2)归一化矩阵各列相加，公式为
(3)将向量ω归一化，公式为
即特征向量，也就是该层各指标权重。
(4)各层指标经构建两两比较判断矩阵，计算第1位专家的赋权结果。
(5)对判断矩阵进行一致性检验。层次分析法中使用判断矩阵的一致性指标CI检验判断思维的一致性。当判断矩阵完全一致时，最大特征根λmax=n，其余特征根均为零；当判断矩阵不一致时，需要进行一致性检验，公式为
计算判断矩阵的最大特征根λmax，公式为
计算一致性比例CR，公式为
其中RI为平均随机一致性指数。当CR<0.1时，可以认为判断矩阵的一致性可以接受。经过一致性计算，得出所有专家判断矩阵均有CR<0.1 的一致性比例，从而可知以上各判断矩阵均能够满足一致性要求，因此无须进行修正。
表4 国家科技奖励绩效评价指标体系与评价要点
一级指标二级指标三级指标数据来源评价要点奖励目标科学性奖励目标合法性专家评议奖励目标设定的法规政策依据是否充分奖励目标合理性专家评议奖励目标与科技创新、经济社会发展需要是否适应奖励目标奖励目标可行性查验材料奖励目标是否分解为具体的工作任务,清晰可衡量奖励目标实现度目标自评实现度内部自评是否完成奖励目标(奖励部门内部自评)目标他评实现度专家评议是否完成奖励目标(组织专家进行评议)规章制度健全性奖种设置合理性专家评议奖项、等级、数量、奖金的设置是否合理评审指标科学性专家评议评审指标体系是否科学合理、客观可行评审流程科学性专家评议评审流程设计是否科学合理、便于操作管理规则健全性专家评议提名、受理、形审、异议处理等制度是否完善制度执行有效性受理过程规范性专家评议是否按照规定受理、形审并公示评审分组合理性专家评议评审单元及学科组别的划分是否科学合理评委安排科学性专家评议评委的遴选及结构是否科学合理评奖过程咨询考察覆盖率查验材料是否按照规定进行行业咨询、项目考察评奖质量可控性公示环节执行率查验材料是否按照规定进行公示信访异议办结率查验材料是否按照规定进行异议处理保密工作有效性查验材料是否按照规定做好保密工作过程监督覆盖率查验材料评审过程中监督工作是否及时有效档案记录完整性查验材料各类工作文档记录是否完备奖励工作满意度评审服务满意度问卷调查评审专家对科技奖励工作的满意度科技人员满意度问卷调查科技工作者对科技奖励工作的满意度奖后服务满意度问卷调查获奖人员对奖后宣传推介、后续支持的满意度奖励效果评奖结果公信力专家学者认同率问卷调查专家学者对评奖结果的认同度社会公众认同率抽样调查社会公众对评奖结果的认同度奖励效应持续性科技产出增加率实地调查奖后高质量论文、专著、专利等科技产出的增加率经济效益增加率实地调查奖后科技成果应用产生的经济效益的增加率社会效益贡献度专家评议奖后在改善民生、社会治理、人才成长等方面的作用生态效益增加率实地调查奖后在减少污染、节约资源、修复生态等方面的作用文化效益贡献度专家评议奖后弘扬科学家精神、增强公民科学素质的作用
图3 国家科技奖励绩效评价层次结构模型
表5 Satty相对重要性等级公式
等级分值aij 含义A1元素i与元素j同样重要B2重要性介于A～C之间C3元素i比元素j稍微重要D4重要性介于C～E之间E5元素i比元素j明显重要F6重要性介于E～G之间G7元素i比元素j强烈重要H8重要性介于G～H之间I9元素i比元素j极端重要反向倒数元素i与元素j的比较结果是元素j与元素i比较结果的倒数,即aji=1/aij
表6 专家结构与权威系数
专家类型及单位政府机关高等学校科研机构企业合计权威系数(院士)科技奖励评审专家023160.50(普通)科技奖励评审专家2532120.30科技奖励研究专家041050.20
表7 一级指标两两比较判断矩阵
指标A1A2A3奖励目标11/31/5评奖过程311/3奖励效果531
(6)计算最终权重。层次分析法的最终环节是全面考虑各层次指标，求出各级指标相对于一级指标的综合权重。经过对23位专家数据的加权平均计算，最终得出各级指标的综合权重，如表8所示。
表8 国家科技奖励绩效评价指标权重
一级指标综合权重二级指标综合权重三级指标综合权重0.192 3奖励目标科学性0.046 4奖励目标合法性0.010 6奖励目标奖励目标合理性0.013 9奖励目标可行性0.021 9奖励目标实现度0.145 9目标自评实现度0.042 0目标他评实现度0.103 9规章制度健全性0.074 9奖种设置合理性0.014 8评审指标科学性0.018 2评审流程科学性0.019 9管理规则健全性0.022 0评奖过程0.277 1制度执行有效性0.099 1受理过程规范性0.016 0评审分组合理性0.028 2评委安排科学性0.035 0咨询考察覆盖率0.019 9评奖质量可控性0.103 1公示环节执行率0.019 0信访异议办结率0.018 1保密工作有效性0.017 7过程监督覆盖率0.023 8档案记录完整性0.024 5奖励工作满意度0.076 7评审专家满意度0.016 2科技人员满意度0.030 3奖后服务满意度0.030 2奖励效果0.530 6评奖结果公信力0.163 2 专家学者认同率0.094 6社会公众认同率0.068 6奖励效应持续性0.290 7科技产出增加率0.028 6经济效益增加率0.044 2社会效益贡献度0.057 8生态效益增加率0.057 2文化效益贡献度0.102 9
本文遵循“基本概念—评价维度—测量指标”的逻辑理路，探析了国家科技奖励绩效评价指标体系的生成机理，构建了一套相对完善的国家科技奖励绩效评价指标体系，为实施国家科技奖励绩效评价奠定了技术基础。研究发现，在国家科技奖励绩效评价指标体系生成过程中，概念操作化是逻辑起点，从操作化层面将国家科技奖励工作划分成奖前准备、评奖过程、奖后服务3个阶段及若干个独立可测评的构成要素，这是进一步确定评价维度及其观察范围的前提和基础；评价维度解构是逻辑中介，统筹制度和价值两条评价进路，聚焦国家科技奖励实施过程与结果中体现在制度或价值层面的若干具体可观察的面向，将评价维度确定为奖励目标、评奖过程和奖励效果及若干子维度，并明确各个评价维度的关键观察事项，为测量指标筛选锁定了方向和范围；测量指标筛选与赋权是逻辑终点，聚焦各评价维度的关键观察事项，对测量指标进行实验性预选，再根据系统性、关键性和实操性等原则，对指标进行筛选，并对各层级指标赋权，一套完整的国家科技奖励绩效评价指标体系即可生成。与以往研究成果相比，本文立足于绩效评价指标生成的天然逻辑，在剖析生成机理的基础上，构建了国家科技奖励绩效评价指标体系，更为接近国家科技奖励绩效的本质内涵，更能体现国家科技奖励的核心绩效。
然而，需要指出的是，目前这套国家科技奖励绩效评价指标体系只停留在理论设计层面，其科学性和操作性还需要在实践应用中进一步检验与完善。同时，国家科技奖励绩效评价是一项全新的课题，也是一项复杂的系统工程。一套完整的绩效评价体系至少包括组织体系(主要是评价主体)、技术体系(主要是评价指标)、制度体系(主要是制度保障)、信息体系(主要是数据处理)等内容。本文仅仅研究了国家科技奖励绩效评价的技术体系问题，显然，国家科技奖励绩效评价从理论设计到付诸实践还有大量研究工作要做。
[1] 国务院办公厅.关于深化科技奖励制度改革的方案[EB/OL].(2017-06-09)[2020-02-18].http://www.gov.cn/zhengce/content/2017-06/09/content_5201043.htm.
[2] BERTELSMANN STIFTUNG.BTI 2014-codebook for country assessments,gutersloh[M].Bertelsmann Stiftung,2014：5.
[3] 财政部,科技部.国家科学技术奖励绩效评价暂行办法[EB/OL].(2019-12-17)[2020-02-18].http://www.gov.cn/zhengce/zhengceku/2020-01/10/content_5468130.htm.
[4] 费孝通.乡土中国[M].上海：上海人民出版社，2006：22-23.
[5] 龚建桥.科技奖励的评审方法及指标体系[J].科学学研究,1989，7(3):66-72.
[6] 胡宗义,钱健,刘亦文.基于模糊灰色关联分析法的科技奖励评价[J].统计与决策,2009，25(11):152-154.
[7] 曹玮,王瑛.基于改进CRITIC-CPM的科技奖励评价模型[J].科学学与科学技术管理,2012,33(2):17-21.
[8] 王瑛,王娜,肖薇.基于随机森林赋权和改进ELECTRE-Ⅲ方法的科技奖励评价研究[J].湖南大学学报(自然科学版),2015,42(3):140-144.
[9] 王福涛.国家科技奖励成果的转化与应用分析[J].中国科技论坛,2006(4):32-35.
[10] 危怀安.促进国家科技计划与国家科技奖励互动发展[N].光明日报,2006-08-28(006).
[11] 杨兰蓉,陈强,郭潇.国家科技奖励获奖项目成果推广应用的综合激励政策[J].科技进步与对策,2006，23(6):17-19.
[12] 危怀安,胡晓军.国家科技奖励获奖成果的经济效益分析[J].科研管理,2007，28(2):146-151.
[13] 杨兰蓉.国家科技奖励获奖项目继续研究开发的意义及需求分析[J].中国行政管理,2009(3):54-56.
[14] 陈银花.获奖科技成果的后评价研究[D].上海：华东理工大学,2012.
[15] 中国建筑材料联合会科技工作部.2007—2011年建材行业获得国家科技奖励成果的奖后跟踪调查研究[J].中国建材,2013(11):65-75.
[16] 滕跃.基于ISO9000标准的政府科学技术奖励质量管理体系研究[D].武汉：武汉大学,2010.
[17] 熊小刚.国家科技奖励制度运行绩效评价研究[D].武汉：华中科技大学,2011.
[18] 熊小刚,徐顽强.基于群组决策分析的国家科技奖励制度运行绩效评价指标体系研究[J].软科学,2012,26(5):45-50.
[19] 危怀安,张成伟.国家科技奖励工作后评估：逻辑起点与对象分析[J].科技管理研究,2019,39(19):28-32.
[20] 杨艳东,刘洪民.人力资源管理[M].北京：机械工业出版社，2013：134.
[21] 风笑天.社会研究方法[M].北京：中国人民大学出版社，2013：86.
[22] 国家科学技术奖励工作办公室.科学技术奖励质量管理体系建立与实施[M].北京：中国标准出版社,2008：106.
[23] 张德淼,李朝.中国法治评估进路之选择[J].法商研究,2014，31(4)：3-12.
[24] 谭玮.法治社会评价体系研究[D].广州：华南理工大学,2017.
[25] 财政部.财政支出绩效评价管理暂行办法[EB/OL].(2016-09-27)[2020-02-14].http://yss.mof.gov.cn/zhuantilanmu/zyysgl/201609/t20160927_2427776.htm.
[26] 国家自然科学基金委员会.国家自然科学基金2017年度绩效评价报告[EB/OL].(2018-03-10)[2020-02-14].http://www.nsfc.gov.cn/publish/portal0/xxgk/0451/.