监督评估是推动重大科技计划科学、高效、有序实施的制度保障，是提高科技资源投入产出效率、提升科技管理水平、保障国家战略目标实现的重要手段。欧盟框架计划在实施过程中建立了相对完善的监督评估体系，国内学者对欧盟框架计划的监督评估实践及体系演变开展了一系列研究。在监督评估实践做法方面，李秀菊等聚焦欧盟框架计划的科学与社会行动计划，对其中期评估的目的与方法、过程与标准、评价结果等进行了分析，对中国科普相关科技计划的评价提出了启示建议。程如烟对“地平线欧洲”计划事前评估的方法和主要结论进行阐述，提出了对中国科技计划事前评估的启示建议。陈敬全针对2011年以前的欧盟框架计划评估活动，围绕法律基础、组织实施方式、评估对象、评估方法和评估案例等做了介绍和分析。在监督评估体系构建及演变方面，曲瑛德等以“地平线2020”计划的年度监测与中期评价资料为基础，剖析了其监测评价体系的内在机制、核心特征，并据此提出了对“双一流”建设成效评价的启示。陶蕊等对欧盟第七框架计划之前的框架计划评估历程、评估类型、组织模式等进行分析，剖析了欧盟框架计划评估体系的发展历程。上述研究均为针对某一项具体评估或者较早期的评估开展分析，本文选取了近年来欧盟委员会开展的第七框架计划事后评估、“地平线2020”计划中期评估及“地平线欧洲”计划事前评估，围绕评估目的与框架、方法与实践等开展系统分析，总结了欧盟框架计划监督评估体系的特点，为中国重大科技计划监督评估体系的设计提出了相应建议，以供决策参考。
一、评估目的与框架
1.1 将推动欧盟框架计划顺利实施作为核心目的
作为欧盟乃至全球投入规模最大的科技计划，欧盟框架计划监督评估工作历来备受关注，其总体目标在于为管理层提供关键信息和建议，优化计划的执行和管理，确保框架计划顺利实施和高效执行，并为未来科技计划实施提供经验和借鉴。“地平线欧洲”计划事前评估是伴随欧盟委员会提出该计划建议同时开展的，其重要目的在于对计划实施情况做出预判，为计划立项决策提供科学依据。“地平线2020”计划中期评估的目的在于推动该计划后续两年的阶段计划顺利实施，并为后续框架计划实施提供参考意见。第七框架计划事后评估旨在向欧洲议会、欧洲理事会以及各成员国、研究界、公众和其他利益相关方通报该计划取得的成效影响，并为改进“地平线2020”实施和制订未来框架计划提供意见。
1.2 通过逻辑框架厘清计划内在逻辑关系
“地平线欧洲”计划事前评估、“地平线2020”计划中期评估及第七框架计划事后评估均通过变革理论梳理了计划实施的逻辑关系，并基于逻辑框架设置了有针对性的评估内容。“地平线2020”计划的中期评估，从计划的宏观发展目标出发，分析了计划实施的投入及活动、成果、成效和影响，并通过线性关系明晰了计划实施各环节的因果关系，同时，通过逻辑框架也将这些要素与欧洲经济社会对科技创新的需求以及外部政策环境进行联系（见图1）。具体而言，该计划通过经济支持和非经济支持，设立各类项目（课题），预期产出人才、知识、产品和政策等不同方面成果，发挥提升科技创新能力、促进跨部门与跨学科协同、推动成果转化以及提升企业创新竞争力等作用，并最终产生长期的科技影响、经济影响和社会影响。在此逻辑框架指导下，评估组建立了与“地平线2020”计划相适应的评估指标体系，明确了评估重点内容，提升了评估的针对性，保障了评估质量。
1.3 根据管理需求设定评估内容
科技计划在实施前、实施过程中以及实施结束后，对科技管理决策的要求各不相同。因此针对事前、事中、事后等不同评估时间节点，欧盟框架计划的评估者设计了与之相对应的评估内容及指标体系，以确保对框架计划的有效监督和持续改进。
在科技计划启动实施前，需综合考虑计划实施的必要性、可行性及预期效益等因素，决策是否对该计划予以立项，因此，欧盟框架计划的事前评估内容一般侧重于计划的政策相关性、经济社会发展需求相符性以及预期可能产生的经济社会效益等。“地平线欧洲”计划事前评估，一是对该计划目标定位及任务部署与欧盟战略需求相符性进行了评估，将计划的战略目标及任务布局与欧盟面临的科技创新需求及经济、社会发展问题进行了对应分析；二是对“地平线欧洲”计划与“地平线2020”计划相比采取的改进措施进行了评估，包括该计划如何改进以及改进措施将产生的欧盟附加值等；三是采用宏观经济模型对预期产生的经济社会效益进行了分析，结果表明，以“地平线2020”计划实施结束后产生的经济影响作为基线，“地平线欧洲”计划实施预计将产生0.04%～0.10%的国内生产总值（GDP）增长，到2027年左右将创造超10万个工作岗位、2035年左右将产生超20万个工作岗位。
科技计划实施过程中，需综合考虑实施进展情况及科技、经济、社会发展趋势的变化等，考虑是否对目标定位、任务部署及管理机制等进行适时调整，因此欧盟框架计划中期评估的评估内容一般涵盖计划实施与科技、经济及社会发展趋势的相关性，计划组织管理情况，目标实现程度，经济社会效益等。“地平线2020”计划的中期评估内容包括：一是该计划正确解决问题的情况，根据新的科技和经济社会发展趋势做出相应调整的情况，以及与利益相关者需求相符情况；二是计划组织管理架构的有效性，组织管理及资金分配的效率，计划实施的成本效益；三是计划实施产生的科技效益（促进科技创新能力提升及科技创新融合等）、经济效益（创新成果转化与扩散等）、社会效益（解决社会需求及为制定政策提供科学支撑）和目标实现程度等；四是计划实施的协同性，即计划任务部署协同性、与欧盟其他科技计划的协同性、与欧洲地区或国家其他计划的协同性等；五是“地平线2020”计划实施相比国家和地区原有水平产生的欧盟附加值。
除了实施中期节点的大型评估活动，在实施过程中也需要实时监测计划的组织管理及实施进展情况，因此需要开展年度监测工作。“地平线2020”计划的年度监测维度包括：一是计划的项目立项情况，即立项数量、资助金额、申报数量及成功率等；二是计划整体运行情况，包括项目进度、与其他资助计划的协同和伦理安全审查情况等；三是计划实施进展情况，重点监测该计划三大战略优先领域、4个单列计划和14个交叉领域的关键指标变化情况；四是对开放创新的典型案例进行分析；五是对利益相关者开展年度调查。
欧盟框架计划通常会在计划实施结束2～3年后开展事后评估，评估重点放在计划实施情况及其对于科学、经济、社会发展趋势产生的持续影响上，并对后续框架计划实施提出相应建议。欧盟第七框架计划事后评估包括：一是对该计划与第六框架计划的衔接情况，科学知识、人才、技术创新等成果产出情况，计划资金分配、参与主体、国别分布及监督评估等组织管理情况进行评估；二是对科学影响进行评估，包括计划实施产出的基础设施应用情况、研究人员获益情况、欧盟科技竞争能力提升情况、人才引进及在欧洲内部流动情况、国际科技合作情况、欧盟国家科技创新体系优化情况等；三是对经济影响进行评估，包括对欧洲宏观经济及就业增长、欧洲经济竞争力、欧洲工业基础和欧洲中小企业竞争力的影响；四是对社会影响进行评估，包括公民在计划实施中扮演的角色、男性和女性科研人员的从业公平情况、社会挑战解决情况等。
1.4 充分运用评估结果改善管理
欧盟建立了较为完善的监督评估结果应用机制，并切实将评估结果应用到了改进后续框架计划的实施中。一是欧盟委员会针对历次监督评估结果均做出了反馈。例如，第七框架计划的事后评估报告提出应提升框架计划管理效率。针对此条建议，欧盟委员会在回复中指出，他们认同该条建议，并将在后续“地平线2020”计划实施中采取一系列措施提升管理效率。并提出了增加专业机构数量、设立专门部门提供管理咨询服务、不同子计划采用同样的管理办法等的具体措施。二是评估结果为科技计划调整提供了重要的决策支撑。“地平线欧洲”计划在设计过程中，充分吸收了“地平线2020”中期评估建议。综合“地平线2020”计划中期评估报告和《拉米报告》，欧盟委员会对“地平线欧洲”计划提出了8点建议，包括要加大研发投资力度，部署任务导向型项目，加大研究基础设施投入，加强国际合作，加强第三国参与等，上述意见在“地平线欧洲”计划的顶层设计过程中均被纳入考虑，且被充分采纳。
二、评估方法与实践
欧盟框架计划评估中，注重结合计划本身的复杂性、创新性等特点，科学选用评估方法，包括问卷调查、案卷分析等定性评估方法，文献计量、技术就绪度（Technology Readiness Level，TRL）评价等定量评估方法，以及基线与标杆分析法、关键影响路径分析等综合评估方法，评估方法的合理选用一定程度上确保了评估证据的全面客观，也为保证监督评估质量提供了坚实基础。
2.1 利用已有数据信息，提供评估实证基础
欧盟框架计划的监测评估体系相对完善，其过程中积累的数据信息为开展案卷研究提供了有利条件。第七框架计划事后评估过程中收集并分析了152篇关于第七框架计划的评估报告、研究报告及专题分析报告等，评估报告包括年度监测报告、年度评估报告、第七框架计划中期评估报告及对健康、农业、环境和能源等不同学科领域的评估报告，研究报告包括不同专家学者对第七框架计划投入产出、地域分布、科学及经济社会影响的研究分析等，专题分析报告则主要包括由欧盟委员会开展的关于中小企业创新发展、国际合作、公私伙伴关系等的分析报告，评估中对这些报告进行了深入研究分析，并从中提取、总结了与评估议题和结论相关的信息。欧盟框架计划监督评估通过充分发掘和利用已有数据积累，为评估工作提供了坚实的证据基础，并提高了评估的衔接性。同时，充分利用现有数据也避免了重新收集和整理信息等烦琐工作，减轻了评估工作量，减少了对科研人员的影响，确保了评估的高效性。
2.2 通过问卷调查法，收集不同利益相关者观点
欧盟框架计划在实施过程中，不仅涉及多个国家和地区，还牵动了众多利益相关者，包括政府部门、工业界、学术界、科研人员以及广大社会公众等。采集利益相关方的观点对于评估计划实施成效至关重要，而调查问卷作为一种高效的评估方式，尤其是借助互联网工具，极大地降低了成本并提升了效率，且覆盖了不同利益相关者。“地平线2020”计划中期评估采用了线上问卷调查的形式，对计划的相关性、有效性、效率和一致性等问题进行了全面调查。调查共收到来自全球69个国家的3483份回复及近300份意见书，参与者中既有直接参与计划的个人或机构，也有积极表达观点的社会公众。值得注意的是，由于利益相关方的多元性，同一问题可能呈现出不同的观点。在“地平线2020”计划中期评估的问卷调查中，私人营利组织与其他利益相关者群体就某些问题表达了相反的意见。评估组在公众咨询结果摘要中，客观公正地呈现了这两种对立的立场，确保了评估结果的全面性和公平性。这种广泛采集利益相关方的评估信息并在报告中充分反映不同观点的方式，不仅有助于增加评估的可信程度，还能为政策制定者提供更为全面和深入的参考依据。
2.3 运用文献计量法，提升产出和成效评估的客观性
在欧盟框架计划实施背景下，文献计量法用于帮助识别和跟踪计划产出科研成果的国际影响力、科研合作的效果以及对科技创新的促进作用等。“地平线2020”计划中期评估对Scopus数据库中2005—2014年欧盟、美国、中国、日本及韩国的科学文献数量、质量及被引用情况进行了分析。第七框架计划事后评估也采用了文献计量法对Web of Science数据库中2002—2012年的文献进行分析，对计划支持的所有项目产出的论文总数、平均每个项目产出的论文数量、论文被引用情况等进行统计分析，并与第六框架计划及同时期其他计划进行了比较研究。文献计量法通过提供基于数据和统计的客观评估方法，为评估学术产出及其质量带来了更为科学、系统和标准化的视角，但文献计量指标仅是评估体系中的一个组成部分。为了获得更为全面且深入的评估结论，需要将其与同行评议等定性分析手段相结合，从而确保评估的全面性和准确性。
2.4 采用技术就绪度评价法，增强对技术评估的精细度
欧盟框架计划执行过程中，对于项目（课题）的技术就绪度实施了精细化管理。例如，欧盟创新基金的能源项目，设定了明确的技术就绪度要求，通常要求申请资助项目达到TRL7～8级的水平。这一要求意味着项目必须具备一定的技术成熟度和验证度，才能获得资助。然而，在“地平线2020”计划的实施过程中，一些利益相关者表达了担忧，他们认为该计划可能过于偏向资助技术就绪度较高的项目，这种倾向可能会对基础研究和原创性创新发展产生不利影响。为了解决这一问题，并确保计划能够均衡地支持各类科研活动，“地平线2020”计划中期评估特别对资助项目的技术就绪度分布进行了细致的分析，以回应利益相关者的关切。技术就绪度评价分析结果用于确保“地平线2020”计划能够充分考虑科研活动的多样性，平衡对高技术就绪度项目的支持与对基础研究和创新初期阶段项目的资助，从而进一步优化资金分配，并促进欧洲科研生态系统的健康发展。
2.5 设定关键影响路径，提高对影响评估的科学性
为确保政策制定者和广大公众能够定期、深入地了解“地平线欧洲”计划对欧洲科学、经济和社会产生的广泛影响，开展影响评估前，预先设定了关键影响路径，并沿路径开展分析。关键影响路径具体分为科学影响、社会影响和经济影响3条，每条路径又分为3条子路径（见图2），均按照短期（通常为计划实施1年后）、中期（通常为计划实施3年后）和长期（通常为计划实施5年后）制定了定量指标。例如，科学影响分为“产出高质量知识”“人才培养”“知识传播和开放科学”3条子路径，其中“产出高质量知识”的短期影响指标为“计划实施产出的出版物数量”，用于直接反映科研活动的产出效率；中期影响指标为“出版物的引用情况”，是评估科研成果学术影响力和专业认可度的重要指标；长期影响指标为“出版物在世界排名首位高被引出版物中所占比例”，用于反映科研成果的可持续性价值和国际竞争力。此外，社会影响路径包括“解决欧盟政策优先事项和应对全球挑战”“带来社会效益”“提升欧洲社会对科研重视程度”3条子路径，经济影响路径包括“基于创新产生的经济增长”“创造就业机会”“撬动研发投资”3条子路径，针对这6条子路径，欧盟委员会也分别制定了短期、中期和长期的评估指标。经过关键影响路径的研究设定，欧盟委员会清晰界定了框架计划影响评估的关键维度。通过构建一套短期、中期、长期影响的定量指标体系，赋予了影响评估可量化的特征，提升了影响评估的科学性。此外，指导评估过程实时关注计划实施情况，并有针对性地采集相关信息，提升评估的时效性和有效性。
2.6 通过基线与标杆分析法，提升评估实施进展的准确性
在“地平线2020”计划的中期评估中，评估者采用了第七框架计划的成果产出和社会经济影响作为“地平线2020”计划实施的基线。通过这种对比分析，可以更清晰地衡量“地平线2020”计划在实施过程中的成效和进步。同样，在“地平线欧洲”计划实施的初期阶段，欧盟委员会委托独立专家团队进行深入研究，为该计划实施影响路径中的每一个指标都设定了明确的基线和标杆。例如，出版物数量的基线被定义为没有框架计划干预情况下的预期数量，而标杆则是“地平线2020”计划实施下的出版物数量。通过设定基线与标杆，可以清晰观察到关键指标的变化情况，使得评估工作更加具有针对性和可比性，有助于准确评价“地平线欧洲”计划的实施效果。
三、启示与建议
伴随欧盟框架计划实施所建立的较为系统完善的监督评估体系，为确保该计划的顺利推进和高效实施发挥了至关重要的作用。其中，全流程监督评估的体系化安排、评估方法的科学使用及监督评估结果的有效应用尤其值得学习借鉴。
3.1 完善监督评估体系，开展全流程监督评估活动
建议中国在重大科技计划实施过程中，依据实施阶段，系统安排部署评估活动，构建适合中国科技计划实施的监督评估体系。一是围绕科技计划实施的整个生命周期，根据不同实施阶段，开展重大科技计划实施方案评估、阶段计划评估、年度指南评估、年度监测评估、阶段监督评估以及事后影响评估等评估活动，确保计划实施关键节点的管理决策都有评估结论支撑。二是绘制逻辑框架，梳理科技活动实施逻辑关系，并有针对性地设置评估指标，提升评估结果应用的针对性，提高评估质量。三是根据重大科技计划实施阶段的不同管理需求，设计评估的重点内容，对于事前评估，应着重考虑目标科学性和可考核性、任务部署合理性及对目标的支撑程度、组织管理机制完善性和有效性、预期效果影响等。年度监测阶段，评估应重点集中于年度任务部署和完成情况、组织管理效率、年度实施整体进展等。阶段监督评估可将重点放在实施进展情况、阶段目标完成情况、成果产出情况及经济社会效益上。事后影响评估重点在于计划实施对科技创新、经济社会和国家安全产生的长期影响和贡献等。通过这样分阶段、有针对性的评估，可以更有效地监督和管理重大科技计划的实施，推动计划目标的实现和资源的最优配置利用。
3.2 注重积累客观证据，加强定量评估方法应用
虽然，对比欧盟框架计划的监督评估方法，中国重大科技计划监督评估也广泛采用了案卷研究、问卷调查等方法，但案卷研究的信息基础较为薄弱，问卷调查的对象较为集中，同时，中国科技计划监督评估对于基线和标杆法的应用较少，对于影响评估多以主观判断为主，对其路径分析和定量指标体系构建不够深入科学。因此提出如下建议：一是在实施过程中丰富数据积累，通过建立监测评估信息系统，定期更新科技计划实施相关数据，为科技计划监督评估奠定项目管理、监督及成果等方面数据基础。二是适度扩大调查问卷对象范围，广泛收集不同利益相关者的意见和建议，从而更全面地了解科技计划实施的实际情况，为决策提供更加可靠和有效的依据。三是明确计划实施的基线及标杆，为重大科技计划实施提供参考标准，监督评估时，可通过客观指标变化反映计划实施进展或成效和影响，及时发现实施过程中的差距和不足，从而调整策略，确保计划顺利推进。四是对于实施影响的评估，建议参照欧盟框架计划的做法，明确科技计划实施对科技、经济及社会的短期、中期和长期影响路径，并科学制定指标体系，实现主观判断客观化，提升评估的科学性。
3.3 健全评估反馈应用机制，强化评估结果运用
中国已开展的重大科技计划监督评估虽然也起到了“掌握实情、发现问题并提出建议举措”的重要作用，但一些评估意见并未得到有效采纳，有些监督评估发现的问题也存在“长期挂账”的问题。因此，建议建立评估结果的反馈应用机制，一是拓宽结果应用场景，评估报告提交至管理方后，管理方可根据评估结果的优劣，对评估对象予以适当奖励激励或监督问责。二是强化对被评对象的指导作用，评估对象或其他需改进的利益相关方须对评估报告提出的问题和建议提出相应改进措施，并对改进情况进行公布。三是提升公众了解度，针对不涉及保密内容的科技计划监督评估工作，积极探索并推动向社会公众公开或部分公开相关报告，引导相关单位和人员认真对待评估意见，积极采取改进措施。通过评估结果反馈机制的建立和实施，可以促进评估意见转化为实际的改进措施，推动科技计划实施的持续优化。同时，也可提升科技计划监督评估工作的权威性和影响力，使其真正成为推动科技创新和发展的重要手段。
作者：应益昕，王晔博，冯洁，翟岩，庞宇
（科技部科技评估中心，北京 100081）
来源：《全球科技经济瞭望》 2024年5月第39卷 第5期
文章观点不代表主办机构立场。
声明：本文来自科情智库，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
