国际金融组织贷款项目绩效评价操作指南

第一章  《指南》的目的和使用

为推进国际金融组织贷款项目科学化、规范化管理，提高贷款资金使用效益，完善绩效评价管理体系，财政部于2013年3月发布实施了《国际金融组织贷款项目绩效评价管理办法》（以下简称《办法》）。本《指南》是实施《办法》的配套技术文件，目的在于说明绩效评价工作的有关内容、程序和方法，确保评价工作规范开展，评价结论客观公正，充分发挥评价作用。

本《指南》针对国际金融组织贷款项目的绩效评价工作而设计,使用者主要包括各级财政部门及其他政府部门中负责绩效评价管理的人员、各级国际金融组织贷款项目管理办公室（以下简称项目办）管理人员、参与国际金融组织贷款项目绩效评价的评价人员、咨询专家及其他相关人员。本《指南》主体按照绩效评价实施流程编写，整体框架如图1-1所示，其中“评价准备”、“评价结果应用与公开”、“质量控制”属于绩效评价管理部门职责，“评价设计”、“评价实施”和“评价报告”属于评价小组职责。

第二章  评价概要

2.1  评价定义

国际金融组织贷款项目绩效评价（以下简称绩效评价），是指运用一定的评价准则、指标和方法，结合国际金融组织贷款项目预先设定的绩效目标，对项目绩效进行科学、客观、公正的评价。项目绩效评价以项目目标为导向，对项目全过程进行综合评价，全面考察项目的设计、实施、管理、结果及影响，旨在为改进项目设计、完善项目管理、提升项目绩效、优化政府决策和推广最佳实践提供有效信息。

2.2  评价原则

绩效评价工作应当遵循以下基本原则：

1、依法实施，科学规范。依据国家相关法律、法规和政策制度开展评价工作；评价指标要科学客观，评价方法要合理规范，基础数据要真实准确。

2、客观公正，公开透明。坚持中立立场，从客观实际出发，以事实为依据，公平合理开展评价工作；评价结果要依法公开，接受监督。

3、统一领导，分级管理。财政部负责总体推进和加强绩效评价工作；中央部门和地方财政部门分别负责本部门、本地区的绩效评价工作。

4、目标导向，各方参与。以项目绩效目标作为绩效评价工作的起点和评价标准；在评价过程中推动利益相关方积极参与。

2.3  评价对象

绩效评价对象即国际金融组织贷款项目，应根据项目所处的不同阶段开展相应的绩效评价工作。对于完工项目，应当于项目完工3年内组织一次完工项目绩效评价。对于在建项目，应当于项目实施期内开展一次在建项目绩效评价，在建项目绩效评价可与项目中期调整检查结合进行。

2.4  评价准则

绩效评价主要对绩效评价对象（被评国际金融组织贷款项目）的相关性、效率、效果和可持续性四方面（即四个准则）进行评价。每个评价准则下对应若干关键评价问题以及一系列具体评价指标。绩效评价正是通过考察分析各个评价指标的实际达成情况，来衡量被评项目的四方面绩效。

1、相关性，是指项目目标与国家、行业和所在区域的发展战略、政策重点以及需求的相符程度；

2、效率，是指项目投入和产出的对比关系，即能否以更低的成本或者更快的速度取得预计产出；

3、效果，是指项目目标的实现程度以及实际产生的效果和相关目标群体的获益程度；

4、可持续性，是指项目实施完工后，其独立运行的能力和产生效益的持续性。

完工项目应对上述四方面进行全面评价，在建项目应重点评价相关性、效率和效果。

2.5  绩效目标

绩效评价是一种以目标为导向的评价体系，即运用特定的分析评价方法，衡量对比项目投入产出、管理效率、实施效果影响等方面符合既定绩效目标的程度，从而评价一个项目成功或顺利与否。绩效目标是绩效评价的基础和前提，是被评价项目计划在一定期限内达到的产出、效果和影响等。绩效目标一般应跟项目内容吻合，科学合理、具体明确、可以衡量，项目绩效目标一般在项目立项阶段的评估文件或设计文件中有明确阐述。

2.6  评级方法

《办法》规定，项目绩效分为四个等级，完工项目分别是高度成功、成功、比较成功、不成功；在建项目分别是实施顺利、实施比较顺利、实施不太顺利、难以继续实施。绩效评级的具体做法是：（1）根据绩效评价框架收集有关项目绩效目标完成情况的证据；（2）运用特定的分析方法和打分标准，根据收集整理的证据，对每个评价指标、关键评价问题和评价准则进行递进式打分、评级；（3）根据四个评价准则的权重设置，对四个准则的评价分值进行加权平均，算出项目绩效分值；（4）根据绩效分值确定项目绩效等级。绩效评价分值采用百分制。评价准则的权重、项目绩效分值与对应绩效等级参见表2-1。每个准则的评级规则详见5.2.2节。

2.7  评价步骤

绩效评价包括评价准备、评价设计、评价实施、评价报告、评价结果应用五个步骤（评价质量控制贯穿整个评价过程）。每个步骤的详细内容和方法将在以后各章进行阐述。

1、评价准备

编制评价任务书，成立评价小组等。

2、评价设计

设计绩效评价实施方案，包括开发绩效评价框架，设计面访、座谈会和实地调研的问题清单，分解任务与制定时间表等。

3、评价实施

按照评价实施方案收集、整理、审核相关数据资料，评定项目绩效等级，剖析存在问题，形成综合评价结论。

4、评价报告

在充分听取利益相关方意见的基础上，编写绩效评价报告，并及时上报。

5、评价结果应用

项目实施部门运用评价结果加强项目管理，提升实施绩效；财政部门运用评价结果与国际金融组织及相关部门沟通，改进战略决策，优化资源配置，推广先进经验。

第三章  评价准备

绩效评价准备工作围绕编写评价任务书和成立评价小组展开，由管理部门负责。管理部门首先应根据本部门、地区绩效评价年度计划和项目实施情况，确定被评价项目，并着手准备评价工作。

3.1  编写评价任务书

3.1.1  评价任务书的作用

评价任务书是管理部门对绩效评价工作的总体要求，是评价活动必须遵循的核心文件，主要有以下四方面作用：

· 将年度评价计划中的任务转化为可操作的评价工作；

· 为评价小组的评价设计和实施提供基础；

· 为各利益相关方对评价任务达成共识提供基础；

· 为管理部门控制评价质量、核查评价小组任务完成情况提供依据。

3.1.2  评价任务书的内容

评价任务书应包括以下内容：评价目的、项目描述、评价范围、利益相关方、关键评价问题、证据收集与分析方法、预期成果、评价小组、实施计划、费用与支付、管理部门责任等。评价任务书格式参见附件一。

（1）评价目的

评价任务书应明确评价目的，说明为何开展此项评价，评价结果如何应用，由谁使用。

（2）项目描述

对项目背景、项目目标、项目构成、实施情况等方面进行简要描述，以便评价人员能够迅速了解项目基本情况。

· 项目背景：项目所在地区的经济社会发展状况，项目所在的领域，项目要解决的主要问题，如贫困地区的基本医疗卫生服务不足问题、城市交通发展瓶颈问题、环境污染问题等。

· 项目目标：项目的预期目标，要包括项目在一定时期内应实现的绩效目标。

· 项目构成：为实现项目绩效目标而开展的一系列相关项目内容和活动。

· 实施情况：项目的实施机构、实施周期、实施地点、实施过程、实施结果。

（3）评价范围

说明绩效评价的时间范围、地域范围和受益群体范围。评价范围通常与评价目的有关。比如，对于一个以贫困地区儿童为目标受益群体的基础教育项目，如果管理部门只希望评价该项目对贫困女童的作用，受益者群体的评价范围便是贫困女童。

（4）利益相关方

列举政府部门、国外合作伙伴、项目办、项目实施机构、项目运行机构、目标群体、社区等项目利益相关方，说明他们将在绩效评价中发挥的作用和可能提供的帮助。目的在于促进项目利益相关方的了解，并尽可能从他们那里收集绩效评价所需信息。

（5）关键评价问题

列出应评价的关键问题。本《指南》针对四个评价准则统一设计了若干个必须回答的关键评价问题（对于完工项目有11个关键评价问题，对于在建项目有10个关键评价问题）。管理部门可以根据需要强调其中的若干问题，但原则上不宜增加其他关键问题。关键评价问题的内容详见4.2.1节。

（6）证据收集和分析方法

根据需要，提出本次绩效评价应采用的证据收集方法和分析方法。由于各种方法的实施成本不同，选择方法时要充分考虑预算限制。

（7）预期成果

说明对绩效评价工作预期成果的要求，包括报告的格式和内容等。管理部门如果要将绩效评价报告提交给国际金融组织，还应完成报告的英文版本。

（8）评价小组

说明评价小组完成评价任务所需要的知识、能力和经验，以及对评价小组构成的建议。

（9）实施计划

说明评价任务将要开展的活动及其时间安排，尤其是评价成果提交的时间节点。表3-1列出了评价任务实施的关键时间节点和任务负责人，详细的实施计划由评价小组制定。

表3-1评价任务实施计划模板

（10）费用与支付

说明评价任务的预算费用和支付方式。

（11）管理部门责任

写出管理部门在绩效评价中的责任，包括提供相关项目文档，为评价小组提供协调，参与绩效评价实施过程中的某些活动，如实地调研、座谈会和讨论，对绩效评价进行质量控制等。

3.1.3  评价任务书的编写步骤

评价任务书由管理部门进行编写。编写评价任务书一般包括四个步骤：前期准备、编写评价任务书初稿、与利益相关方沟通、形成评价任务书终稿。

（1）前期准备

在编写评价任务书之前，评价管理者要明确评价目的，熟悉项目的经济社会背景，了解项目的实施和完成情况，充分掌握项目现有信息资料。

在这个阶段，对被评项目进行“可评性”评价非常重要。这包括项目目标是否清晰，项目现有资料完整情况，主要的项目相关人是否能够找到，收集可靠数据的难度大小等。如果项目不具有可评性，那么应该替换掉，否则绩效评价将很难开展，并且造成资源浪费，同时评价结果的有用性也将大打折扣。

（2）编写评价任务书初稿

管理部门在前期准备和估算评价可用经费、人员和时间等资源的基础上，按照章节3.1.2的内容要求，编写评价任务书初稿。

（3）与利益相关方沟通

管理部门应就评价任务书初稿与项目主管部门、项目办等利益相关方沟通，充分听取他们的意见和建议。如成立了评价顾问组，还应征求顾问组对评价任务书的意见和建议。

（4）形成评价任务书终稿

管理部门在充分考虑各方意见和建议的基础上，修订评价任务书初稿，形成评价任务书终稿。

3.1.4  评价任务书的质量控制

评价任务书对绩效评价的成功实施至关重要，在确定最终评价任务书之前，管理部门应对其质量进行核查，核查问题清单参见专栏3-1。

3.2  成立评价小组

管理部门可以直接开展绩效评价，也可以根据需要聘请符合条件的中介机构或外部专家实施绩效评价。无论采取哪种方式，管理部门应指派一名评价管理者负责评价的组织管理和质量控制工作，并组建合格的绩效评价小组实施绩效评价。

3.2.1  评价管理者

评价管理者应熟悉被评价项目，并履行以下职责：

· 编写评价任务书；

· 指导评价小组理解评价任务书内容；

· 为评价活动提供必要支持；

· 监督评价活动并实施质量控制；

· 对评价活动中出现的问题做出及时回应；

· 在委托合同需要变更时，与评价小组进行协商；

· 促进评价小组与政策制定者、项目管理者沟通；

· 审查评价报告初稿是否符合合同和《指南》的要求；

· 组织利益相关方对评价报告初稿提出反馈意见；

· 审定评价报告终稿；

· 促进评价结果的应用和公开。

3.2.2  绩效评价小组

（1）评价小组的构成

评价小组由绩效评价专家、行业专家等评价人员组成。管理人员可作为评价小组成员（也可担任评价小组组长），评价小组成员不得与项目有直接利益关联。评价小组成员应各具专业特长，通过优势互补使评价小组胜任评价任务。

评价小组应具备以下知识和能力：

· 绩效评价知识和技能：绩效评价的理论知识、操作方法和相关技能，如经济分析、统计分析、社会调查等。

· 行业知识：熟悉项目所在行业或领域的背景、发展状况、相关政策、专业知识等。

· 组织协调能力：组织和调动各种资源，协调评价中不同任务的进展，推动评价任务在规定时间内完成。

· 沟通能力：与利益相关方进行友好沟通，促进利益相关方参与绩效评价，并向项目管理者及时有效地报告评价结果。

· 熟悉当地情况：熟悉当地文化背景，了解当地经济社会发展重点和相关政策。如项目目标群体涉及少数民族，应了解并尊重其习俗。

（2）评价小组组长的职责与资格条件

评价小组应指定一名组长，组长需具备以下条件：

· 具有较为深厚的绩效评价知识和技能；

· 具有领导力和团队管理技巧；

· 熟悉被评项目所在行业或领域的政策规定、技术知识、管理模式等；

· 具备三年以上公共支出项目绩效评价或相关经验；

· 具有良好的信誉。

评价小组组长应履行以下职责：

· 与管理部门沟通；

· 领导和管理评价小组日常工作；

· 协调和整合评价小组内部意见；

· 确保评价小组按照评价任务书实施评价；

· 组织编写评价报告。

第四章  评价设计

绩效评价设计的目的是将评价任务书转化为操作方案，确保评价工作顺利实施。评价设计由评价小组负责，这个阶段的主要成果是绩效评价框架和《绩效评价实施方案》。在此过程中，评价小组应与管理部门充分沟通并达成一致。评价设计流程如图4-1。

图4-1 绩效评价设计流程

4.1  前期准备

4.1.1  理解评价任务书

评价小组应与评价管理者充分沟通，准确理解管理部门的意图和评价任务书的内容，包括评价目的、关键评价问题、现有资料情况、对评价任务的时间和报告要求等。

4.1.2  评价任务分解与分工

评价小组在充分理解评价任务书后，首先应对评价任务进行分解，即明确应开展哪些活动。评价任务一般包括前期准备、设计、实施、报告等活动，每项活动还可能包括若干子活动。评价小组还要确定每项活动的产出（如项目基础信息表、绩效评价框架、评价实施方案、面访和座谈会的问题清单、评价报告等）。

评价小组根据分解后的评价活动和小组成员的专长进行分工。对于需要多个小组成员共同完成的活动，组长应指定一名小组成员负责活动的产出。

4.1.3  案卷研究

前期准备阶段需要对现有资料进行案卷研究。研究的项目文件主要包括项目评估文件、项目管理手册、项目进展报告、项目中期检查报告、项目完工报告、中方项目总结报告、国际金融组织的其他报告等。其中国际金融组织贷款项目相关文件参见表4-1所示。

表4-1 国际金融组织贷款项目相关文件

在案卷研究的基础上，评价小组应形成《国际金融组织贷款项目基础信息表》，模板如表4-2所示。

表4-2 国际金融组织贷款项目基础信息表

4.1.4  确定利益相关者

评价小组在评价任务书所列项目利益相关者的基础上，通过案卷研究，最终确定项目的利益相关者，并分析他们如何参与项目设计、实施、运行，或使用项目成果（受益）。这一工作有利于评价小组更有针对性地开展面访、座谈会或实地调研，有利于收集到更有效的证据。项目的利益相关者一般包括以下几类：

· 国际金融组织：为项目提供贷款、赠款和其他援助的国际组织；

· 中方管理部门：与项目相关的各级政府部门，包括财政部门、发展改革部门、行业部门等；

· 项目单位：包括各级项目办、负责项目实施和运行的机构；

· 项目受益者：项目的直接受益者、间接受益者；

· 其他利益相关者：其他公众、学术界等。

4.1.5  制定评价任务时间表

为保证评价活动顺利开展，在完成任务分解分工和案卷研究之后，评价小组组长应对每项评价活动做出时间安排，以便对评价进展实施有效控制。评价活动的时间安排应与管理部门、项目办充分协商。

表4-3给出了评价任务分解与时间安排模板。

说明：1、评价活动可能包括多次面访或实地调研，应该列出每次面访或实地调研的负责人和时间；2、评价小组应根据实际情况对上述活动进行选择或补充。

4.2  开发绩效评价框架

绩效评价框架是开展绩效评价的核心。绩效评价框架包括评价准则、关键评价问题、评价指标、证据、证据来源、证据收集方法等（见表4-4）。

表4-4 绩效评价框架结构

绩效评价框架中使用的术语主要有：

· 评价准则：包括相关性、效率、效果和可持续性四个评价准则。

· 关键评价问题：用于进一步理清每个评价准则所包含的关键而又具有共性的项目绩效内容。每个评价准则包括若干个关键评价问题。

· 评价指标：用于进一步分解和回答关键评价问题，直接针对项目内容和特点，衡量项目绩效实现程度的考核工具。评价指标包括定量指标和定性指标。一个关键评价问题下可以对应有若干个评价指标。

· 证据：用来测量评价指标，回答关键评价问题，支持评价结论的信息和数据，包括项目数据、事实、利益相关方观点等。

· 证据来源：说明证据的出处，以便评价人员收集所需证据。

· 证据收集方法：绩效评价中用于收集各种证据的方法和技术手段，如案卷研究、实地调研、面访、问卷调查等。

以下按照图4-2的流程依次介绍如何开发绩效评价框架。

图 4-2 绩效评价框架开发流程

4.2.1  关键评价问题

《指南》根据四个评价准则设计出若干个必须回答的关键评价问题（完工项目有11个关键评价问题，在建项目有10个关键评价问题）。评价在建项目和完工项目的关键评价问题不完全相同，表4-5列出了关键评价问题框架。

表4-5 关键评价问题框架

为兼顾统一性和灵活性，评价准则（包括其权重）和关键评价问题是固定的，不应该任意增减或改变。管理部门和评价小组可以根据项目实际情况或评价需要，强调其中的若干问题，即可以适当调整关键评价问题的权重设置。

相关性

相关性部分包括两个关键评价问题：

问题1.1：项目目标和内容设计是否符合当前国家、行业和所在区域的发展战略和政策重点？

本问题关注在项目评价时，项目目标和内容设计是否仍符合国家、行业和所在区域的发展战略和政策重点。项目目标是指项目评估文件或设计文件中明确的目标，如果项目目标经过修改并且获得国际金融组织和中方政府的批准，则应采用修改后的目标。如果项目涉及多个领域，应分别评价项目目标与我国在这些领域发展战略和政策重点的相关性。

问题1.2（完工项目）：项目提供的产品和服务能否解决国家、行业和所在区域经济社会发展中的实际问题和需求？

本问题评价两个方面：一是项目设计是否紧紧围绕国家、行业或所在区域经济社会发展中的现实问题和需求，例如某地农业发展的瓶颈问题是水质性缺水（即水质严重污染，无法用于灌溉），而项目内容主要是建设水渠和水库，则项目与当地实际需要的相关性不强；二是项目能否有效解决相关问题和需求，比如对上述项目而言，在水渠和水库建成后，当地农业用水问题仍然无法解决，则该项目与当地实际问题的相关性不强。

问题1.2（在建项目）：项目提供的产品和服务是否针对当前国家、行业和所在区域经济社会发展中的实际问题和需求？

对于在建项目，本问题仅评价项目设计是否有针对性，是否紧紧围绕当前国家、行业和所在区域经济社会发展中的实际问题和需求。

效率

效率部分包括四个关键评价问题：

问题2.1（完工项目）：项目是否按计划进度实施和完工，并实现了所有预期产出？

本问题评价两方面内容：一是项目是否按期开工，并在计划时间内完工；二是项目是否按时保质保量完成所有预期产出。项目预计的开工时间和预计实施周期以项目评估文件/设计文件或项目实施计划中的时间为准，实际时间以项目完工报告中的时间为准。项目预期产出是项目评估文件/设计文件或项目实施计划中确定的各项产出目标，如产品、服务、设施等。

问题2.1（在建项目）：项目是否按计划进度实施，并实现了相应的阶段性产出？

本问题评价两方面内容：一是项目是否按预期的开工时间开工和实施；二是项目是否按计划实现了阶段性产出。项目的预计开工时间和预计实施周期以项目评估文件/设计文件或项目实施计划中的时间为准，实际实施情况以项目进展报告为准。阶段性产出为项目实施计划中确定的各阶段产出目标，如产品、服务、设施等。

问题2.2：项目预算是否按计划投入和使用？

本问题评价项目资金是否按照预算或资金使用计划及时到位和使用。项目投入预算以项目评估文件/设计文件或项目实施计划中的投入为准，项目实际投入以项目完工报告（或项目进展报告）为准。

问题2.3：项目管理及内部控制是否到位，并能确保项目有效实施？

本问题评价项目是否有专门机构进行实施管理，是否制定了规范的项目管理制度，并在项目实施中得到遵守，包括进度管理、财务管理、采购管理、质量管理等，管理人员是否稳定，管理责任分配是否明确，是否有有效的信息收集渠道，是否有有效的风险控制措施等。

问题2.4：项目的资源投入是否经济有效，项目内容设计和实施机制是否具有一定的创新性？

本问题评价两方面内容：一是从收益或成本角度评价项目的资金使用效益。如果项目评估文件或项目完工报告中写明了预期的经济内部收益率，则参考该指标进行评价。如果内部收益率不适用，则考察相对于既定的产出和成果（目标），成本是否适当或者过高，资金使用是否节约。二是从创新性角度评价项目内容设计和实施机制是否节约了成本，提高了效率，扩大了成果。

效果

效果部分包括两个关键评价问题：

问题3.1（完工项目）：项目是否实现了绩效目标？

本问题评价项目完工后，绩效目标是否实现及其实现程度。项目的绩效目标是指项目在立项时确定的目标，应体现经济效益、社会效益、以及环境效益三方面的效果。如果绩效目标在实施过程中有调整，并且已获得国际金融组织和我国政府的批准，则应采用修改后的目标。

问题3.1（在建项目）：项目是否实现了阶段性绩效目标？

本问题评价两方面内容：一是项目绩效目标的实现程度；二是项目的实施情况或工程进展能否确保在规定时间内实现绩效目标。

问题3.2（完工项目）：项目的实际受益群体是否是项目的目标受益群体？

本问题评价项目的瞄准度，包括三方面内容：一是项目实际受益群体是否是目标受益群体；二是实际受益群体数量是否达到了预计的目标受益群体数量；三是项目受益群体满意度如何。

问题3.2（在建项目）：项目的目标受益群体定位是否适当，且预计实际受益群体是否是目标受益群体？

本问题评价两方面的内容：一是项目设计的目标受益群体定位是否适当，是否考虑项目区和辐射区的现状和未来变化趋势；二是预计项目完成时实际受益群体是否与目标受益群体吻合，吻合程度如何。

可持续性

可持续性部分包括三个关键评价问题，其中问题4.3仅针对完工项目：

问题4.1（完工项目）：项目财务是否具有可持续性？

本问题评价两方面内容：一是项目完工后，运营和维护经费能否持续满足需要；二是项目能否按时偿还贷款，即是否有充分的还款能力和可靠的还款机制。

问题4.1（在建项目）：项目财务是否具有可持续性？

本问题评价两方面内容：一是项目资金能否持续满足项目实施的需要；二是项目是否设计了可靠的还款机制并具备还款能力。

问题4.2（完工项目）：项目后期运营是否具有可持续性？

本问题评价项目完工后，能否维持高效运营和维护，确保产出和绩效可持续，包括管理机构是否继续存在，人力资源是否充足，政策制度是否有保障等。

问题4.2（在建项目）：项目实施是否具有可持续性？

本问题评价项目能否顺利实施直至完工，主要考察经济社会环境是否会阻碍项目实施，管理机构及其人力资源能否满足项目继续实施的要求，政策制度是否仍支持项目实施等。

问题4.3（完工项目）：项目绩效是否具有可持续性？或者项目创新内容是否具有示范性和可推广性？

本问题评价项目完工后，能否长期持续地维持其产出和效果，一方面衡量设施、设备、建筑等的可持续性，另一方面衡量其提供的产品和服务的可持续性，同时兼顾经济效益、社会效益、环境效益等方面的持续效果，以及项目创新内容能否在其他地区复制。

4.2.2  评价指标

评价指标需要评价小组根据被评项目的内容、特点以及评价目的具体开发确定。开发评价指标的目的：一是某些关键评价问题包含多项评价内容，需要用若干个评价指标加以区分；二是评价指标能够体现项目的特点；三是针对评价指标收集回答关键评价问题的证据，可以避免无关信息；四是评价指标能够直观地分析关键评价问题，得出评价结果。

如上一节所述，每个关键评价问题下包含多项评价内容，可设为二级评价指标，即每个关键评价问题对应若干个二级评价指标。如果二级指标又需要根据项目组成或项目目标等分解为若干个子问题或子目标，则二级指标下还可再设三级指标。

评价指标的开发至关重要，它在一定程度上决定着证据及其来源的确定、证据收集方法的选择和分析评价等活动。专栏4-1列出了开发评价指标应遵循的基本原则。如果评价指标不能满足这些原则，将影响到绩效评价的质量，进而影响评价结果的应用。

相关性

在开发相关性评价指标前，评价小组首先要明确项目目标，要检查项目目标是否经过修改，修改后的目标是否得到国际金融组织和中方政府的批准。如果项目目标经过修改且已获得国际金融组织和中方政府批准，就应根据修改后的项目目标开发评价指标。

表4-6 相关性评价指标开发（完工项目）

——以世界银行贷款宁波水环境治理项目为例

表4-7 相关性评价指标开发（在建项目）

——以世界贷款上海城市环境项目（APL三期）为例

效率

针对效率的关键评价问题，评价小组首先要明确项目的计划和实际的实施周期、项目的资金预算及使用情况、项目预期要开展的和实际开展的活动、项目的预期和实际产出、项目是否测算其经济内部收益率、如有预期值是多少。然后基于这些内容开发评价指标。

对于问题2.1和2.2，应尽量使用项目评估文件或设计文件中的产出指标，这是因为：（1）项目设计的指标是经过国际金融组织和国内管理部门同意的，通过这些指标衡量项目产出的结果更能获得双方的认同；（2）项目单位主要是针对这些指标进行监测和数据收集，所以评价小组更容易获得评价证据。如果评价小组认为项目设计的产出指标存在重大缺陷，无法对产出进行客观的衡量，可以设计新的指标，但要与项目办和管理部门协商，并考虑证据收集的难度和成本。

表4-8 效率评价指标开发（完工项目）

——以世界银行贷款宁波水环境治理项目为例

表4-9 效率评价指标开发（在建项目）

——以世界贷款上海城市环境项目（APL三期）为例

效果

在开发效果评价指标前，评价小组要明确项目的绩效目标，项目提供的产品或服务是什么，项目的目标群体是谁。绩效目标应以项目评估文件或项目设计文件中确定的绩效目标为准，并以此开发评价指标，原因见上一节“效率”中的解释。在开发效果评价指标时应综合考虑项目的经济效益、社会效益和环境效益三个方面，并对应既定的绩效目标，逐一设计评价指标。

表4-10 效果评价指标开发（完工项目）

——以世界银行贷款宁波水环境治理项目为例

表4-11 效果评价指标开发（在建项目）

——以世界贷款上海城市环境项目（APL三期）为例

可持续性

开发可持续性评价指标时，评价小组应从资金来源、还款机制等方面考察其财务可持续性，从管理部门和人员的可持续性、政策制度的保障能力、经济社会环境的变化等方面考察其实施运转的可持续性，从实物产出、服务供给、经济社会环境效益、外部有效性等方面考察其绩效的可持续性。

表4-12 可持续性评价指标开发（完工项目）

——以世界银行贷款宁波水环境治理项目为例

表4-13 可持续性评价指标开发（在建项目）

——以世界贷款上海城市环境项目（APL三期）为例

需要说明的是：评价小组开发设计的评价指标框架应涵盖项目全部内容（即所有子项目及其目标）的全面绩效。一般而言，对于包含多个地区、多个子项目的情况，在二级或三级指标（比如项目进度、产出、预算执行吻合度、绩效目标完成率等指标）下可按照子项目或项目地区再设立三级或四级指标，但要注意不能遗漏子项目或项目活动（如技援或能力建设子项目等）。对于各个子项目活动内容差异很大、缺乏共性的综合型项目，可以考虑针对某个（些）子项目设计单独的评价指标框架。但这样做将大大增加评价的工作量，应斟酌采用。

4.2.3  证据及其来源

证据是用来测量评价指标、回答关键评价问题、支持评价结论的数据、事实和观点。在开发评价指标时就应考虑证据及其来源。评价小组要尽量收集高质量的证据。高质量的证据应具备以下特点：

· 相关性：所收集的证据要与指标密切相关，并且是最重要的信息，例如要测量贫困地区适龄女童小学入学情况，就要收集女童而不是男童的入学率数据。

· 有效性：所收集的证据要能真实反映指标内容，例如要测量某省贫困地区适龄女童小学入学情况，就要收集全省贫困地区的适龄女童入学率数据，而不是县级的数据。

· 可靠性：测量相同指标的证据应能够通过相同方法收集并验证，例如适龄女童入学率数据每年都可以通过“某地区适龄女童入学人数/某地区适龄女童人数*100%”获得。

· 准确性：所收集的证据要准确，特别是利益相关方观点，要注意其代表性，例如对于“社区环境是否改善”的问题，如果10名居民中有8名认为环境得到改善，只有2名认为环境没有改善，就应采用8名居民的观点。

绩效评价的证据来源主要有三类，详见专栏4-4。

4.2.4  证据收集方法

证据收集方法是用于收集衡量绩效指标和回答关键问题所需证据的方法和技术。评价小组除收集国际金融组织积累的项目信息外，还应从其他部门收集信息，或独立开展证据收集工作。证据收集方法有很多种，如案卷研究、面访、座谈会、问卷调查、实地调研、案例研究等（详见附件四）。表4-14列示了不同证据收集方法的优点和缺点，评价人员可以根据管理部门要求和实际需要选择适当的方法。选择证据收集方法要考虑评价的经费预算、人力资源和时间等因素。

表 4-14 证据收集方法的优缺点

如果评价小组要进行实地调研，选择调研地点应考虑以下因素：包括：（1）调研地点的个数及占项目同等行政级别实施地点总数的比例；（2）调研地点的分布；（3）在调研地点实施的活动及金额占项目的比例；（4）调研地点涉及的目标受益群体占项目总受益群体的比例等。

如果评价小组要进行问卷调查，则应考虑以下因素：（1）问卷调查针对的利益相关方；（2）问卷发放的范围；（3）通过问卷要了解的主要内容；（4）问卷的回收率等。

通过上述步骤，将形成一个完整的项目绩效评价框架，用于指导绩效评价工作的开展。

4.3  完成绩效评价实施方案

4.3.1  面访、座谈会和实地调研问题设计

面访、座谈会和实地调研是收集评价证据的重要方法。为了更好地从面访、座谈会和实地调研中收集到有用的信息，评价小组必须以绩效评价框架为基础设计问题清单。设计的问题要有明确的目的性，有助于评价人员收集与项目绩效相关的证据，其作用主要包括：（1）用于收集评价指标所需证据；（2）用于核实案卷研究和其他方法收集的证据；（3）用于收集目标实现或未能实现的原因；（4）用于收集利益相关方的观点。

必须强调的是，这里的问题清单旨在收集相关评价证据，而本《指南》的关键评价问题则用来评价项目绩效，二者的作用不同。设计问题应注意：（1）问题要有针对性，避免设计无关问题；（2）问题要清晰明确，避免产生歧义；（3）问题涵盖的内容要单一，不要将不同内容放在同一问题之中；（4）要预先估计问题能否得到回答，如果不能，应改变问题或说明其局限性。

4.3.2  形成绩效评价实施方案

经过上述研究和设计后，形成绩效评价实施方案（格式参见附件二）。评价实施方案主要包含以下内容：

（1）评价背景和目的；

（2）项目基础信息表；

（3）评价任务时间表；

（4）绩效评价框架；

（5）面访、座谈会或实地调研问题清单。

第五章  评价实施

绩效评价的实施主要包括证据收集整理、分析评价和结论建议三部分，由评价小组负责。

5.1  证据收集整理

5.1.1  证据收集

由于评价经费、人力和时间有限，证据收集必须聚焦评价框架中设计的指标，选择适当的收集方法，一要尽量利用已有证据，二要根据需要收集原始数据（详见专栏5-1）。证据收集的常用方法有案卷研究、面访、座谈会、问卷调查和实地调研等（详见附件四）。

5.1.2  证据整理

并非所有证据都能在收集之后直接用于分析，部分证据必须经过整理后方可使用。证据整理主要有两项作用：（1）证据的提炼，即来自个体的证据要上升到用于判断整体；（2）证据校验，即用不同方法从不同来源收集同一指标的证据。

要针对指标进行证据整理。用来分析指标的证据一般可分为三类。第一类是用于衡量指标的证据，例如衡量指标“项目开工及时性”的计划开工时间和实际开工时间。第二类是分析指标实现或未实现预期值的原因，例如项目没有按计划时间开工的原因。第三类是利益相关方的观点，例如利益相关方认为项目计划开工时间不合理。

证据整理过程包括以下三个步骤：

（1）证据列举：将同一评价指标不同来源的证据列举出来；

（2）证据验证：将不同来源的证据进行交叉验证，剔除错误证据；

（3）证据确定：通过证据验证，最终确定用于绩效分析和评价的证据。

最后，将证据整理到绩效评价框架的“证据”列之中，以便于分析。

5.2  分析评级

分析评级是根据整理过的证据，运用一定的分析方法和评级规则，对各项指标、关键评价问题和项目绩效进行衡量评判，并解释原因的过程。分析评级包括三方面内容：一是对比分析各项评价指标的预期目标是否实现及实现程度；二是分析预期目标实现或未实现的原因；三是评定项目绩效等级。

5.2.1  分析方法

绩效评价一般采用三种分析方法：变化分析（Change Analysis）、归因分析（Attribution Analysis）和贡献分析（Contribution Analysis）。

变化分析是绩效评价中最常用的分析方法，它分析指标在经过一段时间后是否达到预期值。变化分析通过比较指标的实际变化情况与预期变化得到分析结果，不能体现变化与项目实施之间的必然关系，也无法分析指标产生变化或没有产生变化的原因。

归因分析用于评价观察到的变化在多大程度上由项目实施产生。它一般通过建立反事实场景（Counterfactual Scenario）进行分析，即分析如果没有实施项目，是否会产生这些变化以及变化的比例。但是，在中国目前的环境下，要找到一个反事实场景非常困难，开展归因分析所需的数据和技术难以得到，因此绩效评价中较少使用归因分析法。

贡献分析旨在分析项目的实施是否是产生变化的原因之一，或者是否对产生变化发挥了促进作用。当某种变化由很多因素造成，并且很难评价变化在多大程度上由各因素造成时，可以采用贡献分析。

上述三种分析方法各有利弊，在评价过程中可以根据管理部门要求和实际需要选择其中一种，也可以综合使用。

5.2.2  绩效评级

项目的绩效评级分为四个步骤：（1）运用既定的分析方法和打分标准，根据收集整理的证据，对各项评价指标进行打分；（2）对每个关键评价问题下的各项指标得分进行加权平均，算出每个关键评价问题得分；（3）对每个评价准则下的关键评价问题得分进行加权平均，算出各个评价准则最终的评价分值，并相应确定四个准则的绩效等级；（4）根据四个评价准则的权重设置，对四个准则的评价分值进行加权平均，算出项目综合绩效分值，相应确定项目绩效等级。绩效评价分值采用百分制。项目及各评价准则绩效分值与对应绩效等级参见表2-1。

关键评价问题建议权重设置如表5-1所示，管理部门和评价小组可根据项目情况和评价需要做适当调整。在评价实施阶段，评价小组还应根据项目具体情况，进一步设置各级评价指标的权重，并设计确定打分标准，形成完整的绩效评价指标体系与打分标准（格式如表5-2所示）。

表5-1  关键评价问题权重设置

表5-2  绩效评价指标体系与打分标准

·关于指标权重的设置

对于包含多个地区多个子项目、内容复杂的综合性项目，评价小组应与管理部门进行沟通，考虑根据各子项目的重要性（如子项目投资额占项目总投资的比重或其他因素），设置相关各级指标的权重，以客观、全面、平衡反映项目整体的相关性、效率、效果和可持续性等方面的绩效。如果评价小组针对某个（些）子项目设计了单独的评价指标框架，则应首先确定各子项目绩效在项目整体绩效中的权重，在对各子项目绩效按照上述四个步骤进行评价后，将各子项目的绩效分值进行加权评价，最后得出项目整体的绩效分值。

·关于打分标准的设计

打分标准是针对评价准则-关键评价问题-评价指标序列中的最下级指标进行衡量打分的具体依据。评价小组开发打分标准，首先应最大程度地参考项目评估文件或设计文件中确定的项目绩效目标或其他量化标准。如果项目评估文件或设计文件中对某些指标内容没有涉及，则评价小组应与管理部门进行讨论，根据项目特点及通行的衡量标准，确定合理的、可操作的打分依据。其次，根据评价指标的具体特点和现实数据条件，选择百分制分段打分法或“100、0”两段打分法。

两段打分法主要针对只需回答“是否”、“有无”，而不需或在现有条件下不能得到有关程度的数据的指标。表5-3列出了两段打分法的示例。分段打分法主要针对需要回答实现程度的指标，所得出的结论具有更强的说服力。但是，因需要的数据较多，在操作时可能出现证据收集困难的情况。表5-4列出了分段打分法的示例。当然，为得出全面、科学、准确的绩效评价结论，应优先选择分段打分法。

表5-3  打分标准-两段打分法示例

对于示例中的指标，由于对相关程度的判断在实际操作中存在较大困难，因而采用“100、0”两段打分法比较适当，只需回答“是否”。项目实际情况若符合“100分”的得分标准，就打“100分”；不符合，就打“0分”。

表5-4  打分标准-分段打分法示例

对于示例中的指标，可以通过核查实际与计划时间相差的月数而实现对程度的衡量。评价小组可以根据项目特点和行业情况等，以一个能反映程度差异的数据或现象的间距（在此例中是1个月、6个月和12个月），依次设置相应的评分段（在此例中是“90-100分”、“80-89分”、“60-79分”、“0-59分”）。在对该指标实际打分时，评价小组可根据项目实际情况，对应给出所处评分段中的某一个分值，以形成对该指标实现程度的评价。

由上可见，项目绩效评价是以证据为基础，参照项目绩效目标和其他衡量标准，通过对指标的评判来对关键评价问题进行回答；关键评价问题的回答结果则是对每个评价准则进行评级的基础。需要说明的是，由于各个评价准则之间存在逻辑上的关联性，如果某项目四个评价准则的得分严重失衡，则有必要重新审视整个评价过程。例如，如果项目的效果评级很低，但可持续性评级很高，这是不正常的；如果项目的可持续性存在疑问或者项目的相关性很弱，但总体评级却“高度成功”，这也是不正常的。

5.3  结论建议

5.3.1  评价结论

评价结论包括两部分内容：一是项目综合绩效等级，二是从相关性、效率、效果、可持续性等方面对项目绩效的总体评价。专栏5-2列举了评价结论的案例。

5.3.2  经验教训

经验教训是指通过绩效评价总结出来的可能有助于开展其他类似项目或提高被评项目成效的信息，具体包括项目在准备、设计和实施过程中的最佳实践和突出问题，及其对项目绩效的影响。经验教训必须针对被评项目，建立在客观证据的基础之上，并指出其参考价值。专栏5-3列举了成功经验的案例，专栏5-4列举了失败教训的案例。

5.3.3  改进建议

改进建议旨在为改进项目设计、完善项目管理、提升项目绩效、优化政府决策提供参考，可以针对被评项目目前存在的问题，也可以着眼于未来项目的选择、设计和管理。改进建议与评价结论和经验教训相对应，必须理由充分，并且要有切实可行的改进措施以及责任主体，如可能，应提出时限建议。专栏5-5列举了改进建议的案例。

第六章  评价报告

评价小组应对评价过程和结论进行高质量的总结和撰写，以书面绩效评价报告的形式呈报给管理部门。

绩效报告编写流程如图6-1所示。

图6-1  绩效评价报告编写流程

撰写绩效评价报告的一般要点详见专栏6-1。

评价小组在形成评价报告初稿后应广泛听取和充分考虑各利益相关方（特别是管理部门、项目办和项目实施方）的意见和建议，并形成评价报告终稿（利益相关方意见和建议要作为评价报告的附件）。为了方便使用者快速了解报告主要内容，评价小组还应准备一份评价摘要。

6.1  撰写评价报告初稿

评价报告初稿包括评价摘要、评价报告、附件三部分，具体如下：

6.1.1  评价摘要

评价摘要的目的是简要总结评价活动和评价结论，包括项目概要、绩效评价概述、绩效评价结论、经验教训及建议四部分，需简明扼要，2-3页为宜，一般不超过4页。具体如专栏6-2所示。

6.1.2  评价报告

评价报告包括项目基础信息表、绩效评价过程概述、绩效分析与评价结论、经验教训及建议等四个部分，具体如下：

一、项目基础信息表

本部分以表格形式提供项目的关键信息，以便读者迅速了解项目基本情况。具体内容参见第四章表4-2。

二、绩效评价过程概述

本部分综述绩效评价的目的、设计和实施，并对其局限性进行说明，帮助读者在一定程度上衡量评价主要发现、结论和建议的质量和可信度。本部分应包括以下四个方面：

（一）评价目的：说明绩效评价想要达到的效果；

（二）评价设计与实施：说明绩效评价方案的主要设计和实施过程，包括所开展的主要活动、与管理部门、利益相关方的沟通过程等；

（三）绩效评价框架与绩效评级方法：说明绩效评价的指标体系、打分标准和评价分析方法等；

（四）评价局限性：分析评价工作存在的局限性，一般有以下四方面，一是指标无法收集到相关证据或证据不全面、质量不高；二是由于时间和经费限制，评价小组没有重新收集数据，而是利用国际金融组织项目报告的数据，但对这些数据的真实性有疑虑；三是由于时间和经费限制，某些评价方法没有实施，从而影响了证据收集和评价的质量；四是评价小组提出的其他局限性。

三、绩效分析与评价结论

（一）项目绩效分析

本部分针对相关性、效率、效果、可持续性四个评价准则分别展开分析，使读者可以较为全面地了解项目的绩效状况和成败得失。撰写绩效分析部分应该注意以下几点：

· 按照四个准则及其关键评价问题的顺序分节、分段描述；

· 要为绩效分析提供证据（包括事实和观点）；

· 可以使用图、表进行阐释，但要简单易懂，一个图或表通常只表达一个信息。

具体来说，绩效分析应按照如下内容展开。首先在每节的第一段，结合每个评价准则的指标体系和评级规则，概述该评价准则的得分和评级结论。为使简洁明了，每个评价准则及其指标体系的打分情况应以表格形式统一列示。然后，按照关键评价问题的顺序，以证据为基础，对每个问题进行分析评价，要用事实证据分析说明关键评价问题下设各指标的完成情况，并阐述打分标准，明确各指标得分。此外，还要分析各指标未达到绩效目标的原因。

（二）评价结论

本部分首先综述根据前文的分析评价得出的项目综合绩效等级，然后对相关性、效率、效果和可持续性的评价结论进行简要综述，并突出描述每个评价准则中好的方面和存在的问题。项目绩效等级以表格形式展示，如表6-1所示。

表6-1  项目绩效评价等级表（以完工项目为例）

（三）其他需要说明的事项

本部分主要说明对绩效评价主要发现、结论和建议产生影响的一些重要事项或情况。如果出现以下（但不限于）情况，则须在本部分加以说明。

1、项目的影响

虽然本《指南》不涉及项目影响的评价，但是如果在绩效评价时，项目的实施已对社会、经济、环境、制度等产生了（或预期将会产生）重大影响，则需在此加以说明。这些影响是项目绩效目标之外的溢出效应，包括正面和负面的影响。对影响的说明要有切实的证据。

2、项目设计存在的问题

如果项目设计存在较大问题，例如项目目标设计过高或过低、项目活动安排不合理、产出指标和效果指标存在较大缺陷等，应进行描述，并说明这些问题对绩效评价的影响程度。

3、评价结果差异

如果绩效评价结论与项目完工报告、国际金融组织的绩效评价（如果有）结果有较大差异，应加以说明，包括在哪些方面存在差异、差异程度多大，差异产生的原因是什么等等。

四、经验教训及建议

本部分旨在为管理部门改进管理和决策提供参考依据。经验教训和建议要简洁明了。本部分包括以下三方面：

（一）成功经验

在绩效分析的基础上，以事实为依据，剖析项目在目标定位和设计、项目活动安排、组织实施、项目管理等方面的成功经验，并分析其参考价值。

（二）失败教训

在绩效分析的基础上，以事实为依据，剖析项目在目标定位和设计、项目活动安排、组织实施、项目管理等方面存在的问题及其原因，并分析其对项目绩效造成的负面影响。

（三）对策建议

针对存在的问题，总结教训，并提出对策建议。对策建议要理由充分、措施具体，并且要有明确的对象和时间要求。

6.1.3  附件

本部分是对主体报告的补充说明，包括一些技术性文件和评价过程文件，如绩效评价框架、绩效评价指标体系与打分标准、评价任务书、项目关键产出或成果数据表、面访、座谈会和实地调研记录、调查问卷（如果有）、利益相关方对评价报告的反馈意见及其采纳情况，以及评价小组认为必须附上的其他文件。

6.2  与主要利益相关方沟通

绩效评价报告初稿形成后，评价小组应与管理部门、利益相关方（特别是项目办、项目实施或运行机构）进行沟通。沟通的目的：一是避免评价小组出现重大遗漏，影响对项目的客观评价；二是听取利益相关方对绩效评价的意见和建议；三是促进利益相关方利用评价结果，尤其是评价报告提出的建议。利益相关方对评价报告的反馈意见及其采纳情况应作为报告的附件。首先，要说明各利益相关方提出了哪些意见和建议；其次，要说明评价小组采纳了哪些意见和建议，未采纳的意见和建议要说明理由。

6.3  形成报告终稿

在吸取利益相关方意见和建议的基础上，修改并完善评价报告。绩效评价报告格式参见附件三。

第七章  评价结果应用与公开

评价结果应用与公开工作由管理部门负责。

7.1  评价结果应用

7.1.1  应用

根据《办法》有关规定，评价结果将用于优化政府决策、改善项目管理、推广先进经验。具体而言，一是将绩效评价结果及时通报相关主管部门或地区政府，并将其作为申报和审核新项目的重要参考。二是向项目实施机构及其主管部门反馈绩效评价结果，并督促其落实整改措施，改善项目管理，或调整项目内容。三是建设绩效评价信息交流平台，促进项目管理最佳实践、经验教训和绩效评价工作经验的共享与交流。

7.1.2  促进应用的措施

管理部门应重点关注评价报告提出的问题和建议，采取有效手段，促进评价结果的应用，包括但不限于以下方式：

· 向本部门领导呈报“国际金融组织贷款项目立项标准建议”；

· 向项目办、项目实施和运行机构下发“项目绩效问题整改意见”，并定期督促落实情况；

· 向地方政府和相关主管部门上报“项目绩效评价主要发现和改进建议”。

管理部门应利用绩效评价结果，加强项目的后续管理和实施，优化未来项目的选择、设计和实施管理，不应过度将绩效评级结果用于项目排名。即使是对同一领域内类似项目评价结果的比较也应谨慎，因为不同项目面临的环境、条件各不相同，这些可能对项目实施结果产生一定的影响。

7.2  评价结果公开

7.2.1  公开对象

评价报告的使用对象应包括项目办、项目实施和运行机构，地方政府和国内相关主管部门，项目受益群体和其他利益相关方，提供贷款的国际金融组织和其他国外合作伙伴，以及社会公众。

7.2 .2  公开方式

管理部门应当按照政府信息公开有关规定，在适当范围内公开绩效评价结果。为促进评价结果的应用，针对不同公开对象，应采用不同的公开方式：

· 对于项目办、项目实施和运行机构：全文提供评价报告；

· 对于地方政府和国内相关主管部门：专报反馈评价结果；

· 国外贷款方和其他合作伙伴：提供评价报告；

· 项目受益群体、其他利益相关方以及社会公众：通过政府网站发布评价结果或评价报告；公开出版评价报告。

第八章  评价质量控制

评价质量控制由管理部门指定的评价管理者负责，贯穿于绩效评价的准备设计、实施、撰写报告以及结果应用与公开的全过程。

本章仅对评价设计、实施和报告阶段的质量控制作详细说明。评价质量控制要素如专栏8-1所示。

8.1  设计阶段

绩效评价设计的质量主要体现在以下五个方面：

l绩效评价设计是否满足管理部门的需求和评价任务书的要求（包括评价的目的、范围、方法、时间安排等）？

l《绩效评价框架》是否满足《指南》的要求？

l绩效评价拟采用的方法是否适当、可行，能否收集到所需证据？

l每项评价活动是否有明确的责任人？

l评价小组计划投入的人力资源和时间能否保证评价活动的顺利开展？

评价管理者要对《绩效评价实施方案》能否满足上述要求进行检查。如果不能，应主动与评价小组沟通，使其理解管理部门的需求和评价任务书的要求，并要求评价小组在限定的时间内根据《指南》和评价任务书修改《绩效评价实施方案》。

8.2  实施阶段

绩效评价实施的质量主要体现在以下三个方面：

l 评价小组是否按照《绩效评价实施方案》开展评价活动（包括证据收集和证据整理、证据分析和绩效评级、剖析问题和提出建议等）？

l 评价活动是否按规范的程序开展，面访记录、座谈会记录、实地调研记录等过程文件是否清晰、完整，是否对证据进行整理和核实？

l 评价小组是否与主要利益相关方有充分的沟通？

评价管理者应该保持与评价小组的联系，了解评价活动的进展，在条件允许的情况下，还可以参与评价活动，如参与座谈会、实地调研等。如果评价活动没有完全按照方案实施，评价管理者应该要求评价小组改正。如果有的活动确实无法开展，应要求评价小组报告原因及其对评价结果可能的影响，并在评价报告中加以说明。

8.3  报告阶段

评价报告质量是质量控制的核心，评价管理者应针对以下内容对评价报告初稿和终稿进行检查：

l 报告的格式是否符合《指南》的要求？

l 报告的语言表达是否明确、易于理解且没有歧义？

l 报告是否对所有关键评价问题都进行了回答？

l 报告采用的证据是否相关、有效、准确、可靠？采用的分析方法以及打分标准等是否适当？

l 绩效分析是否客观、系统、符合逻辑？

l 评价结论是否清晰，并有充分的证据支持？

l 总结的经验教训是否清晰明确，有针对性，没有遗漏，并有充分的证据支持？

l 提出的建议是否有针对性，是否可操作，有助于管理部门优化决策、改善管理？

l 报告终稿是否包括了附件“利益相关方对评价报告的反馈意见及其采纳情况”？如果评价小组不同意利益相关方的意见和建议，是否说明原因？

如果报告初稿不符合上述要求，评价管理者应明确提出，并要求评价小组改正或解释原因。如确实无法改正，应要求评价小组报告原因及其对评价结果可能的影响，并在报告中加以说明。

最后，绩效评价工作的关键是评价结果的应用与公开，对该阶段的效果核查应作为质量控制的关键环节。管理部门应负责加强评价结果的及时反馈与通报，推动落实评价结论中的问题和建议被相关部门了解、认可和采纳，促进绩效评价工作经验的交流与共享，并提高评价结果的透明度，向社会公开评价报告或评价结论。

附件一

附件二

《绩效评价实施方案》格式

附件三

注：报告中所有文字和表格均须使用Word格式。

3-2 内封面格式

3-3 目录格式

附件四：

常见证据收集方法

绩效评价实施过程中常见的证据收集方法有案卷研究、面访、座谈会、问卷调查和实地调研等，具体如下。

1、案卷研究

案卷研究旨在从现有文档资料中寻找证据。这些文档资料包括项目文件、国家和地方的发展政策和战略、各种相关研究和咨询报告等。案卷研究收集的证据要汇总为一个表格（见表附4-1）。案卷研究要注意对同一指标在不同项目文件中的证据进行核实。例如，对于产出指标，在项目进展报告、完工报告、国际金融组织开展的绩效评价报告（如果有）中均有项目产出的相关证据，评价小组在评价产出的指标时要对这些不同来源的证据进行对比核实，如果不同来源的证据存在差异，则要分析差异原因，并在座谈会、面访、实地调研中进行核查，最后选定使用证据的来源。

表附4-1  案卷研究方法收集证据

——以亚洲开发银行贷款苏州河环境综合整治一期工程项目为例（部分）

资料来源：《国际金融组织贷款城建环保项目绩效评价典型案例汇编》（2011）

注：项目具有多个指标，在此仅列出部分以案件研究方法收集证据的指标作为示例。

2、面访

面访是评价小组直接走访面访对象，当面听取被调查者意见的证据收集形式。评价小组在开展面访之前要做好准备：一是确定面访对象，二是设计面访问题清单，三是安排面访日程。

面访对象

面访对象要能为绩效评价提供切实有用的证据，一般包括以下几类人员：（1）项目管理人员，包括政府官员和项目办人员；（2）负责项目实施和运行的人员，如卫生项目中的医院院长；（3）项目受益人，如教育项目中接受培训的小学教师；（4）参与项目设计、实施等的行业专家。

设计面访问题清单

面访问题清单要以绩效评价框架为基础，针对不同的面访对象设计不同的面访问题。表附4-2以亚洲开发银行贷款苏州河环境综合整治一期工程项目为例，列举其面访问题清单，并说明每个问题的作用。

表附4-2 面访问题清单

——以亚洲开发银行贷款苏州河环境综合整治一期工程项目为例

面访日程安排

面访日程安排应包括面访目的、面访问题清单、被面访人应准备的相关资料、面访时间和地点安排等。评价小组要将面访日程安排提前一周左右发给被面访人，以便他们了解面访的目的、熟悉问题内容、准备相关材料，更有效地开展面访，收集高质量证据。

面访要注意以下事项：（1）每次面访时间不宜过长，一般不超过3小时；（2）评价小组要安排专人负责记录；（3）面访要严格按照问题清单进行，避免被面访人过多谈论面访问题之外的内容；（4）如果对被面访人陈述的内容有疑问，评价小组要及时提问进行确认。

面访结束后应立即进行记录整理，按照面访问题的顺序汇总成为专栏附4-1的形式。

面访记录和面访人员清单（见表附4-3）应整理归档，作为工作底稿保留。

表附4-3 面访人员清单

3、座谈会

座谈会是绩效评价中经常使用的证据收集方法。评价小组把有代表性的利益相关方召集起来，围绕座谈会问题清单进行讨论，收集绩效评价所需证据。召开座谈会前，评价小组要做好以下准备工作：（1）确定每次座谈会的次数和参会的利益相关方；（2）设计座谈会问题清单，不同座谈会的问题清单可能会不同；（3）设计座谈会的日程安排，包括召开的程序、时间和地点。

表附4-4以亚洲开发银行贷款苏州河环境综合整治一期工程项目为例，列举其座谈会问题清单，并说明每个问题的作用。

表附4-4 项目座谈会问题清单

——以亚洲开发银行贷款苏州河环境综合整治一期工程为例

资料来源：《国际金融组织贷款城建环保项目绩效评价典型案例汇编》（2011）

采用座谈会方法应该注意以下事项：（1）座谈会参与人数不宜太多，6-10人比较合适；（2）要尽量保证参加座谈会的人是最合适的人选，他们最好参与过或熟悉项目的设计、实施、运行、管理等，能够为绩效评价提供有用信息；（3）要有专人负责记录，尽量将参会人员提供的信息记录下来；（4）座谈会要严格按照问题清单进行，避免参会人员过多谈论问题清单之外的内容；（5）如果对与会人员陈述的内容有疑问，评价小组要及时提问进行确认；（6）参会人员要签到。

对于座谈会收集的证据还要注意提供证据的人数比例，即要注意座谈会参会人员对问题答案是否达成共识。如果未达成共识，应将每个参会人员对问题的回答均记录下来，而采用这类证据时也应谨慎，否则将影响评价的客观性。例如对“项目的目标群体是否公平地享有项目提供的产品和/或服务”这一问题的回答，如果只有一两个参会人员回答“是”，而评价人员采用了这个证据，将严重影响评价质量。如果评价人员要采用没有共识的证据，应在评价报告中说明。

每一次座谈会都要做记录，并且应在座谈会结束后立即整理。座谈会的记录整理要按照座谈会问题清单的顺序，并要说明每个问题的答案是否在座谈会上达成一致意见。座谈会记录格式见专栏附4-2。

座谈会记录和座谈会参与人员清单（见表附4-5）应整理归档，作为工作底稿保留。

4、问卷调查

问卷调查是评价小组直接向被调查者询问以获得数据的方法。开展问卷调查需遵循以下步骤：（1）设计调查问卷。（2）将问卷以直接发放、邮寄或网上填写等形式交由调查对象填写；（3）回收问卷；（4）整理分析并得出结论。

问卷问题应根据绩效评价框架设计，主要用于收集衡量绩效评价指标的证据。在设计问卷的过程中应注意以下事项：（1）应先询问被调查者的基本情况；（2）避免系统性问卷偏差，避免诱导性问题，避免不近人情的问题，避免一个问题内含两个以上问题；（3）控制问卷的长度；（4）问卷外观应简洁明了且避免细节性错误。专栏4-3以亚洲开发银行贷款苏州河环境综合整治一期工程项目为例，展示其调查问卷。

问卷发放应尽可能经济高效。问卷可以直接发放、邮寄或者利用网络问卷平台，也可以多种方式结合使用。发放问卷的时候需考虑是否给被调查者留有充足的考虑时间。问卷应尽可能进行回收，对于样本较小的调查，更需要较高的问卷回收率。通常在没有系统偏差情况下，如果问卷回收量大于100份，得到的数据就是可靠的；如果大于200份，数据就比较完美。

问卷调查还需对调查时间有准确的把握，即对于完成整个调查过程有明确的时间概念。首先，需估计从发出到回收问卷的平均时间，并为问卷（因无法回收）再次发放预留足够时间。其次，应在有充分时间保障时开展调查。再次，应明确调查到什么程度即可结束。最后，调查本身应尽可能避开节假日和最忙的季节。

对问卷的分析整理应系统地进行。所有回收的问卷应进行编号，相应的问卷信息应按照编号进行整理。在进行数据分析前，要核查反馈的数据是否具有代表性，是否存在系统偏差。

5、实地调研

实地调研是评价小组到项目实施地进行考察、直接收集证据的方法。开展实地调研要遵循以下步骤：（1）选择调研地点；（2）开发调研问题清单；（3）编写调研日程安排；（4）开展实地调研；（5）整理调研记录。

调研问题要根据绩效评价框架来设计，主要用于收集案卷研究、面访和座谈会无法收集的证据。开展实地调研要先明确要考察项目的哪些产出和成效，是否要对当地利益相关方进行面访等。实地调研要形成调研记录，并按调研问题顺序整理成专栏附4-4的形式，作为工作底稿保留。