【摘要】财政部印发的《关于委托第三方机构参与预算绩效管理的指导意见》,对第三方机构的绩效评价执业质量提出了明确要求。绩效评价报告质量的高低是第三方绩效评价工作成果的集中体现,是判断笫三方评价工作专业性强弱的最重要依据。第三方撰写的评价报告质量的目标是“树立榜样、做成标杆”,达到质量最高级别 “A”级标准,即为“实用型或者好用型”。满足“结论可用、逻辑清晰、重点突出、格式规范、内容完整、客观公正、依据充分”等具体要求。
本文以“2018—2019年度湖北省新全民健身示范工程”项目的财政评价报告为案例(报告编码:C304202111110025号,此报告在湖北省省级财政评价和部门自评报告评级中,经专家评定或领导认定,质量评定为 “A”级),围绕“重环节,抓重点,撰写一份高质量的绩效评价报告” 这根主线,从主评人的视野对评价工作开展的三个阶段(前期准备、现场实施、分析总结)进行了重点分析,分享参与项目全过程的心得与体会,期待第三方评价工作人员不断提高自身综合素质和拓宽知识面。
【关键词】第三方机构 绩效评价 报告质量 重点分析
为深入贯彻落实党的十八大、十九大精神,顺应新时代体育发展趋势,湖北省人民政府颁发了《关于加快转变发展方式推进体育强省建设的意见》(鄂政发〔2017〕63号)文件,湖北省体育局立足省情体情,根据省政府的要求印发了《湖北省新全民健身示范工程四年行动计划(2018—2021)》(鄂体〔2018〕6号)文件, 制定了全省新全民健身示范工程项目实施方案,以保障人民群众体育权益为出发点,统筹支持建设一批县(市、区,以下统称为县级)体育中心(体育公园)、乡镇(街道、社区,以下统称为乡镇)运动健身中心和村(中心村)文体广场三级新全民健身示范工程,提升设施引领能力,促进县、乡镇、村三级体育设施提档升级,不断提升基层公共体育服务综合水平。同时增强公益性,提高普惠性,让人民群众共享体育发展成果。
湖北省新全民健身示范工程项目资金纳入省级政府性基金预算, 2018—2019年度预算到位资金41900万元。其中,2018年安排资金20200万元,2019年安排资金21700万元。项目资金以竞争性分配方式完成省对下转移支付,2018—2019年度共计完成县、乡、村三级建设项目共计673个。其中,2018年度全省完成314个项目的建设,县、乡、村三级项目分别为14个、100个、200个;2019年度全省完成359个项目的建设,县、乡、村三级项目分别为19个、目130个、210个。
为了全面考核项目资金支出绩效,进一步地完善项目资金管理,推进全省新全民健身运动事业健康发展。湖北省财政厅委托湖北恒信会计师事务有限公司开展了该项目2018—2019年度资金支出绩效评价工作。绩效评价工作的开展分为前期准备、现场实施、分析总结三个阶段。每个工作阶段包括不同的工作环节,不同的工作环节中又包含多个工作支点。在实际工作开展中,我们要围绕重要工作环节抓好不同的支点工作,支点的工作才是构成整个评价工作的基础。
下面,结合该项目绩效评价工作的开展,剖析如何抓好评价过程中各阶段的重点环节,做好重要支点的各项工作。
一、前期准备阶段工作的开展是做好评价的基石
前期准备阶段工作的开展要抓好前期调研工作及评价工作方案的制定两个工作环节。
第一,抓好前期调研工作。前期调研是制定评价方案的前提和基础。首先,通过调研,可以从预算部门职能职责出发,围绕项目资金的支出方向和范围,厘清部门的事权与财权,明确评价工作对象,也就是项目支出资金使用情况。其次,通过前期调研,收集并了解项目实施相关政策文件和业务管理文件,包括项目的立项背景与政策依据、项目资金的预算安排、分配与管理、项目实施规划、内容与组织管理、项目实施的绩效目标管理等。
在这个环节中,主评人一定要与项目实施管理部门的有关领导和工作人员多交流、多沟通,毕竟我们在评价工作中涉及到不同的行业、不同领域,各种行业和领域都有自身的性质特点,行业管理规律各不相同。只有熟读并吃透项目实施相关政策、组织管理与业务知识,将自身从外行变成真正的内行,才能明确评价工作的方向和内容、指标评价的标准等,为下一步评价工作设计,建立指标体系、制定评价工作方案打下基础。
“湖北省新全民健身示范工程项目”评价前期调研工作,主评人与项目预算管理部门省财政厅科教和文化处项目业务专管员、项目预算职能部门省体育局主管项目群体处及资金部门财务处开展座谈,调研内容为项目立项背景、政策依据、项目安排、资金分配、实施完成、效果体现等。为制定新全民健身示范工程项目绩效评价方案奠定了基础。
第二,抓好评价工作方案制定。评价工作方案的内容包括:评价目的、评价对象、评价内容、评价方法、评价体系、评价样本、评价工作组织安排、评价清单的提交、调查问卷设计及评价工作要求等。制定评价工作方案是有效开展绩效评价工作的行动指南,是保障绩效评价工作质量的重要手段。绩效评价工作方案的设计应符合可行性、全面性和简明性原则,评价内容、方法、步骤和时间节点安排科学合理,具有可操作性。这个工作环节中,我们要把握环节中的三个重要的工作支点。
一是评价指标的设计要科学合理。科学合理设计绩效评价指标是准确得出财政支出实际绩效的依据和前提,为进一步完善财政支出的有效性与合规性,提高财政资金的使用效益,评价工作应以问题为导向,设计科学合理的评价指标体系,并围绕绩效评价指标体系评价得出科学的结论。
财政支出项目绩效评价指标体系的设计,依据《湖北省省级预算绩效评价管理暂行办法》中预算项目共性指标体系框架这基础,绩效评价指标体系构成包括一级指标:项目决策指标、项目管理指标(过程)和项目绩效指标(产出与效果)。根据指标设计的相关性、重要性、可比性、系统性、经济性、明确性的原则,在一级指标之下设立二级或三级指标,整个评价体系层层相扣。在此基础之上,对于各项指标进行权重的配置,形成科学体系,继而通过各指标的得分与权重之间相关的计算,计算出综合得分,再经过细节处理和指标优化,得出最终的评价结果。
绩效评价指标设计要重点抓好个性指标的设计。也就是对产出指标中的数量、质量、时效、成本指标以及效果指标中的经济、社会、生态、可持续性影响和满意度指标进行细化和量化设计描述。并合理地设置指标权重,体现结果导向,原则上产出和效果类指标权重占比不低于60%。
指标的设计同样离不开绩效评价标准的运用,常用的绩效评价标准主要有历史标准、行业标准和计划标准。顾名思义,历史标准是以过去某一时期的指标实际值作为参考标准,行业标准则是以行业明确规定的指标范围进行参考标准,计划标准则是以提前规划好的预计指标作为评价标准。当然这些标准的使用也应当以实际情况为基础,加以选择,严格遵循。通常比较常用的还是计划标准居多, 如“2018—2019年度湖北省新全民健身示范工程”项目绩效评价标准基本上执行的是计划标准。
指标获取通常可以从项目立项文件、项目预算资金申报的绩效目标、项目管理文件、项目所属领域行业的规定以及评价时当地所处社会经济环境状况等的分析进行具体设计。同时指标的设计并不是一次设定就不变的,可以随着评价工作的开展,根据项目实施的经济、社会、环境等条件的不同改变,进行合理调整,使评价结果更趋于科学合理,评价结论更得以项目实施各管理层级接受和认同。
二是评价样本选定要具有广泛的代表性。样本选定原则是样本总量按照资金额度或县市(项目)个数的20%确定;样本个体应采取分类、分层抽样的办法确定;符合绩效评价工作特性、经济性、时效性要求;具有广泛的代表性。对项目管理层级少、实施单位数量少、地域相对集中,信息化程度高的项目,根据委托方要求,可适量增加样本总量、直实现全覆盖。
“湖北新全民健身示范工程项目”的评价样本选取是基于项目资金量投入大,涉及地域广(全省30多个县市区),项目多并涵盖县、乡镇、村三级等特点,该项目按照资金总额41900万元资金比例的20%分层抽取样本,以县级为一个样本单位,样本选定覆盖县、乡镇、村三级项目作为一个整体,保障各样本单位评价结果的公平性。原则上每个样本单位从2018年、2019年实施项目中抽取1个县级项目、2个乡镇、街道级项目、4个村级项目。共计选定样本项目76个(个别县、镇、村项目不足6个),其中:12个县级项目、19个乡镇级项目、45个村级项目,项目资金总额8600万元,占总项目资金额41900万元的20.53%(符合财政评价样本选定基本要求)。
三是资料收集清单提交要细化可用。我们为项目单位提交的评价资料收集清单一定要是指向明确、细化有用、交代明了。指向明确是指工作组所提交的资料收集清单是针对被评价对象的实施内容及评价指标体系中各指标评价标准要点而言的;细化有用是指资料收集清单所要收集的材料对评价指标或者评价要点的分析结果直接有用;交代明了是指让被评价单位充分理解所需要的资料和资料使用对绩效指标评价的影响。而不是一个简单的、通用的资料清单。
二、现场实施阶段工作的开展是做好评价的关键
现场实施阶段的工作过程就是证据的收集过程,通过召开进点会议、听取情况介绍、收集核实资料、实地调查、开展社会调查等方式收集与整理评价材料。绩效评价材料可以依据绩效评价指标的评价要点进行逐项收集。
评价资料的收集工作中,一定要重点把握三个原则:
第一是评价信息资料的有用性。在提交的评价资料收集清单具有可行、有用性的前提上,现场收集的材料围绕清单逐项收集到位,因为绩效评价资料的收集主要是围绕评价指标体系中各指标和指标评价标准要点进行的,将直接影响到评价指标评价分析评分结果,如果收集的信息资料偏离指标各评价标准要点,就会缺乏关联性与针对性,资料收集得再多也无用。
第二是评价信息资料的准确性。评价信息资料的准确性通常可以理解为数据信息的准确性。数据信息的准确性是在把握数据可操作性的基础上,通过查阅被评价项目单位资金管理的账务凭证与账簿、项目审计报告结论、官方或者权威机构相关信息统计、社会调查、问卷调查、互联网查询等手段进行交叉验证。
第三是现场勘察调查工作的细致性。因为现场勘察调查与项目实施的产出与效益指标评价结果密切相关。项目产出与效益指标的实现程度是必须通过现场调查工作来进一步地得以核实,与项目单位提供的信息材料相互应证。比如项目进展完成情况、质量控制情况、经济效益与社会效益、环境影响以及服务对象满意度情况等。对项目点周边居民或者企业、单位人员等进行走访交流,从社会层面去了解项目实施正面或负面不同的影响。通过细致入微的勘察调查工作,可以准确把握实施单位所提交的材料与实际勘察调查结果之间的不同,从而可以发现问题,找出部分或者全部问题原因,为指标评价分析提供有力的佐证材料。
三、分析总结阶段工作的开展是做好评价的落脚点
分析总结阶段包括综合分析评价、撰写评价报告、初步交换意见、正式提交报告四个工作环节。这个阶段我们着重要把握好报告撰写的工作环节,这个环节工作的完成结果是对整个评价工作开展的全面性总结,也是评价工作最终成果的体现。
第一,讲究报告的撰写技巧。一是避免在评价报告中长篇赘述资金拨付情况、评价工作过程等内容。若空话套话多,涉及到项目的绩效管理与绩效指标评价分析内容少,指标分析内容将空洞不透彻,没有说服力。二是避免将评价报告写成审计报告。在这里有必要明确绩效评价报告与审计报告本质的不同。首先二者的工作关注点不同。绩效评价更多地关注政策实施或者专项财政支出的效果,其主要目标是分析和评判结果相对既定政策或者资金支出目标的实现程度,至于是否在财务收支环节上存在问题不是绩效评价项目本身最为关注的主要目标;而财务收支审计则更多地关注是否存在问题,特别是财务收支的规范性、真实性问题;其次是二者的工作方式不同。财务审计工作都是以“账”为中心,通过查阅账目的形式进行审计。而对绩效评价工作来说,查阅账目只是评价项目管理的一个基础环节,更多的精力需要投入到对“果”的调查取证以及分析环节,在这些环节中可能需要用到专家论证、抽样调查、调查问卷、网络调查、现场勘察等多种调查手段和方法,并运用系统分析、数量分析、统计分析、等多种分析方法得出评价结论。由于二者的工作存在以上两方面的区别,其所撰写的结果报告自然有着本质的不同。实际工作中我们一定要把绩效指标分析数据与会计核算数据区别开来,把财务管理问题纳入到绩效管理问题中去分析反映,突显绩效管理特色。也就是说将部分财务指标的完成结果来反映、分析考核绩效管理数据。三是文字要简明,分析要准确。用流畅、准确、直观的语言表达绩效内容,同时注意报告语言符合管理者的要求和阅读习惯。四是报告格式要规范、内容要完整。要按照《第三方机构参与预算绩效管理报告编制规范》的要求格式、内容编制,做到格式规范、内容全面完整、字数控制得当。字数控制按《报告编制规范》要求,评价结论1500字左右、佐证材料7500字左右。
第二,问题反映要论证严谨,客观、公正。项目绩效管理工作存在的问题是通过绩效指标评价分析结果来反映的,通常来讲指标评价分析扣分的地方就是问题的所在。
遇到问题我们应该如何处理?首先是敢于面对问题,讲诚信不回避;其次是做到论证严谨到位,反映问题客观公正。我们可以通过比对核实数据信息统计结果、管理层级(省、县、镇、村)交流或者专访应证、居民问卷调查等。论证结果原因要明确,并得到项目实施各层级管理者的接受和认可,针对问题导向,解决才有方向和途径。
第三,建议要具体可用可行。一是针对反映的问题要围绕预算资金安排、调整资金支出方向和支出结构、改善和优化管理模式等方面提出建议,对如何提高资金支出绩效,用于工作实践,对改进部门(单位)预算管理、提升资金使用效益具有实际意义或指导作用。二是所提出的建议要具体可行,不要片面,大而空,偏离方向没有针对性,张冠李戴,文不对题。
“湖北省新全民健身示范工程项目”评价工作中,工作组经过资料核查、实地勘察调查、走访应证,发现项目实施过程中的资金管理、建设管理与项目运行效果存在一些需要改进的问题,与此同时各评价小组针对这些问题存在以及改进建议同项目所在地的市县、镇村相关管理人员进行反复交流、论证应证,论证结果由主评人多次与项目省管部门省体育局项目实施主管领导进行充分交流沟通,最后在评价报告中进行了结果反映。案例如下:
评价报告中反映项目实施管理存在的部分问题:
*村级文体广场设备器材利用率不高。现场堪查了解,村级项目所在地受适龄体育运动的常住人口比例偏低、部分运动项目群众基础薄弱以及一些项目选址不精准等因素影响,场地设备器材利用率不高。
*县级项目建设进度完成情况不及预期。县级项目工程建设推进进度不及预期,截止评价核查日,有二个省直管市、三个县(市)项目未完工;有二个县(市)项目未开工,影响了项目实施整体完成程度与综合评价结果。
针对上述部分问题,主评人围绕资金支出方向和支出结构、改善和优化管理模式等方面给出的建议:
*优化项目资金的投入结构。首先要适应国家城镇化发展进程,将人口相对密集的县级与乡镇级示范工程项目的建设列入事业发展及资金投入的重点,按照县、乡镇、村逐级逐步发展;其次是村级项目的安排一定要将群众体育工作基础比较扎实,人口相对集中,交通便利的中心村列入首选,提高设施器材的使用率。
*加快推进项目的建设进度。尽快安排落实2018—2019年度建设项目的全面督查工作,对逾期未完工及未开工的项目,压实各级督导责任,加快推进项目建设进度,必要时对命名资助两年不开工的项目收回专项补助金;同时将督查结果纳入以后年度项目竞争性申报的考评要素之一。
结束语:该项目经过认真细致的开展绩效评价工作后,总的结论是,经过2018、2019年连续两年的示范项目的建设,项目所在地的市县、镇、村的公众体育服务场馆建设规模和建设质量、设备器材种类及数量、专业技术服务等方面相较项目实施前有了很大的提升,而且大中型场馆的建设落成为组织开展地方群众性的体育活动提供了便利,有力推进全民健身运动事业的发展。
评价结论及工作建议得到了项目预算职能部门(省体育局)及预算管理部门(省财政厅科教和文化处)的认同,为项目的持续健康推进工作管理提供了有用的参考。报告质量得到了行业专家或领导的肯定。
“好的评价报告就是评价结论具有可用性,或被部门领导同志采纳用于工作实践,或经相关专家学者认定有理念或思路创新,对改进部门(单位)预算管理、提升资金使用效益具有实际意义或指导作用。当然,好的绩效评价报告也不可能全篇都是经典,只要有两段话、两句话进入领导或专家的法眼,已经是非常不容易了。”
总之我们要撰写好一篇优秀的绩效评价报告,一定要多学、多看、多写、多练,经过必要的学习沉淀,不断的工作积累,才能全方位提高自身的综合素质,提升自身的工作能力,任何事情的完成不可能一撮而就,一步到位的。
联系客服