我是一名项目社工。项目执行一年后,我们超额完成了指标,服务满意度高达99%,于是开始信心满满地准备第三方评估。为了在这次评估中取得好成绩,我们团队加班加点,整理了很多资料,辛辛苦苦写了报告、做了P P T。但在后面的评估反馈中,第三方的专家们说,看得出我们做了很多事,但很多都是产出和笼统的效果,看不出具体成效。我很郁闷,该如何证明我们项目的成效,又如何让评估方“看到”我们的成效呢?
辛苦一年的项目迎来大检,做得那么努力,指标超额完成,服务满意度也很高,却被质疑项目成效,确实会让人有些郁闷。看得出,你很希望改善,把自己做的很多事让资助方、评估方等看到,希望证明有“苦劳”更有“功劳”,这就涉及评估的目的了。作为购买方,希望通过评估来了解自己资助的项目是否达到了预期的成效。作为实施方,也希望通过评估,证明已完成指标,达到预期的效果。无论是购买方、实施方,还是第三方,都需要用数据、证据来说话。
在现实中,对于成效会有两个误区。第一个误区是对于参与者和活动量基本都会予以体现,但在成效书写时容易忽略。具体可能出现两个问题:该写的没有写(服务对象的具体改变),不该写的重复写(促进社区和谐、提升幸福)。以单亲妈妈项目为例,在书写上常常出现的写法是,项目结束后,单亲妈妈对未来的生活更有信心,与子女沟通更加顺畅,失业的单亲妈妈重新找到工作……如果你是评估专家,是不是也会蒙圈,看起来是有改变,可改变到底在哪里,改变了多少呢?不知道。第二个误区是觉得成效评估是项目快要结束时才准备。但事实上,评估是为了看目标是否达成。因此,成效评估的第一步不是在项目结束书写报告时,而是在项目策划时就开始了。项目策划时需要了解什么是成效,更要制订项目成效评估的指标。
成效(outcome)是指是否为服务对象(个人、家庭、群体或社区)带来有益的改变。这些改变包括知识、技巧、行为、态度等方面。在评估中成效经常会被认为是产出(output),产出一般通过活动量(指标)和活动参与人数来体现。产出可以看到量变,但往往难以看到性质上的“质变”。这就是为什么评估专家觉得我们做了事(产出),但就是感觉不到具体的改变有什么(成效)。因此,除了产出,我们需要重视成效的呈现。
要学会设置成效评估指标。就像是我们知道目标需要SM A RT一样,评估的指标也需要分解和细化。首先是可以量度的,比如“80% 青少年的父母能说出赞赏青少年的3 个技巧”。其次是可以用行为描述的。以社会孤立的高龄老人重新连接社会这个目标为例,我们设置的指标可以为:一个月到楼下的老人日间中心至少两次;与紧急联系人一周沟通一次;新认识小区里的两个老人,并有一定的交流。再就是可以把指标分为“完成”和“部分完成”的,比如我们不说“长者能否说出包扎伤口5 个步骤”,而说“80% 的长者能够说出包扎伤口的至少3 个步骤”。在实际中,我们发现社会工作者喜欢用满意度作为成效最重要的指标。但事实上,对项目或者工作人员满意未必就达到了项目目标。以单亲妈妈项目为例,我们设置的目标之一可能是50% 的单亲妈妈重新就业,但单亲妈妈长久以来没有被人关注,社会工作者的一句问候、一次同理就会让服务对象感动,进而给出100% 的满意度,而很有可能目标并没有达到。因此,满意度可能是一个必要条件,但未必是充分条件。
项目设置完评估指标后,在接下来的项目实施中,我们要根据设定的评估指标和方法,收集评估相关资料。在项目结束时,我们再整理数据,汇总数据,分析数据,最后形成报告。本次评估已经结束,可以试着从后往前设置评估指标,再收集数据,继续优化成效。但在这个项目的第二年,强烈建议先做好评估框架的设置,再具体执行项目。
联系客服