关于作者
张越,美国明尼苏达大学组织领导及政策、教育与人类发展学院的评估研究博士候选人。
01
概述
CIPP 评估模型由Daniel L. Stufflebean[1]在1960 年代创建,是一种用于支持项目过程中各项决策的评估模型。CIPP是背景(Context)、投入(Input)、过程(Process)和产出(Product)的缩写,即由四个评估阶段构成,包括对项目背景状况及总体目标进行的评估(Context
Evaluation),对投入的资源和设计方案进行的评估(Input
Evaluation),对项目活动和实施过程进行的评估(Process
Evaluation),以及对结果和产出进行的评估(Product
Evaluation)。
Stufflebean曾表示:“项目评估最重要的目的不是证明而是改进。”[2]因此,CIPP反对将评估仅仅作为一种问责的工具,对项目结果进行评判,证明其有效或无效。相反地,CIPP提倡发展式评估思维,分阶段、分环节地探讨项目的有效性、优劣势、成效和问题,用评估启示决策,帮助项目更好地服务于所服务的人群。这种基于实用主义的评估模型,在方法论和方法的选择上更为灵活,也启发了后来的各类发展导向、应用导向的评估框架。
[1] 详见Daniel L. Stufflebeam的著作《评估指导决策》(1968)。
[2] 参见George F. Madaus, Michael Scriven和Daniel L. Stufflebeam共同编写的著作《评估模型:对教育和公共服务评估的认识》(1983)。
02
适用场景
CIPP最早应用于教育领域,后来逐步推广到其他专业领域的培训项目中,如今也常常用于各领域和类型的项目评估中。CIPP是以管理为导向的评估(management-oriented evaluation[3])类别中的一种评估模型。使用该类别中的模型、方法的目的,通常在于通过评估向管理者提供必要的信息,以协助项目决策。CIPP既是强调 “改进” ,则更适合致力于可持续性改进和发展的项目,既可以是已经开展了一段时间的长期项目,也可以是处于初创阶段的创投项目。
CIPP的使用相对比较灵活,既可以用以回答形成性评估问题——在项目的计划和展开过程中,考量资源、环境、实施安排的可行性;也可以回答总结性评估问题——对项目各个环节是否妥当及最终的有效性展开探讨。近年来,CIPP框架在产出/成果的评估阶段,逐渐吸收了影响力评估、有效性评估、可持续性评估、可推广性评估、汇总评估等方法,扩展了该框架的应用场景和使用范围。
[3] 参考Blaine R Worthen, James R. Sanders和Jody L. Fitzpatrick的著作 《项目评估:替代方法和实用指南》(1997)。该分类体系下的其他评估类型包括:目标导向的评估(objective-oriented evaluation),项目用户导向的评估(consumer-oriented evaluation),专家意见导向的评估(expertise-oriented evaluation),当事人导向的评估(adversary-oriented evaluation)和参与者导向的评估(participant-oriented evaluation)。
03
核心要素
“决策”是CIPP的出发点和目的,因此,阶段性的决策需求、项目评估所针对的决策类型决定了评估团队将实施CIPP中的哪种或哪些评估阶段。根据决策类型,评估团队便能够判断需要评估的项目阶段,明确评估的阶段性边界,设定适宜的评估目的和重点。
[4] 表2和表3内容参考并扩充自《评估模型:对教育和公共服务评估的认识》(第129页)以及So Young Lee等人撰写的文章《如何在医疗健康教育中执行CIPP模型》(2019)。
04
操作步骤[5]
根据CIPP的理念、目的和框架,在使用CIPP模型进行评估时,首先需要就评估的范畴和服务内容达成合意,再根据需要进行评估的具体阶段,分别进行规划。
【第一步】了解评估对象和评估需求
· 确定评估对象的性质、发展阶段、实施项目的组织和人员构成;
· 确定评估所服务的决策者、评估结果的使用者、评估涉及的利益相关方;
· 明确评估所服务的决策类型和阶段性目标,了解评估所涵盖的项目阶段和评估需求;
· 委托人和评估者就评估目的和CIPP评估模型的使用达成合意,签订合作备忘录。
【第二步】明确评估的目标和关注点
· 评估者和委托人之间基于评估类型和评估阶段,对评估的方向、标准、原则、内容以及评估结果的使用等方面进行沟通;
· 明确项目评估所重点关注的价值和标准(如项目成效、组织价值、技术标准、员工职能和绩效、社会价值和影响等);
· 明白该评估对象中,价值和标准在背景、投入、过程和产出中的内涵,提出评估问题。
【第三步】建立评估指标体系
· 针对各评估阶段(背景、投入、 过程、产出),在评估标准和评估问题的指导下建立评估指标;
· 建立评估指标时可以参考同类别案例和理论文献。
【第四步】选用适当的评估工具收集信息和数据
· 根据指标建立评估方案和计划,确定测量和分析方法;
· 设计评估工具,明确信息和数据来源,确定其可行性,必要时进行试点;
· 收集和分析信息和数据;
· 与决策者、评估使用者保持沟通,定期汇报进度。
【第五步】评估报告和未来规划
· 根据项目安排和决策需求,确定评估周期和沟通频率,及时反馈项目阶段中发现的问题;
· 根据需求调整报告的形式和内容,为相关的决策需求提供支持;
· 根据评估结果和项目需求,考虑是否将CIPP进行循环应用,以支持项目的螺旋式发展。
* 如果是形成性评估,那么评估将按照C、I、P、P的顺序开展项目评估和项目实施将交叉进行,对【第三步】至【第五步】进行阶段性重复;如果是总结性评估,那么C、I、P、P可同时进行,可对同类指标、工具进行整合,简化数据收集过程。
* 在对每个评估阶段进行方案设计时,因评估目的不同,操作步骤和考量因素存在些许差异,具体可参考Stufflebeam的《CIPP评估模型清单》(2007)[6]。
[5] 主要参考Stufflebeam的文章《CIPP评估模型》(2000)和《21世纪CIPP模型》(2004)。
[6] 文件链接:https://wmich.edu/sites/default/files/attachments/u350/2014/cippchecklist_mar07.pdf
06
应用案例[7]
北京义德社会工作发展中心于2018年10月发布了《玫好未来专项基金[8]素养教育项目评估报告》,该评估案例综合使用了多种评估方法和工具,完整呈现了CIPP模型中背景/需求评估、投入/资源评估、过程评估和产出/成果评估在创新教育公益项目中的应用。
[7] 评估报告链接:https://www.adream.org/wp-content/uploads/2018/11/2018-11-15-10545172.pdf
[8] “玫好未来”专项公益基金由上海真爱梦想公益基金会与玫琳凯(中国)有限公司共同发起。
08
主要优势
· CIPP提供的评估框架涵盖了项目发展的各个阶段,提倡将项目评估整合到项目创变的全过程中,为各阶段的决策提供信息和依据。
· CIPP允许评估者根据评估需求,在项目实施的不同阶段介入,针对项目的不同方面和不同决策需求,设计适当的评估方案,进行相应的评估。
· CIPP框架有助于澄清各个阶段中需要重点关注的评估问题,伴随着项目的发展和成长,使项目设计、策划、实施过程中的问题得到及时反馈,有利于管理者和执行团队作出适当的策略调整,提高管理决策的时效性,减少资源浪费。
· CIPP框架指导下的评估活动,着眼于决策的实际应用,能够为项目的阶段性发展提供多元的、丰富的、实用的信息。
09
主要挑战
· CIPP是一个灵活却较为笼统的指导性框架,没有提供具体的评估方法和工具,评估者需要根据实际情况,建立评估策略,对评估人员在相关领域的评估经验,以及在评估方法和技能方面的储备有一定的要求。
· CIPP的服务对象主要为项目的决策者,即项目的管理人员,其视角具有局限性,容易忽视其他利益相关群体的诉求和需求,尤其在产出/成果评估阶段,如果对项目影响力及价值的判断比较单薄,在指导项目的迭代和扩展时,评估结果的作用会较为有限。
· CIPP实际上由四种评估构成,即一次完整的CIPP是四场独立开展却相辅相成的项目评估的总和,每一个评估阶段都需要根据情况设计不同的评估方案(尽管各个部分可能有所呼应和交叉)。要完全地实施CIPP是比较复杂的,需要评估团队从头至尾地参与项目的全过程,在资金、资源、时间、合作等方面需要充足的沟通和支持。
10
使用建议
· 由于CIPP在项目发展过程中的应用跨度较广,可考虑建立内部评估团队,将评估流程和工具内化于项目管理过程,跟踪项目发展进程,强化内部反馈机制。
· 在采用CIPP之前,管理人员和评估人员需要确定评估的阶段和范畴,把握评估团队的介入时机(介入时机应早于需要评估的项目阶段,以便进行商讨和规划),确定是否需要较为长期的承诺和投入。
· 在运用CIPP框架时,尤其在产出/成果评估阶段,可以参考其他评估路径和评估思维,引入更加多元的视角,丰富“成果”、“成效”、“价值”等概念的评价维度和评判标准,以平衡受到决策影响的群体利益,对决策可能带来的多方面影响有所洞察。
11
更多资料
学术著作和文章
Stufflebeam D. L. & Shinkfield A.J. (1985)Systematic evaluation: a self-instructional guide to theory and practice. Dordrecht: Springer.
Stufflebeam, D. L. (2000). The CIPP Model for Evaluation. In Stufflebeam, D. L., Madaus, G. F., & Kellaghan, T. (eds) Evaluation Models: Evaluation in Education and Human Services, 279-317. Springer, Dordrecht.
Stufflebeam, D. L. (2004). The 21st century CIPP model. In Evaluation roots, 245-266.
手册和工具
Stufflebeam, D. L. (2007). CIPP Evaluation Model Checklist, A tool for applying the CIPP Model to assess long-term enterprises. 文件链接:https://wmich.edu/sites/default/files/attachments/u350/2014/cippchecklist_mar07.pdf
Stufflebeam, D. L., & Zhang, G. (2017).The CIPP evaluation model: How to evaluate for improvement and accountability. Guilford Publications.
应用案例
Ho, W., Chen, W., Ho, C., Lee, M., Chen, C., & Chou, F. (2010). Evaluation of the Suicide Prevention Program in Kaohsiung City, Taiwan, Using the CIPP Evaluation Model.Community Mental Health Journal, 47(5), 542-550.
Lee, S. Y., Shin, J. S., & Lee, S. H. (2019). How to execute Context, Input, Process, and Product evaluation model in medical health education. Journal of educational evaluation for health professions, 16, 40.
Shams, B., Golshiri, P., & Najimi, A. (2013). The evaluation of Mothers' participation project in children's growth and development process: Using the CIPP evaluation model.Journal of Education and Health Promotion, 2, 21.
To, O. C. (2017).A Program Evaluation of an Apprenticeship Program using Stufflebeam's CIPP Model. Gardner-Webb University.
Zhang, G., Zeller, N., Griffith, R., Metcalf, D., Williams, J., Shea, C. & Misulis, K. (2011). Using the context, input, process, and product evaluation model (CIPP) as a comprehensive framework to guide the planning, implementation, and assessment of service-learning programs. Journal of higher education and outreach engagement 15(4), 57 – 83.
关于我们
公益行业评估支持平台(以下简称“平台”)创立于2018年,致力于建立与推广公益行业评估标准,培养公益行业评估专业人才,促进公益行业可持续发展。平台依托清华大学、北京师范大学等高校资源,得到行业内资深评估机构、致力于推动公益行业建设的基金会、企业等社会力量的持续支持,通过知识库建设、资源库建设、行业研究与行业交流等工作,逐步建立起行业影响力,推动公益领域评估发展。
平台建立了完善的治理结构与工作团队。理事会由行业内资深学者、公益领域资深实践者及关注公益行业发展的机构代表组成;秘书处建立了具备专业研究能力的专兼职团队10余人,其中硕士及以上学历占比90%。此外,平台设有专业委员会和资源委员会,由乐于投入平台发展的国内外专家学者组成,为平台提供专业能力和资源支持。
联系客服