前言:《培训人的底层逻辑》手册是由培训空投公众号发起,7位资深培训专家参与,共同共创、撰写。是一本以培训管理人视角切入,适合与培训管理人阅读、学习的培训底层逻辑文档集。本手册包含理解业务、学习成长、培训专业三个模块,17篇文档和模型、方法论等。每篇文档采用固定的结构为读者进行方法论的详细解读。
本文为《培训人的底层逻辑》手册系列第10篇文章——【10】培训专业的逻辑之柯氏四级评估模型(上篇)。
本文作者为八一老师
所有培训的目的都是通过相应的培训知识应用提高在职绩效并影响成果。柯氏四级评估模型是被用来保证培训所获得的知识能被应用并改善组织成效的主要方法之一。
柯氏四级评估模型是目前培训与学习发展领域最经典、应用最广泛的评估模型,学习发展领域众多评估模型(如杰克·菲利普斯五级评估、罗伯特·布林克霍夫成功案例法)要么对其进行了发展,要么借鉴了其基本逻辑。作为培训管理者,学习和应用柯氏四级评估模型,不仅是因为其经典,更因为其简单、易懂、易操作,是培训管理里学习活动设计、运营、结果衡量提供极强的指导性。
What——什么是柯氏四级评估模型?
1、《如何做好培训评估:柯氏四级评估法》,电子工业出版社
2、《柯氏评估的过去和现在:未来的坚实基础》,江苏人民出版社
3、《培训审判:再造职场学习,保持与时俱进》,江苏人民出版社
20世纪50年代,唐纳德.L.柯克帕特里克威斯康辛大学任教,他发现几乎没有任何措施来验证学生是否学到了知识。因此在后来攻读读博士学位及之后的研究都专注在学习效果的评估,并提出培训效果的评估反映、学习、行为改变和业务结果四个层次内容。但经过几十年的发展,柯氏四级评估模型受到了很多质疑和批评,其中最有力的批评是柯氏四级评估模型在二级学习层级及三级行为层之间出现了断层,无法证明学习的发生会带来行为的必然改变。为拓展柯氏四级评估的应用,以及有效的回应来自各方的质疑,唐纳德·柯克帕特里克的儿子吉姆和儿媳温迪对柯氏四级进行了迭代和升级,引入价值证据链、以终为始的思想,在二级学习层级和三级行为改变层之间建立驱动力系统,并在三级行为改变与四级业务结果之间增加了先行性指标,并于2010年正式推出新版柯氏四级评估模型。
一、使用原则:柯氏四级评估模型使用的五项基本原则
1、把终点作为起点(以终为始)
2、期望值回报率(ROE)是价值体现的最终指标
3、业务合作伙伴关系是实现积极的期望值回报率必不可少的因素
4、在展示价值前必须创造价值
5、用一条极具说服力的证据链展示培训带来的基本价值。
二、使用方法
1、四级业务结果的梳理:柯氏四级评估的第一项原则基本原则是“把终点作为起点”。即在项目开始之前就确定项目将会带来的业务价值。在梳理四级业务结果时可以思考以下三个问题:
1)公司需要达成什么样的战略目标?
2)用什么指标可以衡量战路目标的达成?
3)在哪里能找到这些信息?
一般来说,业务结果均为公司已有的业务系统中已有的指标,比如提高销售额、提高市场占有率、提升公司利润等。此处一定切忌培训部门自己去随意创造公司原业务系统内没有的业务指标。同时,考虑到多数业务结果指标的获取周期比较长,但培训项目在很多时候等不到业务结果产出,因此业务结果往往存在滞后性。为解决这个问题,可以设置一些领先指标,作为在短期观察和衡量标准,用以追踪关键行为来确保关键行为对预期业务结果的影响的证明。领先指标可以从两个维度进行思考:外部成果—顾客、市场和行业反应指标,内部成果—组织成果、部门成果、小组个人成果。领先指标梳理可以问以下几个问题:1)为了达成战略目标,什么样的业绩指标需要改善?
2)什么影响因素促进或阻碍了业绩指标的提升?
3)在哪里能找到这些信息?
领先指标同样同样遵循培训部门不随意创造的原则,而尽量用公司业务系统中存在的一些管理性指标可以参考以下内容:
在此,需要再次强调的是,培训部门在确定这些指标时,一定不要自己既是运动员又是裁判员。因此在实际操作过程中,应特别注意以下几点:
1)无论是预期的业务指标,还是相对较容易获取的先行指标,培训部门均不要自己去创造,应该已经存在于业务系统中的指标,比如销售额存在于销售管理系统、利润存在于财务系统、员工留任率存在与人力资源管理系统、采购周期存在于供应链系统、客户满意度存在于客服管理系统等。
2)这些指标在相当程度上代表着项目目标,确定这些指标时,一定不是培训部门自己在业务中摘取,而是通过与业务部门沟通共识的目标。
3)在确定这些指标的同时,就需要明确数据收集的来源(提供者),如销售额数据来源销售管理部、利润数据来源财务部、留任率数据来源人力资源部员工关系模块、采购周期数据来源于采购管理部、客户满意度数据来源于第三方市场调查公司等。
2、确定关键行为改变与驱动力系统
2.1确定关键行为
关键行为是指为了实现预期的业务结果,学员必须在工作中持续性的产生的少数几个关键行为。这些行为必须能够支撑四级业务结果或者领先性指标的达成,比如要达成“降低客户投诉率”这个领先性指标,销售人员必须能够发生“培训结束后,销售人员能够基于公司产品功能和服务政策要求,不会为了提升销售额而对客户过分承诺”的行为。要确定关键行为,可以问以下几个问题:1)在xx工作上,什么行为期望发生而没有发生?
2)在完成xx工作过程中,哪些行为是鼓励且有效的?
3)为了达成xx指标,需要完成哪些工作任务?
在此,需要注意的是,关键行为不宜过多,否则将不够聚焦。在实际项目运营过程中也不利于跟进和评估,关键行为一般3-5个即可,最好不要超过5个,行为改变的跟进需要花费的时间和精力非常多,关键行为过多一方面是时间和精力有限无法全部跟进;另一方面是关键行为过多是不够聚焦的体现,在实际操作中不聚焦往往会陷入非常表面和浅显的评估,而这些评估结果因为缺乏深度和可靠的证据,很难取得业务部门的认同。这些关键行为有几个基本的衡量标准,并要明确每个关键行为与前面所梳理的结果指标或者领先性指标之间保持前后的逻辑关联,以及衡量该行为是否发生的方法和发生时间(开始时间、发生频率、持续时长等)。关键行为衡量标准如下:
1)这些行为是目标学员在工作中的行为或者活动
2)这些行为是具体、可衡量、可观察的
3)关键行为需要根据与预期结果的联系来确定
2.2 梳理行为改变的必要驱动力
行为改变的驱动力是指,能够监控、强化、鼓励和奖励学员在工作中进行关键行为改变的机制、流程和系统。这些机制、流程和系统能让学员有意愿和信心,愿意将所学运用到工作中,产生期望的行为改变。必要驱动力的确定和实施情况,决定着培训项目是否能够取得成功。实际上,在任何项目中最难的一部分恰好就是驱动方法和措施的规划和实施,这是项目运营的核心。驱动力可以通过问以下问题来梳理:3)什么的机制、流程、系统能够驱动学员发生期望的行为?根据柯氏四级评估模型,关键驱动力可以分为推力和拉力两种。无论是推力还是拉力,都容易让人认为是外部作用产生的,因此笔者更倾向于用内驱力和外驱力来做区分。内驱力是指通过某些方法让学员自动自愿的发生期望的行为,外驱力是指通过一定的机制、方法让学员产生害怕失去、害怕失败、和一定的恐惧,而塑造的行为。继续以前面提到的”销售人员能够基于公司产品功能和服务政策要求,不会为了提升销售额而对客户过分承诺”为例,比如可以用上级督查、客户满意度提升奖励计划等作为驱动力系统,来促进他们不过分承诺。柯氏四级评估模型的驱动力系统包括强化、鼓励、奖励制度、监督和调整四个维度,具体如下图:此处,需要注意的是,并不是驱动力系统中的所有方法、机制或者系统都需要使用到。实践中因为资源、投入的稀缺性和时间的紧迫性因素制约,也不可能用到所有驱动系统中的所有内容。因此需要培训管理者必须对此有清晰的认知和判断,根据期望学员发生的关键行为,选取那些关键的驱动力系统。另一点需要提醒的是,关键行为与必要的驱动力并不是一一对应的关系,某项驱动力可以对应多项关键行为,某项关键行为也可以用多个举措来驱动。具体梳理中,可使用以下工具:
人力资源资深实践者章森老师在实践中,总结出了推动人才发展项目策略的三个方面:组织层面、群里层面和个体层面(如下表)。这些策略与柯氏四级模型中的驱动力系统有着异曲同工之妙,且相对更容易理解和操作,也符合中国国内在培训学习工作中角色与作用的分类,因此笔者在此也引用章森老师总结的成果作为参考,一定程度上是柯氏四级评估模型驱动力系统的一种补充和替代。3、明确学习结果:二级学习结果指根据学员学习过程中的参与程度测评学员学到了多少应该掌握的知识、技能和态度。这些学习内容能帮助他们在工作中产生所期望的关键行为改变。依然以前面“提升客户满意度”为例,在这个业务指标中提到要实现客户满意度的提升”销售人员能够基于公司产品功能和服务政策要求,不会为了提升销售额而对客户过分承诺”的行为改变,因此学员需要学习的内容有:客户满意度的评价内容、公司产品知识、公司的服务政策、客户服务沟通技巧等。在进行二级学习内容的确定过程中,可以通过以下几个问题来梳理:3)如何能获得或增强这些需要的知识和技能?
建立二级学习内容目标要坚持实用性和可靠性两项基本原则。实用性是指证明培训是有效的内容和信息(有效的培训);可靠性是指可以用来向利益攸关方展示对员工绩效得到改善、组织业绩有帮助的内容和信息(培训的有效性)。二级学习目标的拟定,目前最常用也最清晰的是结合布鲁姆认知层次来拟定。布鲁姆认知层次的相关理论内容,不在此文章介绍和讨论范围内,有兴趣的读者可以参阅《学习、教学和评估的分类学》和《布鲁姆布卢姆教育目标分类学:分类学视野下的学与教及其测评》两本专著。在明确了学员二级学习内容后,学习层面的评估可以从以下几个方面考虑:1)知识:我知道了。衡量学员已经学习到的具体内容。2)技能:我现在就能做到了。衡量学员已经会的操作技能。3)态度:我相信这对工作是有价值的。衡量学员对该知识和技能的认知。4)信心:我觉得我可以把我所学应用到工作中。衡量学员对所学的知识、技能在实际工作的应用场景。5)承诺:我愿意将所学应用到自己的工作中。衡量学员将所学知识技能应用到实际工作中的决心。针对二级学习层的评估,培训管理者最先想到、也是最常用的就是考试。在绝大多数的培训考试中,考题的质量(信度、效度)其实比较低,很难衡量学员对学习内容的掌握程度,更多是是在评估学员对学习内容的记忆程度。我们可以回忆小学到大学的各类考试,特别是数理化的考试,它们的信效度是比较高的,因为成绩确实能比较真实的反应学生对该门学科的掌握程度,因为这些考题不仅考察了学生的对某个具体知识点的记忆,也考察了学员对该知识点的理解、应用、分析和综合。因此考题的开发实际上并不是我们根据培训内容,相对随意的进行出题,考题开发要达到如学校考试那样精准的目标,需要经过专业的训练。具体如何开发出信效度高的考题,是一个专业性较高的话题,不在此文章讨论范围内,有兴趣的读者也参考《ISPI绩效改进指南》、《ASTD培训经理指南》及《ATD学习发展指南》中关于二级评级的相关内容。实际上考试只是二级学习层评估方法的一种,我们不能仅仅局限于用考试来评估学员学习内容的掌握程度,也可以通过比如情景演练、角色扮演、课堂观察等方式进行二级评估。二级学习层面的评估的方法、工具和技巧,可以分为改进型评估(训中)和总结型评估(训后)两类:1)改进型评估方法包含如:训中知识考试、讨论、个人/小组练习、行动计划、角色扮演、演练等。2)总结型评估方法包含如:训后知识考试、演讲/演绎所学知识、演示、调研问卷、访谈等。3)在柯氏四级评估的观点里,认为最难评估的恰恰是二级学习层面的内容。根据布鲁姆教学目标分类法,学习目标分为知道、理解、运用、分析、综合、评价六层次,要评估学习目标到达六层次中具体哪个层次,在实操中不仅繁琐而且困难。举例来说,“销售人员学习完后,能够制定销售计划”的学习目标是到达“运用”层级,如何才能评估学员能够运用所学知识技能来“制定销售计划”?在实操中其实是有难度的。在“提升客户满意度”这个业务指标中,”销售人员能够基于公司产品功能和服务政策要求,不会为了提升销售额而对客户过分承诺”,在二级学习目标的评估中同样也是需要达到运用层级,可以采用如“情景模拟”、“演练”这样的方法,来评估学员是否对公司产品、服务政策、以及沟通方式进行综合的运用。4、明确反应评估内容: 一级学员反应指学员对培训的喜好程度。这是在实操中使用最频繁的评估层次。最初的一级反映层面的评估只评估学员对培训的满意度,新版柯氏四级将一级评估进行了延展,已经扩大到除学员满意度以外的学员参与度和相关性另外两个维度。学员参与度是指学员在培训过程中积极参与的程度,相关性是指课程内容和学员岗位要求之间直接相关的程度。一级反应评估能够我们提供非常有价值的意见反馈,这些反馈不仅是在对培训本身做出评估,也能为我们以后的培训改善和调整提供必要的参考。在进行一级反应评估时可以参考以下问题:一级学员反应的评估方法,多数采用的是训后的满意度调查问卷的形式。实际上这并不完整,一级反映层的评估与二级学习层面的评估方法相同的是可以分为改进型评估(训中)和总结型评估(训后)。前者包含如讲师观察、专用观察员等,总结型评估包含如调研问卷、访谈、小组访谈等。 一级学员反应层面的评估在具体操作中,需要注意以下几点内容:
1)应该以“学员为中心”而不是以“讲师为中心”开展评估。即从学员的的视角、感受出发,从教学设计、课程内容、讲师、组织工作等进行设计。这一点主要体现在问卷设计的措辞方面。比如评价课程内容与实际工作的关联性上,以“讲师为中心的”的表述通常是“该课程/项目与实际工作场景相符”,以“学员为中心”的表述可以是“我清楚的知道该如何将项目/课程中所学内容应用与实际工作”。
2)一级评估务必做到及时性。即一级反应评估应该在培训结束后立即开展。因为一级评估依赖于学员的即时感受,人的感觉会随着时间的推移逐渐变得模糊,因此在培训结束后立即进行评估,是为了更准确地得到学员对培训的真实感受。
3)一级评估需要确保评估的结果的真实性。在国内,因为我们的文化上不愿意给他们不好的评价,特别是授课讲师/组织方对学员日常绩效存在一定的影响力的情况下,如讲师可能在职级在上较学员高或者直接就是学员的上级,或者培训组织方会基于学员的表现将其与日常的绩效、晋升进行关联时,学员往往更倾向于不遵从自己真实的培训感受,而给予比真实感受更高的评价。因此在给学员进行满意度调查时,可以通过比如匿名调查方式,并引导学员尽可能遵照真实感受来进行评估,并强调他们的真实评价对讲师/组织方的工作改善至关重要;为了做到问卷评价结果的真实,还可以在问卷设计中,加入一些验证性问题,验证和剔除一些无效问卷,如下图中蓝色框框圈出的两条表述,明显与其他正向的表述不一致,学员在做评估时如果是为了“应付”,很有可能选择与其他表示意思相反的分数(分数一致,表达的意思相反),培训管理者在做问卷统计分析时,可以将此类自相矛盾的评价问卷视为无效问卷,以提高问卷的真实性、客观性和信效度。
5、明确成功的必要条件:成功的必要条件是指帮助项目取得成功或者克服困难的前提、活动、条件或者沟通交流,避免这些因素对培训项目产生负面影响。对于培训管理者来说,成功的必要条件就是要去思考训前、训中、训后要发生哪些事情。比如项目要成功其中一个必要条件是,学员的上级能够接受学员在使用新的方法和工具的前期出现短暂的效率降低的现象,那么在训前就必须和学员的上级进行沟通并说明原因,与学员上级达成共识,让学员在实际工作应用所学的新方法和工具,并给其进行辅导和反馈。
需要说明的是,在实际的培训管理中,因为评估需要花费非常大的时间、人力、物力和财力,这些都是投入。从投资回报率的角度来说,如果投入大于产出,则没有必要投入。因此,并不是所有培训项目都需要完成的进行柯氏四级评估。我们需要先对培训项目有一个基本的判断:该项目值不值得开展完整的四级评估?实际上要进行完整的柯氏四级评估的项目,必定是公司的关键、重要的项目,大多数日常的项目只需要做到一级和二级,部分做到三级即可。如果某个项目进行了完整的柯氏四级评估,在做项目复盘的时候,应该注意以下四个问题:1)如果你在多个评估层级或者事项中都有相同的内容,也许你没有真正界定组织成果,也没有制定好实施计划的方法。2)仔细检查和沟通项目的评估计划,确保每个层级之间都有清晰的联系。3)仔细检查项目评估计划,确保你拥有充足的数据来证明该培训项目是有用的(有效性),确保它有助于促进组织绩效和成果(可靠性)。同时,确保你的计划在实际工作中是可执行的。4)培训评估始于培训需求,贯穿于培训项目全过程,如果你的评估均为培训结束后才开始,或者培训开始以后才想起要做评估,那么你将很难将培训价值显性化。在柯氏四级评估基本操作介绍的最后,笔者为大家提供一个综合性的评估方法/工具表,以及评估数据收集计划表作为参考,方便在实际操作中能够对照选择对应层级的评估方法和工具,同时在项目开始之前就制定好不同层级评估所需的数据、信息来源、收集时间点、数据收集目的以及数据提供责任方等,及规划培训本身的评估,也助于推动培训效果的真正落地。
三、使用误区:柯氏四级评估在实际应用中,时有被误用或者错用的之处,主要误区有以下四点:
误区1:柯氏四级评估模型当做一个纯评估模型,用于证明培训的价值。误区2:柯氏四级评估模型按照反映、学习、行为改变、业务结果顺序逐级开展。误区3:所有培训项目都应该完整的用柯氏四级模型进行评估。误区4:柯氏四级评估中最难的是四级业务结果的评估。实际上柯氏四级评估模型,被用于评估和证明培训的价值,不能说是错误,至少是不完整的,无法发挥该模型的真正价值。评估本身是非常耗时耗力的一件事,从成本投入角度出发,并不是所有培训项目都需要完整的进行四个层级的评估,需要应用柯氏四级评估模型的项目应该是公司关键业人才、业务赋能项目的设计和运营,其作用才能真正显现。
其次,柯氏四级评估模型,从数据收集的角度来说,应该按照反映、学习、行为改变、业务结果逐级进行。而在实际项目设计运营中,规划收集的数据,正确的做法应该是从业务结果、行为改变、学习、反映的顺序进行设计。最后,柯氏四级评估中最难的是四级业务结果的评估这其实是个错觉。实际上柯氏四级的观点是:四级业务结果层面的评估是四个层级中最容易的,因为业务结果本身是存在业务系统中的,只需要进行结果提取而无需证明,第四层级的评估实际上更重要的是建立培训与业务结果之间的影响关系;最关键的是三级行为层面的评估,行为是带来结果的关键,期望行为的发生才能提高期望结果的产生;最难评估的是二级学习层面的评估,要评估学员对所学内容的掌握程度,技能层面相对好评估,但认知层面需要非常专业的技术和策略;一级学习反应层面的评估是使用最广、最常见的评估,目前绝大多数培训组织都会进行学员满意度评估。【案例展示】 见【11】培训专业的逻辑之柯氏四级评估模型(下篇)
鸣谢《培训人的底层逻辑》项目组的7位专家(排名不分先后)
以上是本期与大家分享的内容,希望能够为优秀的你提供些许启发!
福利时刻
2023年【中级经济师】培训课程团购报告(感兴趣扫码入群)
获取全部原创空投包(如学习地图、培训运营SOP等)
版权说明: 本文版权归原作者培训空投,微信公众号-培你一个空投所有;未经原作者允许不得转载或用于任何商业目的,否则将视为侵权;转载或者引用本文内容请联系作者。 |