学习目标
?了解培训与开发效果评价的重要性。
?熟悉培训效果评价的工作流程以及如何构建评价体系。
?掌握效果评价的内容及标准、培训效果评估的跟踪与总结。
引导案例7-1
谁动了我的培训与开发的效果
大多数公司的高层领导对培训的必要性已有比较深刻的认识,花在培训上的钱也越来越多。但是,因为培训本身并不直接产生经济效益,到底该花多少钱在培训上,花的钱有什么效果,就成为让领导头疼的难题。甚至在某些公司主管眼里,培训已成为一个“保健因素”。那么,如何评价培训与开发的效果,把有限的培训费用花在刀刃上,使培训成为员工和企业发展的“激励因素”呢?
朗讯科技中国有限公司介绍了他们在尝试开展培训与开发效果评价上的一些方法和经验。他们认为,一个完整的培训流程应该包括四个步骤。首先要从培训需求分析做起,了解企业和员工需要提高哪些技能和素质;然后根据需求设计选择培训课程;接着是具体的授课过程;最后是效果评价。这是一个闭环的流程。要使培训有效果,这四个步骤缺一不可。
至于培训效果的评价,主要包括四个层面:第一,反应(Reaction),即课程刚结束时,了解学员对培训项目的主观感觉;第二,学习(Learning),即学员在知识、技能或态度等方面学到了什么;第三,行为(Behavior),即学员的工作行为方式有多大程度的改变;第四,结果(Results),即通过诸如质量、数量、安全、销售额、成本、利润、投资回报率等可以量度的指标来考查,看最终产生了什么结果。
反应层面需要评估以下几个方面:内容、讲师、方法、材料、设施、场地、报名的程序等。对这个层次的评价,首先要有总体的评价,比如询问学员:你感觉这个课怎么样?你会向其他人推荐这个课吗?但是这样容易产生一些问题,比如以偏赅全,主观性强,不够理智等。因此还必须有涉及以上内容的更细致的评估方法。适合的方式有问卷、面谈、座谈、电话调查等。
具体衡量的尺度,可以采取4分法(极好、好、一般、差)、5分法(极好、很好、好、一般、差),或者7分法(1分到7分)、10分法(1分到10分)。一般而言,5分法比较容易操作,但区分度不如7分法。
这个层面的评估易于进行,是最基本、最普遍的评估方式,但它的缺点显而易见。比如,因为对老师有好感而给课程全部高分;或者因为对某个因素不满而全盘否定课程。
以下解决办法值得尝试,比如:强调评价的目的,请求大家配合;鼓励大家写意见、建议;与历史数据或其他公司数据比较;对大公司来讲,在全面铺开某个课程之前先试讲;结合使用问卷、面谈、座谈等方式;不同主题的课一起开时,要及时反馈,马上填问卷等。
学习层面主要的评估方法有:考试、演示、讲演、讨论、角色扮演等多种方式。
这个层面的评估的优点有:对培训学员有压力,使他们更认真地学习;对培训讲师也是一种压力,使他们更负责、更精心地准备课程和讲课;学习是行为改善的第一步。
但问题在于,压力是好事也可能是坏事,有可能使报名不太踊跃。再者,这些测试方法的可靠度和可信度有多大?测试方法的难度是否合适?对工作行为转变来说并非是最好的参考指标。
(资料来源:http://www.chinahrd.net中国人力资源开发网)
培训与开发能持续提升员工的知识、技能与工作态度,从而为企业的战略实施提供强有力的人力资源保障,使其在竞争中获取更大的优势。然而培训效果如何、培训的投入是否值得,一直是员工培训工作中尚未解决的一个难题。因此,科学的培训评价对于企业了解投资的效果、界定培训对组织的贡献、证明员工培训所做出的成绩等,就显得非常重要。
培训与开发的效果评价的内容主要包括以下几个方面:
(1)培训需求是否和企业的战略目标相一致。
(2)培训需求是否和企业文化一致。
(3)培训内容是否按计划顺利完成。
(4)受训员工实际接受程度如何,是否对实际工作有指导意义。
(5)培训后的员工有哪些变化。
(6)培训师资的水平与质量如何。
(7)培训时间、地点是否适宜。
(8)培训投资与收益的分析。
(9)培训中成功与失败之处,还需做何改进。
正确评价培训与开发的效果是公司培训与开发工作的一个必要环节。由于培训与开发的效果有些是有形的、有些是无形的;有些是直接的、有些是间接的;有些是短期的、有些是长期的,因此,给效果评价带来很多困难。评价培训与开发的效果要坚持一个准则,即培训与开发的效果应在实际工作中(而不是在培训过程中)得到检验。另外,培训与开发的效果要从有效性和效益性两方面进行评价。有效性是指培训与开发工作对培训目标的实现程度。效益性则是判断培训与开发工作给公司带来的全部效益(经济效益和社会效益),而不仅仅是判断培训与开发的目标的实现程度。
对于培训评价标准的研究,国内外应用最为广泛的是由美国学者柯克·帕特里克(Kirk Patrick)于1959年提出的培训效果四级评价模型,该模型将培训的效果分为四个层次:(如下表所示)
(1)反应层,即学员反应。在员工培训结束时,通过深入调查了解员工培训后的反应和感受。
[提示:反应评估是评估学员对课程的满意程度。通常是于课程结束前邀请学员填写课后问卷以了解学员对课程的满意程度,并将搜集的意见作为未来举办同样课程之改善参考。问卷项目通常包括有课程实用性、深浅难易度、时间长短、讲师讲授技巧等。]
(2)学习层,即学习的效果。确定受训人员对原理、技能、态度等培训内容的理解和掌握程度。
【提示】:学习评估,就是指根据训练目标,测量学员对所学的知识、技能的了解吸收程度。根据课程类型不同有如下不同的评估方式。
(3)行为层,即行为改变。确定受训人员培训后在实际工作中行为的变化,以判断所学的知识、技能对实际工作的影响。
[提示:行为评估即通过训练前/后行为的改变,以评估训练对受训员工绩效改变的程度,这样的评估是最能直接反应训练绩效的。然而,这方面的评估,是有赖于受训员工主管、同事、甚至部属的观察与回馈。]
(4)结果层,即产生的效果。可以通过一些指标来衡量,如事故率、生产率、员工流动率、质量、员工士气和企业对客户的服务等。
【提示:】结果层即组织效益评估,是评估训练对组织绩效,诸如生产力、销售额、顾客满意、品质改善等的影响。
随着我国企业对培训效果评价的日益重视,柯克·帕特里克培训四级评价模型已成为我国企业培训效果评价的主要标准。但在相当多的企业中,培训效果评价一般只停留在第一、二层次,而缺乏更深层次(第三、四层次)的评价。
因此,准确地评价培训与开发的效果是一项很困难的工作。美国人力资源管理专家洛丝特对评价培训与开发的结果提供了一些简单而适用的建议,可以给我们一些有益的启示:
(1)请受训者在培训课程结束时填写评价表。
(2)培训开始让受训者谈谈他们希望学到什么。培训结束时,让他们回顾自己提出的学习目标,并讨论究竟学到了什么。
(3)不断提出问题,让受训者阐述他们是如何理解概念的,并如何在工作中运用这些概念。
(4)每讲完一个新技能或新概念就进行一次小测验,确保每个受训者都掌握了这部分内容。
(5)回顾学习的结果,让受训者证明自己取得的学习成果。
(6)培训结束后,让受训者花5~10分钟的时间写一写他们如何运用学习成果和什么时候用。
(7)观察员工的工作情况及对新技能或新知识的使用情况。
(8)比较培训前后受训者的表现。
(9)让受训者写下培训中哪些内容对他们的工作最有用,哪些内容最没用。
(10)交给受训者一项工作任务,要求他们使用学到的新知识和新技能。完成任务后,与每位受训者交谈他们的工作,指出他们的不足,并加强学习。
作为完整的职业培训,培训后的评估和反馈是培训过程中必不可少的一环,是对本次培训进行改进、完善和提高的必要手段。但由于培训评估是培训的一个难点,限于公司的精力、实力和财力,企业里大多数的培训只做到了反应层和学习层的评估,这对于现在企业的培训要求是远远不够的。
(1)分析培训需求。进行培训需求分析是培训项目设计的第一步,也是培训评估的第一步。不管一个培训项目是由什么原因引起的,人力资源开发人员都应该通过培训需求分析来决定具体的知识、技能、态度的缺陷。培训需求分析中所使用的最典型的方法有访谈法、调研法和问卷调查法。调查的对象主要集中在未来的受训人员和他们的上司,同时,还要对工作效率低的管理机构及员工所在的环境实施调查,从而确定环境是否也对工作效率有所影响。
(2)确定培训评价目的。在培训项目实施之前,人力资源的开发人员就必须把培训评价的目的明确下来。在多数情况下,培训评价的实施有助于对培训项目的前景做出决定,对培训系统的某些部分进行修订,或是对培训项目进行整体修改,使其更加符合企业的需要。例如,培训材料是否体现公司的价值观念,培训师能否完整地将知识和信息传递给受训人员等。同时,培训评价的目的将影响数据收集的方法和所要收集数据的类型。
(3)建立培训评价数据库。进行培训评估之前,企业必须将培训前后发生的数据收集齐备,因为培训数据是培训评估的对象。培训的数据按照能否用数字衡量的标准可以分为两类:硬数据和软数据。硬数据是对改进情况的主要衡量标准,以比例的形式出现,是一些易于收集的无可争辩的事实。这是最需要收集的理想数据。硬数据可以分为四大类:产出、质量、成本和时间,几乎在所有组织机构中这四类都是具有代表性的业绩衡量标准。有时候很难找到硬数据,这时,软数据在评估人力资源开发培训项目时就很有意义。常用的软数据类型可以归纳为六个部分:工作习惯、氛围、新技能、发展、满意度和主动性。
培训数据收集的关键是人力资源开发人员与直线部门人员良好的配合。例如,培训需求来自直线部门,他们知道员工技能的差距,他们能够指出员工技能改善的方向和预期改善目标。人力资源开发人员只有与直线部门人员配合,才能更好地把握培训方向。收集的数据最好是在一个时段内的,以便进行实际分析比较。例如,前六个月的不满意数量,去年处理的失误次数,上一个季度事故发生的次数,或过去年份平均每月的销售成本等。
(1)确定评价层次。上面无毛提到过的“柯氏模型”,是培训评估中最著名的模型。人力资源开发人员要确定最终的培训评估层次,因为这将决定要收集的数据种类。培训评价应本着实用、效益的原则,企业应根据自己的实际条件,对各项培训工作有针对性地进行评价。具体可以遵循以下办法:① 对所有课程都可以进行第一层次评价;② 对要求员工掌握的知识或某项技能进行第二层次评价。例如,新聘员工岗前培训,需要员工了解厂纪厂规、公司质量方针及质量目标、操作规程等。因此,对培训的考核可以采取闭卷考试同现场实际操作并用的方法。③ 对以下培训进行第三、四层次的评价:耗时三个月以上的培训项目;投入较大的项目;解决顾客投诉方面的培训;培训效果对组织很关键的项目;组织管理层十分关注的项目。
(2)选择评价方法。培训效果评价方法的类型可以按不同的标准分为以下几种。
1)按评价时间分类可以分为即时评价和滞后评价。即时评价是指在培训结束时就进行评价。目的是对受训人员在培训期间的各种表现做出评价,并与参加培训前的技能水平相比较,以检验培训的成效。滞后评价是指在培训结束、受训人员回去工作后进行评价。培训的目的不在于培训对象在培训期间的表现如何,而在其培训回到工作岗位后的表现,这比培训结束时的评价更为重要。
2)按评价的性质可以分为效果评价和项目评价。效果评价即进行培训后收到了什么样的效果及效果的程度如何,属于收益评价。项目评价即对培训本身进行得如何开展系统分析,最终对项目进行评价,属于整体评价。
3)按评价的时段性分类,可以分为长期评价和短期评价两种。长期评价是连续不断地从培训对象那里获得信息、做出评价并据此对培训项目做出及时调整。短期评价是指在培训时或培训结束时对培训进行一次性评价。
4)按评价的基础分类可以分为定量评价和定性评价。定量评价是以数学、统计学为基础的,而定性评价则是建立在经验与推理的基础上。
(3)收集、分析评价原始资料。原始资料的收集、分析是培训评价的重要环节。一般来说,第一层的评价是发放培训评价调查表,第二层的评价是笔试试卷及现场操作考核结果,第三、四层次的评价是对员工满意度、员工流动率、顾客满意度、生产率、设备完好率、财务利润和产品下线PPM值等的信息收集。数据收集后经过整理,再利用数据库中的数据,与原始数据进行对比,从而得出评价结论。
(1)确定培训评价报告。 评价报告主要由三个部分组成:①培训项目概况,包括项目投入、时间、参加人员及主要内容等;②受训员工的培训结果,包括合格人数、不合格人员及原因分析,另外还应提出处置建议,对不合格员工应进行再培训,如果仍不合格,应实施转岗或是解聘;③培训项目的评价结果及处理,效果好的项目可保留,没有效果的项目应取消,对于有缺陷的项目要进行改进。
(2)跟踪反馈。培训报告确定后,要及时在企业内进行传递和沟通。培训评价报告应传递到如下人员:①受训员工,使他们了解培训的效果,以便在工作中进一步学习和改进;②受训员工的直接领导;③培训主管,他们负责着培训项目的管理,并拥有员工的人事聘用建议权;④组织管理层,他们可以决定培训项目的未来。培训评价报告传递后,重要的是采取相应的纠偏措施并不断跟踪。培训主管可以根据培训效果来调整项目,并采取相应的措施,不断加以完善、提高,切实把培训工作抓出实效。
培训效果的评价是培训的最后一个环节,是促进培训活动良性循环的有效保证。但由于职工素质的复杂性以及培训效果的滞后性,想要客观、科学地衡量培训效果非常困难,所以,培训效果的评价是很复杂的管理活动,也是培训中最难实现的一个环节。职教工作者一定要以高度的责任感和严谨的科学态度对待评价工作,任何懈怠的心理和敷衍了事的作法都会使培训活动流于形式,从而丧失实际意义。同时,培训效果的评价并没有一个放之四海而皆准的固定模式,评价工作需要联系实际,视不同的培训项目,选择恰当的方法,才能得到真实、客观的评价结果。
(1)滞后评价法(回任工作后的评定方法)。滞后评价的评价内容主要有以下几点:
1)结束培训后一段时期,通过调查受训者的工作效益来评定培训成效。如结束培训后每隔六个月,以书面调查或实地访问的方式,调查受训者在工作上的获益情形。
2)实地观察受训者的工作实况,评定培训的成效。如根据实地观察发现,受过培训的员工在工作上确能表现出高昂的工作热情、良好的工作态度、高度的责任心等,则可认定培训已发生效果。
3)调查或访问受训者的上级主管或同事,根据所得意见来评定培训的成效。受训者回到工作岗位一段时间后,通过了解受训者的上级主管或同事对其在工作上的表现,如主管人员是否认为受过培训的员工的工作有进步等,以此作为评定培训成效的重要资料。
4)分析受训者的人事记录评定培训的成效。如受过培训的员工的绩效考核较以前有进步,缺勤和请假次数减少,受奖次数增加,则表明培训对该职工的工作积极性已发挥作用,对该员工产生了激励,使其工作积极性有了很大的提高。
5)根据受过培训与未受过培训的员工的工作效率的比较来评价培训成效。
6)根据受过培训的员工是否达到工作标准来评价培训的成效。
7)根据能否达到培训目标来评价培训的成效。如回到工作岗位后,员工解决了培训计划中预期需要解决的问题,或达到了培训计划所规定的要求,则说明培训已产生了效果。
(2)即时评价法(培训结业时的评定方法)。即时评价方法主要从以下几个方面进行:
1)应用学识技能的测验评定培训成效。对参加测验的员工在培训开始和结束时用同样的方式,先后做两次,把两次测验结果进行比较。
2)应用工作态度调查评定培训成效。对参加培训的员工,在培训开始和培训结束时,用同样的方式调查职工对工作的态度。
3)调查员工关于培训的改进建议。在培训结束时把调查表发给受训员工,征求他们对培训的意见,如员工确能提出有价值的改进建议或其他意见,则表示员工对培训已获得应有的重视,可断定培训已有成效。
4)记录培训期间出席人员的变动情况。在培训期间,可约定若干人员为观察员,认真地观察培训的进行情况及受训人员平时对培训工作的反应,在结束培训时提出观察报告。
5)根据主持培训及协助培训人员的报告来评定培训成效。
6)根据受训者的结训成绩来评定培训成效。
(1)效果评价的五种综合性评价方法如下。
1)目标评价法。通常情况下,企业系统化的培训都是由确定培训需求与目标、编制培训预算、计划、监控及效果评价等部分组成。它们之间并不是割裂的,而是相互联系、相互影响,一个好的培训目标计划与培训效果评价密不可分。目标评价法要求企业在制定培训计划中,将受训者完成培训计划后应学到的知识、技能,应改进的工作态度及行为,应达到的工作绩效标准等目标列入其中。培训课程结束后,企业应将受训者的测试成绩和实际工作表现与既定的培训目标相比较,得出培训效果。作为衡量培训效果的基本依据,企业应制定出具有确切性、可检验性和可衡量性的培训目标。
目标评价法操作成功的关键在于确定培训目标。通常有两种方法可以确定培训目标。①任务分析法。企业的培训部门可以设计出任务分析表,详细列明有关工作任务和工作技能的信息,包括绩效标准、完成任务所必需的知识和技能等。②绩效分析法。这种方法必须与绩效考核相结合,确定标准绩效。
2)绩效评价法。绩效评价法是由绩效分析法衍生而来的。它主要被用于评价受训者行为的改善和绩效的提高。绩效评价法要求企业建立系统而完整的绩效考核体系。在这个体系中,要有受训者培训前的绩效记录。在培训结束的三个月或半年内,培训部门以书面调查或实地考察的形式,了解受训人员在工作上取得的成绩。如工作量有无增加、工作质量、工作效率有无提高、人际交往能力是否提高等,从中可确认培训有无成效。有的工作,还可以使用定量的工作绩效评价方法,如事故率、产品合格率、产量、销售量、成本、利润以及客户抱怨投诉的次数等指标,与培训前进行对照,从定量的角度衡量培训的成效。
绩效考核一般包括目标考核和过程考核。目标考核是绩效考核的核心。目标可以分为定量目标和定性目标。培训经理在选取目标时,应注意选取能体现岗位职责的指标,目标达到了,基本上就履行了岗位职责。
过程考核是绩效考核的另一个重要内容。过程是绩效的保证,没有好的过程就不可能有好的结果。过程考核能反映员工的工作现状,它通常包括考勤、服务态度、工作饱满程度等指标。将目标考核与过程考核结合起来,就能够反应一个岗位的绩效。
3)关键人物评价法。所谓的关键人物,是指与受训者在工作上接触较为密切的人,可以是受训者的上级、同事,也可以是受训者的下级或者顾客等。有研究发现,在这些关键人物中,同级最熟悉受训者的工作状况,因此可采用同级评价法,向受训者的同级了解其培训后的改变。这样的调查通常很容易操作,可行性强,能够提供很多有用的信息。
同其他的培训效果评价方法一样,同级评价法也有缺陷,尽管同级间相互了解,但由于存在竞争,有时会导致评价结果失真。而让上级来评价培训效果同样避免不了局限性,因为有的上级不太了解全面情况,或者会主观臆断。因此,学者设计了一种360度的评价法——由上级、下级、顾客、同事,甚至培训管理者等从不同角度来评价受训者的变化。这种方法对了解工作态度或受训者培训后行为的改变比较有效。
4)测试比较法。应用知识技能的测验评定培训成效。即在培训开始和结束时分别用难度相同的测试题对受训人员进行测试,把两次测试结果进行比较。如果受训人员在培训结束时的测试成绩比开始时的成绩高出很多,则表明经过培训确实提高了受训人员的知识、技能。但这一方法需要培训组织者、受训者和教师之间密切配合,还要选聘负责任和经验丰富的教师。否则,测试时受训人员互相抄袭,测试结果就没有意义了。
对于应用类的岗位技能培训,比较适合这种方法。对于培训时间较长、培训内容知识性比较强、需理解和领会消化或要求受训人员必须掌握学习内容的技术类、管理类、计算机类的培训,直接进行结业测试。原则上可采取作业、开卷、学习总结等方式测试考核。有的也可实行闭卷考试,由培训主管部门组织考核,实行教考分离。
无论国内还是国外的学者,都将员工通过培训学到的知识、原理和技能作为企业培训的效果。测试比较法是衡量员工知识掌握程度的有效方法。实践中,企业会经常采用测试法评价培训与开发的效果,但其并不理想,原因在于没有加入任何参照物,只是进行简单的测试。而有效的测试法应该是具有对比性的测试比较法。
测试比较法有多种不同方案。其中,事前、事后测试法主要是在参加培训前后,对受训者分别进行内容相同或相近的测试。这样可以体现出被测者受训前后的差别。但这也不乏缺陷——不能体现参加培训与未参加培训的员工间的差别。为克服这一缺点,企业可以将参加培训的员工组成培训组,另外再挑选一组与培训组素质相近、未参加培训的员工组成对照组,分别对这两组员工进行测试。
有研究显示,分组测试的方案有时也不能测出真实的培训效果,因为会出现“霍桑效应”——受训者可能因为有机会参加培训而积极性高涨,工作绩效得到提升,但这与培训本身的关系并不大。针对培训具有滞后效果的特性,测试比较法还提供了时间序列方案,即在培训后定期做几次测试,以准确分析培训效果的转移程度。
【知识链接:】霍桑效应(Hawthorne Effect)或称霍索恩效应,霍桑一词源于用于实验的工厂,它是美国西部电气公司坐落在芝加哥的一间工厂的名称。 实验最开始研究的是工作条件与生产效率之间的关系,包括外部环境影响条件(如照明强度、湿度)以及心理影响因素(如休息间隔、团队压力、工作时间、管理者的领导力)。
【提示:】霍桑效应的启示:从旁人的角度,善意的谎言和夸奖真的可以造就一个人;从自我的角度,你认为自己是什么样的人,你就能成为什么样的人。
5)收益评价法。由于经济性特征迫使企业必须关注培训与开发的成本和收益。所谓收益评价法,就是从经济的角度综合评价培训与开发项目的好坏,计算出培训与开发为企业带来的经济收益。
有的培训与开发项目能直接计算其经济收益,尤其是操作性和技能性强的项目,但是并不是所有的培训与开发的项目都可以直接计算出它的收益。
这五种综合性的培训与开发的评价方法,一般可以多种方法联合使用。企业在操作中,可以采用一些常用的工具,如问卷调查、座谈会、面谈、观察等,取得相关的数据。然后,再将两组或多组不同的数据进行分析比较。
(2)项目评价法。对一个培训与开发项目的结果进行评价有助于我们对培训与开发的有效性进行评价。这些结果应当是与项目的目标相关的,因为这种目标有助于受训者理解培训与开发项目的目的。培训与开发的结果可分为五种:认知结果、技能结果、情感结果、效果、投资净收益。
1)认知结果。认知结果被用来判断受训者对于培训与开发项目所强调的原则、事实、技术、程序或流程的熟悉程度。它是衡量受训者在培训与开发的项目中学到了哪些知识的一种指标。通常情况下,都是用书面测验的方法来评价培训与开发的认知结果的。
2)技能结果。技能结果是用来评价受训者的技术或技能水平及其行为的一种指标。技能结果包括技能的获得或学习及技能的在职应用(技能转化)。在对受训者学习到的技能进行评价时,可以通过观察他们的工作样本来得出结论,如模拟情景中的业绩表现。对技能转化的评价通常也是通过观察来进行的。此外,受训者的同事和上级管理人员也可以被要求通过他们的观察给受训者的行为和技能打分。
3)情感结果。情感结果包括受训者的态度和动机。情感结果的一种类型是受训者对培训项目的反应。反应性结果是指受训者对于项目,包括培训设施、培训者以及培训内容的感知(反应性结果常常被当做是衡量“物质享受”的一个指标)。这种信息通常是在培训结束的时候收集。
反应性结果对于确定受训者认为哪些因素有利于学习,而哪些因素又会阻碍学习是非常有用的。反应性结果方面的信息通常可以通过让受训者填写问卷来收集。问卷中经常会问这样一些问题:“你对本培训项目的满意程度如何?”“这一期培训达到你原来期望的效果了吗?”“你觉得在这个教室里接受培训舒服吗?”需要记住的是,尽管反应性结果能够为我们提供有用的信息,但是它与学习或者培训成果的转化之间常常只有非常微弱的关系。
其他一些可以通过培训评价收集的情感结果还包括对多元化的容忍度、学习的动机、对安全的态度及在顾客服务中的定向。对于情感性结果可以通过调查来进行衡量。受训者对于培训项目感兴趣的程度取决于培训项目的目标本身。比如,在评价某个多元化培训项目时,受训者对于公平就业机会的态度就可以作为一个很好的结果性指标。
4)效果。效果被用来判断培训项目给企业带来的回报,效果的例子包括与雇员的流动率降低或事故减少相联系的成本节约、产量的增加及产品或顾客服务质量的改善。例如,联邦快递公司为了评价一项专门向公司汽车驾驶员传授安全驾驶经验的培训项目所产生的效果,在培训结束90天之内对受训的司机们所发生的事故和伤残情况进行了跟踪记录。
5)投资净收益。投资净收益(ROI)是指对培训所产生的货币收益与培训的成本进行比较之后的净得收益。直接成本包括参加培训的所有雇员,即受训者、培训者、顾问和培训方案设计者的薪资和福利;培训项目中所使用的原材料及其他培训用品;设备或教室的租赁或购置费用;差旅费等。间接成本则是与培训项目的设计、开发或者提供没有直接联系的一些费用,主要包括一般性的办公用品、办公设施、设备和相关费用;无法计入某一个培训项目的差旅费及其他费用;不直接与任何一个培训项目联系在一起的培训部门管理人员和工作人员的薪资;支持性管理人员和一般员工的薪资。而净收益则是指企业从培训项目中所获得的价值。
具体用哪种培训与开发的结果来评价培训与开发的项目最好呢?
答案取决于培训与开发的目标。例如,如果培训与开发的目标所强调的是与经营有关的结果,比如顾客服务水平或产品质量的改善,那么在评价对象中就应当包括效果性结果。认知结果的信息通常是在受训者结束培训离开培训地点之前进行收集的。因此,这些衡量标准并不能反映受训者在实际工作中到底在多大程度上应用了培训的内容(培训成果的转化)。而在培训之后所进行的对技能结果、情感结果、效果性结果的衡量则可以被用来判断培训成果的应用情况——也就是说,培训在多大程度上导致了受训者的行为、技能或者态度发生了多少变化,或者在多大程度上对衡量公司有效性的一些指标(如销售额)产生了直接影响。
培训实施后,最让人关注的是效果即有效性。这也是人力资源经理或培训主管颇为头痛的问题,因为老板希望培训后能立竿见影,员工希望学完即能上一台阶,事实上除了一些业务操作性的培训外,很多培训尤其是管理培训往往要经过较长的时期才能真正体现出效果,如同在小河边多年坚持不懈地绿化环保才能使水质得以改善,一些成功企业的组织文化和管理风格正是大量、持续培训的成果。
但是培训作为一种投入必须追求产出,尽管有些产出是一个逐渐缓释的过程。企业在制定人力资源战略时应建立自身的培训体系,明确员工知识技能开发、素质提高的整体规划;实施每一次培训活动都要设定合理的可考核的目标。
(1)短期评价法。它的执行者以人力资源管理部门为主,受训者为辅。这种方式可以改变目前绝大多数企业以受训者给讲师打分作为评价的唯一方式的做法。受训者的打分往往只体现对讲师的直接感知度,容易表面化,且打分常常在培训结束前匆匆进行,不够准确,因此只可作为评价的重要参考依据。
人力资源部门的评价可根据培训目标,抓住以下几项要点:
1)现场影响力。受训者是否产生呼应、共鸣,培训现场的气氛、秩序是否良好。
2)观念导入度。受训者是否接受到新的观念、理念,如中、高级管理人员。
3)知识更新度。受训者是否接受到新的知识体系,如中、初级管理人员。
4)技能改善度。受训者的管理技能是否得到改善,如初级管理人员。
5)生产率提升率。受训者的生产效率是否得到提升(量化指标),如基层员工。
(2)长期评价法。评价可由管理顾问公司的专业咨询人员和企业人力资源部门共同进行,一般可每半年或一年进行一次。如果结合培训需求调研和培训体系健全完善一起进行则更好。
因为外部管理顾问公司的专业咨询人员,可充分发挥独立客观的优势,可以导入一些专业评价方法,同时便于进行同行业、同等规模的横向对比分析。评价内容主要是管理体系的运作和完善、企业文化建设、学习型组织建设等方面。具体的方法有:
1)建立评价分析模型。
2)分别按员工的级别设计调查问卷。
3)随机抽样员工访谈。
4)对讲师进行随机抽样访谈。
5)对已离职人员进行随机抽样访谈。
6)相关性分析、综合评价。
(1)定性评价法。目前国内定性的方法采用较多,比如一项培训计划结束后,企业组织有关学员座谈,询问有关学习情况;或者组织一些问卷调查和相关测试,检验学员是否达到了预期的目的……这类方法运用得好,也能得到较客观的结论,但如果组织不恰当,则其随意性很大。一般来说,要比较完整、全面地把握信息,至少应从以下几个方面进行分析评价:
1)学员对培训计划的反应程度。他们是不是喜欢这项培训计划?他们觉得这项计划是否有价值?他们愿意花很多时间、精力全身心投入吗?
2)通过培训,是否达到了预期应该学到的基本原理、基本方法、基本技能?
3)通过培训,学员的工作行为是否有了某种良性的变化?
4)分析评价培训工作所带来的最终成果。
通过以上几个方面的测试,一般能够判定培训效果有没有达到预期的目的。但也有一些从表面上看属于培训失败的情况,实际上不是培训本身的问题,而仅仅是由于培训不是解决该类问题的最好方法。培训可以改变学员的知识结构和技能水平,却无法改变其身体素质。类似这类问题,就需要管理者具体分析,切忌仓促加以评论。
(2)定量评价法。定性评价法有其局限性,如果辅以定量评价法,效果将更加显著。定量评价的方法很多,如成本—收益评价法、假设检验法、机会成本法、边际分析法等。首先我们重点介绍成本—收益评价法,即通过财务会计方法决定培训项目的经济收益的过程。要确定培训的经济收益就要确定培训的成本和收益。
1)确定成本。培训成本包括直接成本与间接成本。它是指可根据企业员工的培训系统模型,对培训的不同阶段(培训项目设计、实施、需求分析、开发和评价)所需的设备、设施、人员和材料的成本加以确认。这种方法有助于比较不同培训项目成本的总体差异,还可以将培训的不同阶段所发生的成本用于项目间的比较。另外也可以用会计方法计算成本。通常,员工培训共有以下费用需要计算,如表7-1所示。
表7-1 员工培训成本构成要素表
项 目 |
内 容 |
直接成本: |
|
薪金和福利 |
受训者、培训者、顾问的工资、奖金、福利等 |
外聘教师费 |
从企业外部聘请教师所支付的授课费、差旅费、住宿费等 |
设备和硬件费 |
培训过程中所使用的教室、设备和硬件的租赁费或购置费等 |
材料费 |
向教师与学员提供的原材料费用及其他培训用品 |
项目开发或购买 |
员工培训项目的开发成本或购买的员工培训项目 |
间接成本: |
|
薪资 |
培训部门管理人员与工作人员的工资 |
设施费 |
培训时一般性的办公用品、办公设施及相关费用 |
培训部门的管理费 |
培训部门组织实施培训计划所发生的费用 |
间接费用 |
学员参加培训而损失的生产利润(或当受训者接受培训时代替其工作的临时工成本) |
其他费用 |
用于无法计入培训项目的差旅费及其他费用 |
2)确定收益。企业应分析培训的原因,如培训是为了降低生产成本还是额外成本等。有许多方法可以确定收益。①运用技术、研究及实践与特定培训计划有关的收益。②在公司大规模投入资源前,通过实验性培训评价一部分受训者所获得的收益;还可以通过对成功的工作者的观察,确定其与不成功的工作者之间绩效的差别。
成本—收益分析还有其他的方法。如效用分析法,即根据受训者与未受训者之间的工作绩效差异、受训者人数、培训项目对绩效影响的时间段,以及未受培训者绩效的变化来确定培训的价值。这种方法需利用培训的前测与后测方案。还有一种是经济分析,即培训为企业或政府带来经济效益而进行的评价。主要通过计算直接和间接成本、政府对培训的奖励津贴、培训后受训者工资的提高、税率和折扣率进行评价。
关于培训与开发效果的量化测定方法也较多,其中运用较广泛的是下列公式:
式中,TE为培训效益;E1为培训前每个受训者一年产生的效益;E2为培训后每个受训者一年产生的效益;TS为培训的人数;T为培训效益可持续的年限;C为培训成本。
通过对培训与开发效果的具体测定与量化,可以了解员工培训所产生的收益,把握企业的投资回报率;也可以对企业的培训开发决策及其工作的改善提供依据,更好地进行员工的培训与开发。
但是,不能简单地把成本和收益进行比较,认为只要培训成本小于培训后所获收益,即认为该培训计划可行。在现实生活中,往往必须查其有效性程度:有效性是否显著?显著性如何?严格地讲,一项显著性很小的培训计划实际上无异于一项失败的培训计划。所以,我们也经常采用假设检验法来评价培训的效果。假设检验实际上是要求我们通过定量分析来确定培训效果是否显著,从而做出接受或拒绝的判断。下面结合一个例题来看看其具体应用。
某生产企业为提高产品的产量,决定对部分职工进行为期三个月的培训。为了了解培训的效果,从经过培训的职工和未经过培训的职工群体中各随机地抽取10名(假设这两组成员在培训前的个体差异很小,甚至没有。当然,如果该企业的前期工作做得比较细致的话,也可直接对比其记录的受训人培训前后的产品产量,这样就从实际上排除了个体差异),记录当月产量,得到有关样本数据如表7-2所示。又假定这两组职工的实际产量均近似地服从正态分布,且知其标准差分别为:S1=9.96,S2=6.77。
表7-2 样本数据表
项 目 |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
培训前 |
200 |
197 |
195 |
210 |
209 |
191 |
218 |
202 |
190 |
208 |
培训后 |
192 |
190 |
201 |
192 |
199 |
189 |
186 |
195 |
197 |
209 |
现在我们要求通过这些统计数据来判断该企业的培训效果,也就是说检验培训对产量的提高有无显著性影响。采用假设检验法:
1)建立假设
H0=U1=U2,即培训对产量的提高无显著性影响。
H0=U1>U2,即培训对产量的提高有显著性影响。
2)选择检验统计量
这里的标准差S1和S2均已知,可采用Z检验:
3)选定显著性水平a=0.005
查正态分布表得Z>Z0.05=1.645
4)做出判断
由于Z>Z0.05,所以拒绝H0,接受H1,即至少有95%的把握认为培训对产量的提高有显著性影响,培训效果显著,达到了预期的目的。在不考虑其他条件的情况下,对企业管理人员而言,这些信息已足够支持他做出决策。
有一点必须说明:这里没有考虑成本和收益。实际上,在假设检验结束后,可着手进行成本—收益分析和机会成本分析(统计数据须重新收集),以进一步确定培训效果。
培训效果评价实施的关键在于收集受训者的数据与资料,先要确定相关的评价变量,然后通过这些变量对受训者做出准确的评价。收集资料最常用的方法就是调查问卷法。
表7-3、表7-4、表7-5、表7-6、表7-7为培训效果评价、收集资料常用的表格,可以在实际应用中经过适当的改动后加以运用。
表7-3 培训对象评价问卷
姓名:_________ 课程: 评价时间: (1)到目前为止,您已经参加了多少次培训活动 请打勾:1 2 3 4 5 6 7 8 更多 (2)对本次培训课程,您觉得怎样 请打勾:优 良 中 差 (3)您觉得本课程最有效的一点是什么 (4)您认为本课程哪一点最没有帮助 (5)请在下列项目上填写优、良、中、差: 教室设施 所用资料 教师水平 您的参与 学员讨论 课程计划方式 (6)您觉得是否应再次开设本课程 请打勾:是 否 (7)请选择您同意的描述并打勾(可多选) |
续表
① 我学到了许多对我有帮助的东西 ② 我学到了许多东西,但是本课程的方法对学习者的帮助不会持久 ③ 内容太难,不过我正在努力吸收 ④ 我觉得课程过于简单化,不过还是学到了一些东西 ⑤ 我不想一直学下去 ⑥ 培训师讲得认真,不过我似乎没有学到什么东西 ⑦ 培训师讲得一般,不过我总算是学到了一些东西 ⑧ 培训对象发言太多 ⑨培训对象没有机会发言 ⑩对本课程我很满意 (8)培训师对课程内容的掌握 请打勾:优 良 中 差 (9)培训师的授课水平 请打勾:优 良 中 差 (10)课程的方式和组织水平 请打勾:优 良 中 差 (11)您喜欢课上的哪一点、最讨厌哪一点 (12)您为什么学习本课程 (13)您认为您从本课程中学到了什么 (14)本课程是否满足了您的需要?如果是,达到何种程度?如果没有,为什么 (15)请写下您认为对本班有帮助的任何建议和批评 |
表7-4 培训课程评价表
1.您认为课程中最有价值的是哪部分 2.您认为课程中最没有价值的是哪部分 3.接受培训后,您今后会有什么改变 4.您认为哪些员工应该接受培训 5.您是否会向其他员工推荐该课程?如果是,推荐的理由是什么 6.将这个课程和您以前参加的其他培训比较,您认为: 不如以前好 比以前好 请画出好与不好的程度 1 2 3 4 5 6 7 8 9 10 7.其他意见 |
表7-5 培训过程评价表
培训员姓名: 评价者姓名:
内容介绍 |
是 |
否 |
培训的必要性是否阐明 |
|
|
是否对员工目前的培训需求及背景进行过详细的调查 |
|
|
是否有实际操作或事物展示 |
|
|
是否陈述了总的授课大纲 |
|
|
是否按顺序一边示范,一边讲解每一个环节 |
|
|
重点内容是否强调过 |
|
|
关键内容是否被反复强调以示重要 |
|
|
是否用提问的方式来检验学员的理解程度 |
|
|
在实践中是否及时纠正错误 |
|
|
培训目标是否表达清楚 |
|
|
是否要求培训对象在实践过程中解释每一步做法 |
|
|
是否确认培训对象完全掌握后才允许其进行实际操作 |
|
|
培训师是否在培训对象实践之后再次提出问题以确定其确实掌握 |
|
|
跟进培训是否问过“如何”的问题 |
|
|
是否告诉培训对象将来他可以寻求帮助的地方 |
|
|
是否强调过工作质量和安全 |
|
|
培训师是否回答了培训对象提出的问题 |
|
|
培训是否是在积极的气氛中结束 |
|
|
表7-6 培训师评价表
高分 低分 | |||||
|
5 |
4 |
3 |
2 |
1 |
1.准备工作 培训师是否表现得准备充分 |
|
|
|
|
|
2.授课材料的运用 培训师是在读材料还是讲材料,他读材料时是否自然而不易被发现 |
|
|
|
|
|
3.开场白 培训师是否能引起注意,他的开场白是否切题 |
|
|
|
|
|
4.姿势 培训师是否表现得很放松,或因紧张而来回晃动 |
|
|
|
|
|
5.声音的运用 培训师的讲话是否清晰,抑扬顿挫,并有效地调整声音 |
|
|
|
|
|
续表
高分 低分 | |||||
6.目光的运用 培训师的目光是否让你感觉他是在和你说话 |
|
|
|
|
|
7.手势的运用 培训师的手势是否对他的表达起到了强调的作用 |
|
|
|
|
|
8.激情与自信 培训师对于他所讲的内容是否感兴趣?是否引起了大家的兴趣 |
|
|
|
|
|
9.逻辑性和清晰性 培训师的讲解是否清晰,逻辑性强 |
|
|
|
|
|
10.结尾 培训师最后的陈述总结是否让你受到感染及鼓舞 |
|
|
|
|
|
表7-7 培训组织情况调查问卷
培训项目: 评价时间: 请在与您的想法相对应的内容的括号中打勾 (1)在参加本次培训之前您的培训需求受关注程度怎样 很高() 高() 一般() 差( ) (2)在举行本次活动前,培训计划的安排对您的意见的关注程度 很高() 高() 一般() 差() (3)在参加培训期间您得到的通知的及时情况 很好() 好() 一般() 差() (4)在参加培训之前您得到的通知对于了解本次培训的各项安排的帮助程度 很高() 高() 一般() 差( ) (5)您觉得本次培训的就餐安排怎样? 很好() 好() 一般() 差() (6)您觉得本次培训的交通安排怎样 很好() 好() 一般() 差() (7)您觉得本次培训的住宿安排怎样 很好() 好() 一般() 差() (8)在本次培训正式开始之前您对本次培训的组织安排工作的印象怎样 很好() 好() 一般() 差() (9)在本次培训结束后您对本次培训组织安排工作的印象怎样 很好() 好() 一般() 差() (10)您希望今后的培训在组织方面应该怎样改进 |