培训有效性评估的方案设计

发布 2022-04-21 10:07:28 阅读 7741

在培训有效性评估中涉及的效度通常有内部效度和外部效度两种,内部效度是指评估结果是否真正反映了由于培训引起的变化程度。外部效度是指评估结果可以一般化到其他学员和人群中去的程度。

影响内部效度的因素有公司历史因素,如在培训期间发生了其他一些变化,而这些变化会对学员产生影响;结果测量的可靠性;以及学员自身的因素,如在培训前后的成熟因素。例如,一些刚进公司的新员工,特别是刚从学校毕业的学生,在培训前后自己就有一个发展,所以,在他们身上表现出来的变化不完全是由新员工导向培训产生的。这些干扰因素会使培训评估得出错误的结论。

外部效度受到学员样本、学员对培训前的测验态度等的影响。比如有些培训针对的是很少一部分员工,这样使得培训有效性的结论可能很难推广到所有员工身上。

为了更好地对培训有效性进行评估,使结果更科学,培训管理者和培训讲师可以通过一些方案设计来对培训有效性进行评估。

二、 培训有效性评估方案的设计种类。

培训有效性评估方案的设计种类从是否有对照组、是否进行培训前评估和培训后评估两个方面来考虑,主要有以下一些方法(见表9-8)

表9-8培训有效性评估方案的设计种类。

表9-8中借用了实验设计中的常用方式和用语。前测是指在培训前对学员某方面的测定,如学业水平、能力水平、智力、个性特点、态度和技能等。后测是指在培训后对他们再次进行测定。

对照组指在企业中和培训成员有差不多的背景,但没有接受培训的那些员工所构成的群体,用他们来与培训组进行对照从而发现培训的效应。下面我们对每种设计进行一些解释。

1、仅有后测,无对照组的设计。

这类评估仅在学员参加培训后对其进行测量。这种方式得到的信息可以了解学习效果,但由于不知道培训前学员的知识和技能水平如何,因此很难说学员所学到的东西就是培训的效果。

2、前测—后测的设计。

这种设计是指在培训前对学员在某方面的知识、技能或态度进行测量,在培训之后,在对其进行测量,通过前后的变化度来解释培训的效果,见图9-4。这种设计比第一种有所进步的地方就在于它多了前测,这样就可以进行前后差异的检验,通过统计分析来说明培训的效果。不足之处在于,由于没有控制组,分析出来的差异可能不是由培训所致,而是由于企业中其他方面的变化造成的。

例如,工作态度的变化可能不是由企业文化培训所致,而是由于企业中采用了新的奖金制度所致。

图9-4 前测—后测的设计。

3、后测—对照组的设计。

这种设计中增加了对照组来比较与培训组的差异。但在培训前没有对培训组和对照组进行过测量,只在培训后对两组在某方面的知识、态度或技能进行评估,这两组在这些指标上的差异被认为是由培训导致的,见图9-5。

图9-5前测—对照组的设计。

该设计的假设是培训组和对照组在培训前没有差异,然后经历了除培训外的其他组织过程,这样可以固化一些培训外的干扰因素。但和第一种仅有后测的设计同样存在的问题是,对培训学员以往的水平并没有测量,很难评估到真正的学习效果。

4、前测后测—对照组的设计。

在这种设计当中,采用一个对照组来和培训组进行比较。对这两个组都有培训前的测量和培训后的测量。这样就可以剔除那些可能由于公司其他方面的条件发生变化而导致的变化。

在这种设计下,如果前测培训组和对照组之间并没有显著性差异而后测有显著差异,就可以认为这种差异是由于培训所产生的。表9-9、图9-6可以说明这种设计。

表9-9前测后测—对照组的设计。

这种设计比前两种都可以明确地看出培训的效果,同时也使得培训管理或培训讲师更有把握确定培训的效果。

前测后测—对照组的设计是在研究设计中用的较多的设计,它不仅可以用于评估单一培训的效果,同时也可以用来衡量不同培训方式的效果。下面举例说明。

某公司采用讲授法、计算机辅助教学以及行为塑造法来进行计算机技能的培训,在培训前对员工进行随机分组,把他们分配到不同的培训组中,并有一组不参加培训的员工作为对照组。采用这种设计,我们可以来比较不同培训方式直接的差异和效果。表9-10可以说明这种设计。

图9-6 前测后测—对照组的设计。

表9-10评估不同培训方法效果的设计。

通过前后两次测量收到信息后,可以通过方差分析(analysis of value,anova)检验培训的效果,并检验不同培训方式之间的差异。

5、所罗门四组设计。

该实验设计将前面提到的几种设计结合起来,这样做好处是可以把干扰培训效果的其他因素的影响减少到最低限度。在具体操作时,可以把培训学员随机分成两组,接受培训,同时另外设置两个对应的参照组(见图9-7)。

图9-7 所罗门四组设计。

另外,这种设计还可以用于评估不同培训方式的效果。比如我们想了解采用互动式的培训方式和传统的演**对培训效果有何影响,可以采用下面的设计。表9-11可以说明这种设计。

表9-11所罗门四组设计的应用。

这样,既可以消除历史因素的影响,又可以消除成长因素或者组织中其他因素的干扰,从而真正看到培训的效果。

6、时间序列设计。

为了更好地检查培训的效果,排除其他非培训因素的干扰,还可以采用时间序列设计。改设计是由库克和坎贝尔在他们著名的《准实验设计》一书中提出的。时间序列设计指在培训前一段时间和培训后一段时间里对学员在某方面进行多次测量,以观测培训的效果。

它的一个假设是如果学员在培训后持续地表现出某种变化,则可以认为这种是由培训引起的。设计如图9-8所示,适合用于学员人数较少,比较难以进行统计分析的情况。

图9-8 时间序列设计之一。

在时间序列设计之中,由于要在较长一段时间里对员工进行测量,很容易受到历史因素和员工发展因素的干扰,为了避免这些影响,也可以采用对照组的做法,设计如图9-9所示。

采用了对照组的时间序列设计也叫多重时间序列设计。这种设计和前面讲的前测、后测、对照组的不同之处是,它不强调随机分配的做法,而是根据自然发生的情况,对参加过培训和没有参加过培训的员工进行观察和测定,而这也正是准实验设计的一大特点。这类评估方式通常用于评价那些较容易观察到变化的培训结果指标,如事故率、生产率和缺勤率等。

下略。三、 培训有效性评估中的基本统计分析。

一) 平均数差异检验(略)

二) 相关分析(略)

三) 方差分析(略)

图9-9 时间序列设计之二。

四、 选择培训有效性评估方案的要点。

以上介绍了一些培训有效性的设计方案,这中间,有相对容易实施的,如仅有后测的,基本上很多公司都在采用;有些则更有研究的价值,更加严谨,但实施起来相对较困难。采用什么样的评估设计与培训和公司对培训的态度有关。有些培训是作为一般介绍性的,或者公司把培训当做福利提供给员工,并不太强调培训的实效,在这种情况下,一个仅有后测的设计就可以提供有关培训的信息了;有些培训带有研究性质,如想了解培训到底带来了哪些改变或者说公司更希望看到培训的效果和意义,则可以采用更为严谨的设计来分析培训的有效性。

第四节培训有效性的经济价值分析(略)

培训有效性评估的方案设计

整理输出 日期 2011年5月28日。背景分析 正文 第一节培训有效性评估概述。一 培训有效性评估的概念。培训有效性 training effectiveness 指的是公司和员工个人从培训中获得的收益。对员工个人来说,收益意味着学到的新的知识或技能,可能使自己的工作更有效率或更有动力,从而提高业绩...

安全避险系统有效性评估工作方案

1 评估的目的。为切实推进煤矿企业安全保障能力建设,提高煤矿整体救灾 抗灾能力,更好的做好安全风险分级管控工作,根据 煤矿安全规程 第六百七十三条规定,由煤矿总工程师组织开展安全避险系统有效性评估。二 评估组织机构。组长 总工程师。成员 各专业副总 调度室主任 安全管理部部长 通风区区长 井运机电区...

英语作业设计的有效性

南京一中明发分校李燕。英语作业是教学的一个重要内容,是学生运用所学知识,解决问题。它帮助学生复习巩固所学的知识,同时也考察学生的学习,反映学生的学习情况。在我们提倡给学生的减负的时候,精简作业其实就是给学生减负的重点。那么如何做到即减轻了学生的负担同时又让学生学会运用知识呢?下面我谈谈我的几点想法 ...