二、指标的权重和等级
1.指标的权重
权重或称权数,是指对某指标在同一层次的指标体系中的相对重要程度和达到难度的一种量上的区分判断,也可通俗地理解为同一层次不同指标所占的百分比(设总和为 1)。重要程度或达成难度大的指标,相应的权重数值也大。这种重要程度又直接取决于评价的总体目标,相同指标在不同评价体系中的权重可以完全不同。如“化学课堂教学质量”评价体系中“教师基本功”属重要程度一般的指标,但在“化学教师教学能力”评价体系中则居于重要地位,后者对应的权重理应大于前者。
确定权数的过程也称加权,加权的结果直接影响到对总体目标评价的客观性。因此,权重不能随意而定,必须运用一定的方法,融合经验和理论, 在反复论证的基础上方可确定。加权一般是在指标体系建立之后进行或同时进行,可采用的方法很多,本书重点介绍以下三种:
- 经验加权法
请富有经验的教学论专家、有关研究人员和教师共同商讨,反复比较指标的重要性,最终以自己的经验和学识作为指派权数的依据。这种方法操作简单,适用面广,不足是主观随意性较大,易受专家、教师的素质和水平的影响。表 9-5 是四位专家对“化学演示实验”一项中 4 个指标的权数分配, Wi 是权数的算术平均数,也即各指标的最后权数。
表 9-5 指标权数的专家意见表
专家代号 指标内容 |
A |
B |
C |
D |
|
---|---|---|---|---|---|
Wi |
|||||
操作规范、熟练 |
0.30 |
0.30 |
0.30 |
0.30 |
0.30 |
装置结构合理 |
0.15 |
0.20 |
0.15 |
0.15 |
0.16 |
实验现象直观 |
0.20 |
0.15 |
0.25 |
.015 |
0.19 |
结合现象引导思维 |
0.35 |
0.35 |
0.30 |
0.40 |
0.35 |
- 排序统计法
请有关人员对各层次的指标持重要性程度进行投票,排出位次后利用公
式
∑ a jn i j
Wi =
N ∑ a j
进行统计处理(其中 ai 为排序位次,N 为投票的总人数,nij 为对某一指标、某一排序位次的投票人数)。例如,请 24 位专家对与“化学教学方法”有
关的 4 个指标进行投票,统计结果如表 9-6 所示。
表 9 - 6 指标权数的排序统计表
重要性程度 赞成人数评价指标 |
4 (第一位) |
3 (第二位) |
2 (第三位) |
1 (第四位) |
Wi |
---|---|---|---|---|---|
体现启发原则 |
9 |
8 |
5 |
2 |
0.300 |
激发学生动机运用教学技术 |
4 3 |
5 5 |
11 5 |
4 11 |
0.237 0.200 |
注重学法指导 |
8 |
6 |
3 |
7 |
0.263 |
- 专家咨询法
请有关专家和富有经验的教师在三相隔离的场合估计已有指标体系中某层次指标的权重,记为 Wji;(第 j 个专家对第 i 个指标权重的估计值),
汇总后求出其平均值Wi ,并以此为标准考察每位专家的估计偏差△ j i 。请偏差大的几位专家重新考虑后作出修订。如此反复咨询几轮,直至获得基本一致的权数集合。具体公式如下:
1 m
Wi = ∑Wji
j=1
∆ j i
=Wj i − Wi
j=1,2,⋯,m(专家个数);i=1,2,⋯,n(指标个数) 2.指标的等级
指标的等级反映出同一指标的不同水平,如好、较好、一般、较差、差或非常满意、满意、尚可、不满意等。常见的评判等级一般有 4~5 项,可用文字或字母(如 A、B、C、D、E)表示。在很多的场合,赋予各种等级以不同的分值,并在评价结果中予以体现。表 9-7 是对一级指标“化学教学内
容”所含的 4 项指标的等级评价。
表 9-7 “化学教学内容”的等级评价表
评价等级(分值) 好 评价指标 4 符合大纲要求 √ |
较好 3 |
一般 2 |
差 1 |
权重 ( Wjk ) 0.20 |
得分( Fk ) 0.80 |
---|---|---|---|---|---|
解决重点难点 |
√ |
0.27 |
0.81 |
||
讲练安排合理 √ |
0.33 |
1.32 |
|||
内容定量适当 |
√ |
0.20 |
0.60 |
对每一项指标按实际情况进行等级评价后,利用公式 Fik=bjWik 即可转化为第 k 项指标的评价分。上式中 bj 为等级分值(j=1,2,3,4),Wik 为第 i 项一级指标所含的第 k 项二级指标的权重,Fik 为该二级指标的评价分。
表 9-4 中以 A、B、C、D 为评价指标的不同等级,对应各项指标的赋分根据评价的内容单独规定,省略了指标的权重。这些分值可以看成是由权重和等级分合成的。
指标等级的分值主要根据等级高低由大到小进行分配,以方便、习惯、容易理解为原则。例如,考虑等级对总评分的“贡献”不同,有时也用“加强”或“抵消”的方式确定等值分,如将(+2,+1,0,-1,-2)表示(好, 较好,一般,较差,差)。为将评价结果折合成熟悉的百分制,可将 5 个等级的分值记为(95,85,75,65,55)或(100,80,60,40,20)等。