信度的概念及其检验
职务测评的信度是指测评结果的可靠性或可信度,即指测评结果反映被测人员特性的可靠程度。信度一般是通过分析一种测评方法所得结果的前后一致性水平而得到的。例如,对某任职者政治素质的评价的平均值为 4 中,
而 20 天后再次评定时下降为 3 中,那么则认为这种评定结果的一致性水平是相当低的。一般说来,利用同一测评方法在相邻短时间内进行职务测评, 测评结果稍有差异是正常的。但相差过大,就说明这种测评方法本身,包括测评表与测评标准的编制以及计分方法等存在某种缺陷,从而使得这样的测评结果不具有令人信服的可靠性。
信度的检验一般是用信度系数的形式体现的。信度系数是同一样本在两种不同时间、不同情境条件或两组不同评价材料的评定结果之间的相关系数。信度系数越大,说明评定方法的可靠性越强,信度系数越小,说明评定方法的可靠性越弱。用于职务测评的各种方法的信度要求达到或超过一定的标准,即信度系数必须大于 0.80,才能在实际工作中运甲。
信度检验主要有以下几种方法。1.重测信度
重测信度是用于分析两次间隔一定时间的评定结果之间的相关,其做法是运用同一种测评方法,请相同的评定人对同一组被评人先后评定两次,然后计算重测信度系数。两次测评时间以一个月为好。间隔太短,容易受评定人记忆的影响而提高信度系数;大长则会因这期间内发生的其他因素,包括被评人的一些变化而影响重测的结果。
例如,某厂用“企业工程技术人员测评表”评定了 20 名工程师以上职
称的技术人员。设每个被评技术人员评定平均成绩为 A1(每个技术人员请 30
人参加评定)。为了检验测评信度,间隔 23 天后,又请原来参加评定的所
有评定人运用原测评表再次对 20 名技术人员进行了第二次评定,其平均成绩设为 A2。两次数据见表 4—25。
表 4 — 25
技术人员 |
第一次评定 |
第二次评定 |
A 2 1 |
A 2 |
A1A2 |
---|---|---|---|---|---|
姓名 |
成绩A1 |
成绩 A2 |
2 | ||
A |
15 |
15 |
225 |
225 |
225 |
B |
14 |
14 |
196 |
196 |
196 |
C |
13 |
16 |
169 |
256 |
208 |
D |
12 |
15 |
144 |
225 |
180 |
E |
12 |
13 |
144 |
169 |
156 |
F |
11 |
12 |
121 |
144 |
122 |
G |
11 |
11 |
121 |
121 |
121 |
H |
10 |
13 |
100 |
169 |
130 |
I |
10 |
12 |
100 |
144 |
120 |
J |
10 |
12 |
100 |
144 |
120 |
K |
10 |
10 |
100 |
100 |
100 |
L |
10 |
11 |
100 |
121 |
110 |
M | 9 |
11 |
81 |
121 |
99 |
N | 9 |
11 |
81 |
121 |
99 |
O | 9 |
10 |
81 |
100 |
90 |
P | 8 |
9 |
64 |
81 |
72 |
Q | 8 |
10 |
64 |
100 |
80 |
R | 7 |
7 |
49 |
49 |
49 |
S | 6 |
8 |
36 |
64 |
48 |
T | 5 |
8 |
25 |
64 |
40 |
合计 |
199 |
228 |
2101 |
2714 |
2364 |
分析上表内容:
A 1 = 9.95
δ1A1 = 2.46
∑ A 2 = 2101
∑ A 1 = 199
∑ A 1A 2 = 2364
A 2 = 11.40
δ 2 A 2
∑A 2 = 2714
∑A 2 = 228
N = 20
r = N ∑ A1A 2 − (∑A 1 )(∑A 2 )
N ∑ A 2 − (∑ A )2 ⋅ N ∑ A 2 − (∑ A ) 2
= 20 × 2364 − 199 × 228
⋅
= 0.81
该例中,间隔 23 天的重测信度为 0.81,已超过同类测评表的信度要求, 说明该测评表的信度是合格的,评定所得的信息是可靠的。
2.对半信度
重测信度需要重复测评两次才可以获得,在实际工作中推行往往有许多困难。为简化信度检验的程序,常常采用对半信度。首先要把测评表中的问
题按随机原则分为相等的两部分,然后请一组评定人运用测评表进行评定, 记录结果并求出两部分评定结果的相关系数 rtt,该相关系数即为对半信度系数。
因为对半信度系数只是根据原测评表的一半题目而来,所以对半信度常常比原测评表的信度低。可以运用斯丕曼一布朗公式进行校正,把对半信度换算为原测评表的信度。
rhh
= 2rtt 1 + rtt
rtt
──对半信度
rh ──原测评表信度
例如,某企业用“企业干部素质测评表”对 20 名企业中层管理人员进
行评定。假定每个管理人员由 30 名评走人评定。初评表由 16 道题组成,题序以随机方式排列并按单数题号和偶数题号分为两部分。见表 4—26。
表 4 — 26
干部姓名 |
A B |
C |
D |
E |
F |
G |
H |
I J |
K |
L |
M |
N |
O |
P |
Q |
R | S |
T |
|
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
单数题评定 成绩( x ) |
8 8 |
7 |
6 |
6 |
5 |
6 |
5 |
5 5 |
4 |
6 |
4 |
4 |
5 |
4 |
3 |
4 | 3 | 3 | |
双数题评定 成绩( y ) |
8 6 |
7 |
6 |
7 |
5 |
5 |
6 |
5 5 |
5 |
4 |
4 |
5 |
4 |
4 |
4 |
3 | 3 | 3 | |
总评定成绩 |
16 14 |
14 |
12 |
13 |
10 |
11 |
11 |
10 |
10 |
9 |
10 |
8 |
9 |
9 |
8 |
7 | 7 | 6 |
6 |
∑ x = 101, ∑ x2 = 553, x = 5.06, δ = 1.47
∑ y = 99, ∑ y2 = 527, y = 4.95, δ = 1.36
∑ xy = 532, N = 20
∑ xy / N − ( x)( y)
rtt
(δx)(δy)
= 532 / 20 − (5.05)(4.95)
1.47 × 1.36
= 0.80
原测评表的信度为
rhh
= 2rtt
1 + rtt
= 2 × 0.80 = 0.89
1 + 0.80
从而该测评结果的信度符合要求。3.等值信度
等值信度是用两个平行型的测评表在最短时间间隔内施行两次,所得结果的相关系数来评估的。这里提出的平行型量表不仅要求性质、形式和长度相同,而且要求难度和差异程度相同。
例如,某厂用“干部素质德才测评表”和“企业领导者德才素质测评表” 分别对 20 名中层以上干部进行评定(假设两个表性质相同、形式相同、长度相同),评定结果见表 4—27。
表 4 ─ 28 被评人姓名 A B C D E F G H I J K L M N O P Q R S T 评定成绩Ⅰ 15 14 13 12 12 11 11 10 10 10 10 10 9 9 9 8 8 7 6 5
评定成绩Ⅱ 16 14 14 12 13 10 11 11 10 10 9 10 8 9 9 8 7 7 6 6
等值信度为
rⅠⅡ
= 2118 / 20 − (9.95) × (10.00) = 0.97
2.46 × 2.68
因为等值信度系数为 0.97,符合测评的信度要求,证明评定结果是可靠的。
综上所述,可以看出,在测评信度的检验中,重测法较理想,但推行有困难,等值信度较简单,但对于平行型测评表的设计要求高,而对半信度最为简单、易行。