二 项目的区分度分析

  1. 区分度的意义

区分度是指测验试题或项目对学生的实际水平的区分程度。具有良好区分度的试题或项目,实际水平高的学生应该能够通过或得高分,实际水平低的学生不能通过或只能得低分。所以,测验的区分度又叫鉴别力。

测量理论对测验的区分度十分重视,称之为判断测验是否有效的指示器,并作为评价试题和项目质量、对项目进行筛选的主要依据。从区分度本身的意义就可以看出,当测验是以选拔为主要目的时,只有试题和项目具有良好的区分度,测验才会有一定的效度。区分度和测验的信度也存在着密切的关系。有人通过研究发现,测验的信度随项目的平均区分度的提高而增长, 且信度增长的速度较区分度增长为快①。因而,提高试题和项目的区分度是达到理想的测验信度的一个有效途径。

项目的区分度与难度的关系,前面的讨论已经涉及。我们知道,在难度接近 0.5 时,项目的鉴别力接近最强,也就是区分度值接近最大。区分度相同的项目其难度值可能不一样。在这种情况下,P 值小的项目所能区分的是高分组的学生,P 值大的项目所能区分的是低分组的学生。为了对全部参加测验的学生都能够有所区分,需要测验中的全部项目都有必要的区分度,且难度不同的项目比例也要适当。

在任何测验中,无论测验的具体目的如何,提高项目的区分度总是对改进测验质量有利。

  1. 区分度的计算
  1. 用内部一致性系数计算区分度。

这里的内部一致性是指学生在某项目的得分与其所得测验总分的一致性。用内部一致性系数计算出的区分度的意义在于:项目的区分度高,说明总分较高或测验合格的学生在该项目上通过或得高分的可能性也高;而总分较低或测验不合格的学生在该项目上通过或得高分的可能性也小。项目的区分度低则恰恰相反,在该项目上通过或得高分的学生反而总分低或测验不合格,而在该项目上不能通过或得低分的学生反而总分高或测验合格。在标准化或较大规模的测验中,多采用相关法计算项目的得分与测验总分的一致性,表征项目的区分度。

根据项目的计分方法和测验总分或结果的表示方法的不同,可采用以下几种方法计算项目的区分度。

①积差相关法。

当项目和试题总分都采用连续分数计分时,可用式 4-4 来计算项目的区分度。用变量 X 表示学生在某项目上的得分,用变量 Y 表示学生的测验总分, 其积差相关系数即可代表该项目的区分度值。

②点二列相关。

当项目以二分法计分、测验成绩以连续分数表示时,可用点二列相关公式计算区分度。其计算公式如下:

rpb =

(式4 - 17)

① 王汉澜主编:教育测量学,河南大学出版社 1987 年版,第 110 页。

式中,rpb 为点二列相关系数,即项目区分度;XP 为答对项目的

学生总分平均数;Xq 为答错项目的学生总分平均数;St 为全体学生的总

分标准差;p 为答对项目的学生所占的人数比率;q=1-p。

③二列相关。

当测验总分为连续分数,项目也以连续分数计分,且学生的项目得分接近正态时,可以将项目得分按给定的“通过分数”分为通过和不通过两类, 也就是将连续分数人为地变成二分法计分的分数。这时,可用二列相关计算项目的区分度。其公式如下:

rb =

XP − Xq

St

  • pq (式4 - 18)

y

式中,rb 为二列相关系数,即项目的区分度;XP ,Xq ,St ,p和

q 的意义同式 4-17;y 为正态分布下答对的学生的百分比所在位置的曲线高度。

④四分相关。

当项目分数和测验总分都是连续分数而又都被人为二分时,可用四分相关计算区分度。其计算公式为:

 

 180° 

r = cos    

( 式4 - 19)

t  

 1 + 

二 项目的区分度分析 - 图1式中,rt 为四分相关系数,即项目区分度;a,b,c,d 的意义如下列四

格表所示:

用 ri 估计相关时,一般要求 a+b+c+d>200。当 a,b,c,d 四项次数接近时,估计值最可靠;而当 a,b,c,d 中某项次数过少、甚至为 0 时,计算结果无意义。

⑤ϕ相关。

当项目分数和测验总分都是二分变量时,可用ϕ相关计算项目的区分度。其公式如下:

rϕ (式4 - 20)

式中,rϕ为ϕ相关系数,即项目区分度;a,b,c,d 的意义同式 4-19。(2)用极端分组法计算区分度。

用极端分组法计算区分度,是通过比较两个极端效标组(高分组和低分

组)在同一项目上反应的差异来估计项目区分度的。其计算公式如下:

①当项目用二分法计分时:

D=PH—PL (式 4-21a)

式中,D 为区分度;PH 为高分组通过该项目的人数比例;PL 为低分组通过该项目的人数比例。

②当项目以连续分数计分时:

D = XH − XL

H - L

(式4 - 21b))

式中,D为区分度;XH 和XL 分别为高分组学生和低分组学生在该项

目上的平均得分;H 和 L 分别为该项目的最高得分和最低得分。

高分组和低分组的划分,是先将被测学生按其总分由高到低的顺序依次排列,然后取其上端一部分为高分组,取其下端一部分为低分组。对于极端分组的人数应占多大比例,要视被测学生总体的具体情况而定。如果测验总分的分布符合正态,最适当的比例是高分组和低分组各占 27%;如果分数分布较正态分布平坦,高、低分组人数比率要略高于 27%;一般情况下,其比率介于 25%-33%之间即可。

用极端分组法计算项目的区分度也被称作鉴别指数,其意义明确,具有计算简便、易于理解的优点,但所得结果不够精确,通常只用于一般教学测验中。

  1. 项目区分度的评价(1)相对评价。

由于区分度值有多种计算方法,不同方法的计算结果并不一致;同时, 区分度值还受到被测学生的状况如样本大小、样本的同质性、样本的分组方法等因素的影响。因而,项目的区分度值与其难度值一样,也具有相对性。所以,我们在评价项目的区分度时,要注意区分度值的来源,区别对待,而不能任意比较其值的大小,并以此评价项目质量。目前,我们还很难规定出一个统一的定量标准作为评价项目区分度的依据。一般而言,在被测学生总体状况相同或基本类似的前提下,按照同一种方法计算的区分度值可以直接比较:区分度越大者,项目质量越高。无论测验的目的是什么,在反映项目质量的其他指标相同的条件下,应尽可能选用区分度值大的项目。研究表明, 尽管采用不同方法计算出的区分度值不同,但在根据区分度值决定项目取舍时,结论却是完全一致的。可见,通过对项目的区分度进行相对比较而挑选项目,其结论是基本可靠的。

  1. 显著性检验。

用内部一致性系数作为项目的区分度值,还可以通过对相关系数的显著性检验来评价项目质量。每种方法的计算结果都有相应的显著性检验方法。一般是将计算所得的区分度值与相关系数显著性临界值比较,如果检验结果是相关系数值达到显著性水平,就说明项目得分与测验总分之间确实存在着内部一致性(或一致的可能性相当大),项目的区分度水平是可以令人满意的;但如果检验结果未达到显著性水平,那么,项目得分与测验总分之间的相关可能是由某种偶然因素造成的,项目的区分度尚未达到测验所要求的水平。在一般教育或心理统计、测量学著作中都可以查阅到相关系数显著性临界值表。