评分这信度是指多个评分者给同一批人的答卷评分的一致性程度。举个例子,如果只有两个评分者,则计算其评分的相关系数,即可得到评分者信度。它主要适用于测验是主观性试题时,不同评分者的评分会存在差异,这时评分者就凸显作用。下面将通过SPSS软件的具体实例给大家讲解评分者信度的使用。
一、数据准备
这里使用两个评委对10个运动员某项目评分,假两位评委对这十个运动员评分如下图所示。这里就用这两位评委对运动员评分进行一致性评价。
二、分析步骤
点击SPSS顶部菜单栏“分析”-“相关”-“双变量”。将评委A、B加载到变量文本框,并且相关系数勾选“皮尔逊”和“斯皮尔曼”。
双变量相关窗口左侧“选项”、“样式”、“拔靴法”、“置信区间”均保持默认,当然可以根据个人需要进行勾选。
三、结果分析
由于分析过程相关系数勾选了皮尔逊和斯皮尔曼,因此下面分别进行结果分析。皮尔逊相关系数为0.816,表格底部有解释,显著性大于0.01则说明相关性显著,这里为0.04说明相关性显著,评分者一致性很高。
斯皮尔曼同理分析,相关系数为0.890,显著性(双尾)为0.03,并且0.03大于0.01,说明相关性显著,评分者一致性很高。
四、小结
上述给大家讲解了使用SPSS进行评分者信度分析,首先用百度百科定义介绍了这个名词,然后通过两位评委AB评分10位运动员某项运动作为案例进行演示,再次就是通过具体操作步骤进行分析,最后通过皮尔逊和斯皮尔曼两种方式进行结果分析,得到结果一致:评分者一致性很高。