评分者信度 :
考察评分者信度的方法是：随机抽取相当份数的试卷，由两位或多位评分者按记分规则分别给分，然后根据每份试卷的分数考察评分的一致性。主要评分方法包括皮尔逊积矩相关法、斯皮尔曼等级相关法以及肯德尔和谐系数法。一般要求在成对的受过训练的评分者之间平均一致性达到0.90以上，才认为评分是客观的。
相比较于其他信度指标，评分者信度的必要性体现在：①重测信度、复本信度和分半信度的评估方式都适用于客观测验，即分数评定完全客观化的测验。然而，当测验评分不是那么客观时，还可以使用其他信度方式。例如，对于同一篇作文，不同的评定者倾向于给不同的分数，或者不同的面试官可能会在结构化面试中将同一个面试者评定为不同的分数等级。在这种情况下，可以通过运用皮尔逊积矩相关或等级相关来计算两个评定者之间的相关而得到信度值。这种信度评估方式称为评分者信度。②在由客观性试题组成的心理测验中，答案具体而固定，无须考察评分者信度。但在投射测验、道德判断测验、创造性思维测验等评分中，答案并不固定，评分时必然掺杂主观判断因素，因此，需要考察评分者一致性系数。③标准化测验一般都有较为严格的评分程序。对于客观性试题来说，评分所引起的误差可以忽略不计，但对于主观性题目来说，评分者之间的变异是产生误差的重要原因之一。④对一些无法完全客观记分的测验来说，评分者之间的变异也是误差的重要来源。例如，测量创造力的发散思维测验以及测量人格的投射测验，在评分时都掺有主观判断成分。对于这类测验，除需要通常的信度估计外，还需要评分者信度的度量。⑤除非记录错误，否则不同的评分者对某一个体在客观性测验上的计分应该是一致的。但是，对于短文或者口语测试，以及其他的评价性判断（人格评分、投射测验计分）而言，计分过程往往相当主观。评价性计分包含了评分者的主观判断，不同的评分者在多大程度上能够对不同的受测者和项目的反应结果在评分或其他数量指标上达成一致非常重要。
判断评分者信度最常见的方法就是让两个人对一定数量的被试反应结果进行计分，然后多个人同时对多个被试的反应结果进行计分。后一种办法得到的是组内系数，又称和谐系数，它是更加概括化的评分者信度系数。