妥当性とは、テストが本来測定または予測すべきものをどの程度正確に測定または予測できるかを示す指標である。妥当なテストとは、その得点が意図したとおりに解釈できるテストのことである。

内容妥当性とは、項目が対象領域を適切に網羅しているかどうかを指します。基準関連妥当性とは、得点が外部基準と同時的または予測的に相関しているかどうかを指します。構成概念妥当性とは、テストが根底にある構成概念に関する理論的期待と一致する挙動を示すかどうかを指します。表面妥当性（テストが関連性があるように見えるかどうか）は二次的なものですが、学習意欲や受容性に影響を与える可能性があります。

妥当性とは、テストの固定的な特性ではなく、特定の解釈や用途に関するエビデンスに基づいた判断です。ある目的においては妥当なテストでも、別の目的においては妥当でない場合があります。信頼性は妥当性にとって必要条件ではありますが、十分条件ではありません。一貫したスコアであっても、それが意図した属性を反映していなければ、ほとんど役に立ちません。対象集団や用途が変化するにつれて、継続的な妥当性検証研究が必要となります。

テストの妥当性は、その得点から導き出される推論が正当化される程度によって決まる。