Die Inhaltsvalidität beschreibt, inwieweit ein Test das gesamte Spektrum an Verhaltensweisen oder Wissen abdeckt, das er messen soll. Ein Test mit hoher Inhaltsvalidität erfasst den zu messenden Bereich und verschwendet keine Fragen zu irrelevanten Inhalten.

Für eine Abschlussprüfung in einem Geschichtskurs erfordert die Inhaltsvalidität, dass die Fragen die im Kurs vermittelten Themen und Fertigkeiten widerspiegeln und keine Randthemen oder nie behandelte Inhalte behandeln. Bei einer Fahrprüfung sollten die Aufgaben und Prüfungsfragen die tatsächlich für sicheres Fahren erforderlichen Kompetenzen abbilden. Die Feststellung der Inhaltsvalidität erfordert in der Regel die Beurteilung durch Experten: Fachleute überprüfen den Prüfungsplan und die einzelnen Fragen, um eine ausreichende Abdeckung und angemessene Gewichtung sicherzustellen.

Inhaltsvalidität unterscheidet sich von anderen Validitätsformen. Ein Test kann seinen Untersuchungsbereich gut abdecken und dennoch zukünftige Leistungen nicht vorhersagen (geringe Kriteriumsvalidität) oder das theoretische Konstrukt, das er messen soll, nicht erfassen (geringe Konstruktvalidität). Ohne Inhaltsvalidität ist die Interpretation der Testergebnisse jedoch von vornherein fragwürdig.

Ein Test, der die richtigen Fragen zum richtigen Thema stellt, besitzt Inhaltsvalidität. Diese bildet die Grundlage für alle anderen Formen der Validität.