Indholdsvaliditet er den grad, i hvilken en test sampler hele spektret af adfærd eller viden, som den er beregnet til at måle. En test med høj indholdsvaliditet dækker det domæne, den hævder at dække, og spilder ikke elementer på irrelevant materiale.

Til en afsluttende eksamen i et historiekursus kræver indholdsvaliditet, at spørgsmålene repræsenterer de emner og færdigheder, der undervises i kurset, snarere end obskure sideproblemer eller materiale, der aldrig præsenteres. Til en køreprøve bør elementerne og opgaverne afspejle de faktiske kompetencer, der er nødvendige for sikker kørsel. Etablering af indholdsvaliditet involverer normalt ekspertvurdering: Specialister gennemgår testplanen og elementerne for at bekræfte tilstrækkelig dækning og passende vægtning.

Indholdsvaliditet er forskellig fra andre former for validitet. En test kan sample sit domæne godt, men stadig ikke forudsige fremtidig præstation (lav kriterievaliditet) eller ikke måle den teoretiske konstruktion, den var beregnet til at måle (lav konstruktionsvaliditet). Uden indholdsvaliditet bliver fortolkningen af ​​scorer dog tvivlsom fra starten.

En test, der stiller de rigtige spørgsmål om det rigtige materiale, besidder indholdsvaliditet. Det er fundamentet, som andre former for validitet bygger på.