Obsahová validita je míra, do jaké test zahrnuje celou škálu chování nebo znalostí, které má měřit. Test s vysokou obsahovou validitou pokrývá oblast, kterou údajně pokrývá, a neplýtvá položkami na irelevantní materiál.

U závěrečné zkoušky z dějepisu vyžaduje obsahová validita, aby otázky reprezentovaly témata a dovednosti probírané v kurzu, spíše než nejasné vedlejší záležitosti nebo látku, která nebyla nikdy probrána. U řidičských zkoušek by položky a úkoly měly odrážet skutečné kompetence potřebné pro bezpečné řízení. Stanovení obsahové validity obvykle zahrnuje odborný úsudek: specialisté kontrolují plán testu a položky, aby potvrdili dostatečné pokrytí a vhodné důrazy.

Obsahová validita se liší od jiných forem validity. Test může dobře vzorkovat svou doménu, ale přesto nedokáže předpovědět budoucí výkon (nízká kriteriální validita) nebo nedokáže změřit teoretický konstrukt, který měl měřit (nízká konstruktová validita). Bez obsahové validity se však interpretace skóre stává od začátku problematickou.

Test, který klade správné otázky o správném materiálu, má obsahovou validitu. To je základ, na kterém jsou postaveny další formy validity.