Reliabilitet er den grad, i hvilken en test giver ensartede resultater. Et pålideligt instrument producerer lignende scorer, når det administreres under lignende forhold, eller når dets elementer sammenlignes med hinanden.

Test-retest-reliabilitet undersøger stabilitet over tid. Parallel-forms reliabilitet sammenligner to ækvivalente versioner af den samme test. Intern konsistens, ofte målt ved Cronbachs alfa, vurderer, om elementer, der foregiver at måle det samme konstrukt, hænger sammen. Inter-rater-reliabilitet evaluerer overensstemmelse mellem forskellige scorere. Høj reliabilitet er en forudsætning for validitet; en upålidelig test kan ikke være et gyldigt mål for noget.

Reliabilitetskoefficienter varierer fra 0 til 1,00. Værdier over 0,80 anses generelt for acceptable til de fleste forsknings- og anvendte formål, selvom standarder varierer afhængigt af kontekst. Kilder til upålidelighed omfatter tvetydige elementer, inkonsekvent administration, scoringsfejl og midlertidige udsving hos testpersonen. Omhyggelig testkonstruktion og standardiserede procedurer forbedrer pålideligheden.

En test, der giver nogenlunde det samme svar gentagne gange, er pålidelig.