Validitas isi adalah sejauh mana suatu tes mencakup seluruh rentang perilaku atau pengetahuan yang ingin diukur. Tes dengan validitas isi yang tinggi mencakup domain yang diklaimnya dan tidak menyia-nyiakan butir soal pada materi yang tidak relevan.

Untuk ujian akhir mata kuliah sejarah, validitas isi mengharuskan pertanyaan-pertanyaan tersebut mewakili topik dan keterampilan yang diajarkan dalam mata kuliah tersebut, bukan isu sampingan yang tidak jelas atau materi yang tidak pernah disajikan. Untuk ujian mengemudi, butir soal dan tugas harus mencerminkan kompetensi aktual yang dibutuhkan untuk mengemudi dengan aman. Penetapan validitas isi biasanya melibatkan penilaian ahli: spesialis meninjau rancangan ujian dan butir soal untuk memastikan cakupan yang memadai dan penekanan yang tepat.

Validitas isi berbeda dari bentuk validitas lainnya. Sebuah tes dapat mencakup domainnya dengan baik namun tetap gagal memprediksi kinerja di masa mendatang (validitas kriteria rendah) atau gagal mengukur konstruk teoretis yang seharusnya diukur (validitas konstruk rendah). Namun, tanpa validitas isi, interpretasi skor menjadi dipertanyakan sejak awal.

Tes yang mengajukan pertanyaan yang tepat tentang materi yang tepat memiliki validitas isi. Itulah dasar yang menjadi landasan bagi bentuk-bentuk validitas lainnya.