Dua versi halaman web atau layar aplikasi ditampilkan kepada audiens yang serupa, dan hasilnya dibandingkan. Pengujian A/B adalah eksperimen terkontrol tersebut. Versi A mungkin memiliki tombol hijau; versi B memiliki tombol biru. Versi yang menghasilkan lebih banyak klik, pendaftaran, atau pembelian dinyatakan sebagai pemenang dan sering diadopsi sebagai versi default yang baru.

Metode ini didasarkan pada prinsip-prinsip statistik. Lalu lintas dibagi secara acak sehingga kedua kelompok tersebut dapat dibandingkan. Data yang cukup harus dikumpulkan untuk membedakan perbedaan nyata dari variasi acak. Tes dapat memeriksa judul, gambar, tata letak, tampilan harga, atau seluruh alur pengguna. Tujuannya adalah untuk mengganti tebakan dengan bukti tentang apa yang sebenarnya mendorong pengguna untuk bertindak.

Pengujian A/B banyak digunakan dalam pemasaran digital dan pengembangan produk karena siklus umpan baliknya cepat dan biayanya relatif rendah. Metode ini kurang cocok untuk pertanyaan yang membutuhkan pengamatan jangka panjang atau yang melibatkan interaksi kompleks di antara banyak variabel. Jika diterapkan dengan hati-hati, metode ini mengubah keputusan desain menjadi hipotesis yang terukur dan secara konsisten meningkatkan konversi dan pengalaman pengguna.