Două versiuni ale unui ecran de pagină web sau aplicație sunt afișate unor segmente de public similare, iar rezultatele sunt comparate. Testarea A/B este acel experiment controlat. Versiunea A ar putea avea un buton verde; versiunea B unul albastru. Versiunea care produce mai multe clicuri, înscrieri sau achiziții este declarată câștigătoare și este adesea adoptată ca noua opțiune implicită.

Metoda se bazează pe principii statistice. Traficul este împărțit aleatoriu, astfel încât cele două grupuri să fie comparabile. Trebuie colectate suficiente date pentru a distinge o diferență reală de o variație aleatorie. Testele pot examina titluri, imagini, machete, afișaje de prețuri sau fluxuri întregi de utilizatori. Scopul este de a înlocui presupunerile cu dovezi despre ceea ce îi determină de fapt pe utilizatori să acționeze.

Testarea A/B este utilizată pe scară largă în marketingul digital și dezvoltarea de produse, deoarece bucla de feedback este rapidă, iar costurile sunt relativ scăzute. Este mai puțin potrivită pentru întrebări care necesită observare pe termen lung sau care implică interacțiuni complexe între multe variabile. Atunci când este aplicată cu atenție, aceasta transformă deciziile de design în ipoteze măsurabile și îmbunătățește constant conversia și experiența utilizatorului.