Dwie wersje strony internetowej lub ekranu aplikacji są prezentowane podobnym odbiorcom, a wyniki są porównywane. Testowanie A/B to taki kontrolowany eksperyment. Wersja A może mieć zielony przycisk; wersja B niebieski. Wersja, która generuje więcej kliknięć, rejestracji lub zakupów, zostaje ogłoszona zwycięzcą i często zostaje przyjęta jako nowa domyślna.

Metoda opiera się na zasadach statystycznych. Ruch jest dzielony losowo, aby obie grupy były porównywalne. Należy zebrać wystarczającą ilość danych, aby odróżnić rzeczywistą różnicę od losowej zmienności. Testy mogą analizować nagłówki, obrazy, układy, wyświetlacze cen lub całe przepływy użytkowników. Celem jest zastąpienie domysłów dowodami na to, co faktycznie skłania użytkowników do działania.

Testy A/B są szeroko stosowane w marketingu cyfrowym i rozwoju produktów, ponieważ pętla sprzężenia zwrotnego jest szybka, a koszty stosunkowo niskie. Testy A/B są mniej odpowiednie w przypadku pytań wymagających długotrwałej obserwacji lub złożonych interakcji między wieloma zmiennymi. Stosowane ostrożnie, przekształcają decyzje projektowe w mierzalne hipotezy i systematycznie poprawiają konwersję oraz doświadczenie użytkownika.