Dvě verze webové stránky nebo obrazovky aplikace se zobrazují podobnému publiku a výsledky se porovnávají. A/B testování je tento kontrolovaný experiment. Verze A může mít zelené tlačítko; verze B modré. Verze, která generuje více kliknutí, registrací nebo nákupů, je prohlášena za vítěznou a často je přijata jako nová výchozí verze.

Metoda je založena na statistických principech. Návštěvnost je rozdělena náhodně, aby byly obě skupiny srovnatelné. Je nutné shromáždit dostatek dat, aby se odlišil skutečný rozdíl od náhodné variace. Testy mohou zkoumat titulky, obrázky, rozvržení, zobrazení cen nebo celé toky uživatelů. Cílem je nahradit dohady důkazy o tom, co uživatele skutečně motivuje k akci.

A/B testování se široce používá v digitálním marketingu a vývoji produktů, protože zpětná vazba je rychlá a náklady relativně nízké. Je méně vhodné pro otázky, které vyžadují dlouhodobé pozorování nebo zahrnují složité interakce mezi mnoha proměnnými. Při pečlivém použití proměňuje rozhodnutí o designu v měřitelné hypotézy a stabilně zlepšuje konverze a uživatelskou zkušenost.