Twee versies van een webpagina of app-scherm worden aan een vergelijkbaar publiek getoond en de resultaten worden vergeleken. A/B-testen is zo'n gecontroleerd experiment. Versie A heeft bijvoorbeeld een groene knop; versie B een blauwe. De versie die de meeste klikken, aanmeldingen of aankopen oplevert, wordt uitgeroepen tot winnaar en wordt vaak als de nieuwe standaardversie ingevoerd.

De methode is gebaseerd op statistische principes. Het verkeer wordt willekeurig verdeeld, zodat de twee groepen vergelijkbaar zijn. Er moeten voldoende gegevens worden verzameld om een ​​reëel verschil te kunnen onderscheiden van willekeurige variatie. Tests kunnen zich richten op koppen, afbeeldingen, lay-outs, prijsweergaven of complete gebruikersstromen. Het doel is om giswerk te vervangen door bewijs over wat gebruikers daadwerkelijk aanzet tot actie.

A/B-testen worden veel gebruikt in digitale marketing en productontwikkeling omdat de feedbackcyclus snel is en de kosten relatief laag. Het is minder geschikt voor vragen die langdurige observatie vereisen of die complexe interacties tussen veel variabelen omvatten. Mits zorgvuldig toegepast, zet het ontwerpbeslissingen om in meetbare hypotheses en verbetert het gestaag de conversie en de gebruikerservaring.