Två versioner av en webbsida eller appskärm visas för liknande målgrupper och resultaten jämförs. A/B-testning är det kontrollerade experimentet. Version A kan ha en grön knapp; version B en blå. Den version som producerar fler klick, registreringar eller köp utses till vinnare och antas ofta som ny standard.

Metoden bygger på statistiska principer. Trafiken delas upp slumpmässigt så att de två grupperna är jämförbara. Tillräckligt med data måste samlas in för att skilja en verklig skillnad från slumpmässig variation. Tester kan undersöka rubriker, bilder, layouter, prisvisningar eller hela användarflöden. Målet är att ersätta gissningar med bevis om vad som faktiskt får användare att agera.

A/B-testning används flitigt inom digital marknadsföring och produktutveckling eftersom feedback-loopen är snabb och kostnaderna relativt låga. Det är mindre lämpligt för frågor som kräver långsiktig observation eller som involverar komplexa interaktioner mellan många variabler. När det tillämpas noggrant omvandlas designbeslut till mätbara hypoteser och förbättrar stadigt konvertering och användarupplevelse.