To versioner af en webside eller et appskærmbillede vises til lignende målgrupper, og resultaterne sammenlignes. A/B-testning er det kontrollerede eksperiment. Version A kan have en grøn knap; version B en blå. Den version, der producerer flere klik, tilmeldinger eller køb, erklæres som vinder og anvendes ofte som den nye standard.

Metoden er baseret på statistiske principper. Trafikken opdeles tilfældigt, så de to grupper er sammenlignelige. Der skal indsamles tilstrækkelige data til at skelne en reel forskel fra tilfældig variation. Test kan undersøge overskrifter, billeder, layouts, prisvisninger eller hele brugerstrømme. Målet er at erstatte gætværk med beviser for, hvad der rent faktisk får brugerne til at handle.

A/B-testning bruges i vid udstrækning inden for digital markedsføring og produktudvikling, fordi feedback-loopet er hurtigt, og omkostningerne er relativt lave. Det er mindre egnet til spørgsmål, der kræver langsigtet observation, eller som involverer komplekse interaktioner mellem mange variabler. Når det anvendes omhyggeligt, omdanner det designbeslutninger til målbare hypoteser og forbedrer støt konvertering og brugeroplevelse.