Egy weboldal vagy alkalmazásképernyő két verzióját hasonló közönségnek jelenítik meg, és az eredményeket összehasonlítják. Az A/B tesztelés ilyen kontrollált kísérlet. Az A verziónak lehet egy zöld gombja; a B verziónak egy kék. Az a verzió lesz a győztes, amelyik több kattintást, regisztrációt vagy vásárlást eredményez, és gyakran ezt a verziót választják új alapértelmezettként.

A módszer statisztikai elveken alapul. A forgalmat véletlenszerűen osztják fel, hogy a két csoport összehasonlítható legyen. Elegendő adatot kell gyűjteni ahhoz, hogy meg lehessen különböztetni a valódi különbséget a véletlenszerű variációtól. A tesztek vizsgálhatják a címsorokat, képeket, elrendezéseket, árképzéseket vagy a teljes felhasználói folyamatokat. A cél az, hogy a találgatásokat bizonyítékokkal helyettesítsék arról, hogy mi készteti valójában a felhasználókat cselekvésre.

Az A/B tesztelést széles körben alkalmazzák a digitális marketingben és a termékfejlesztésben, mivel a visszacsatolási ciklus gyors, a költségek pedig viszonylag alacsonyak. Kevésbé alkalmas olyan kérdésekre, amelyek hosszú távú megfigyelést igényelnek, vagy amelyek számos változó közötti komplex interakciókat foglalnak magukban. Gondos alkalmazás esetén a tervezési döntéseket mérhető hipotézisekké alakítja, és folyamatosan javítja a konverziót és a felhasználói élményt.