Zwei Versionen einer Webseite oder App-Oberfläche werden ähnlichen Zielgruppen präsentiert und die Ergebnisse verglichen. A/B-Testing ist ein solches kontrolliertes Experiment. Version A könnte beispielsweise einen grünen Button haben, Version B einen blauen. Die Version, die mehr Klicks, Anmeldungen oder Käufe generiert, wird als Gewinner erklärt und häufig als neue Standardversion übernommen.

Die Methode basiert auf statistischen Prinzipien. Der Traffic wird zufällig aufgeteilt, sodass die beiden Gruppen vergleichbar sind. Es müssen genügend Daten gesammelt werden, um einen tatsächlichen Unterschied von zufälligen Schwankungen zu unterscheiden. Tests können Überschriften, Bilder, Layouts, Preisanzeigen oder ganze Nutzerabläufe untersuchen. Ziel ist es, Vermutungen durch Erkenntnisse darüber zu ersetzen, was Nutzer tatsächlich zum Handeln bewegt.

A/B-Testing ist im digitalen Marketing und in der Produktentwicklung weit verbreitet, da es schnelles Feedback und vergleichsweise geringe Kosten ermöglicht. Es eignet sich weniger für Fragestellungen, die eine langfristige Beobachtung erfordern oder komplexe Wechselwirkungen zwischen vielen Variablen beinhalten. Bei sorgfältiger Anwendung wandelt es Designentscheidungen in messbare Hypothesen um und verbessert kontinuierlich Conversion und Nutzererfahrung.