Bir web sayfasının veya uygulama ekranının iki farklı versiyonu benzer kitlelere gösterilir ve sonuçlar karşılaştırılır. A/B testi, bu kontrollü deneydir. A versiyonunda yeşil bir düğme, B versiyonunda ise mavi bir düğme olabilir. Daha fazla tıklama, kayıt veya satın alma sağlayan versiyon kazanan ilan edilir ve genellikle yeni varsayılan olarak benimsenir.

Bu yöntem istatistiksel prensiplere dayanmaktadır. Trafik rastgele bölünerek iki grup karşılaştırılabilir hale getirilir. Gerçek bir farkı rastgele varyasyondan ayırt etmek için yeterli veri toplanmalıdır. Testler başlıkları, görselleri, düzenleri, fiyatlandırma gösterimlerini veya tüm kullanıcı akışlarını inceleyebilir. Amaç, kullanıcıları harekete geçiren şeyin ne olduğuna dair tahminleri kanıtlarla değiştirmektir.

A/B testi, geri bildirim döngüsünün hızlı olması ve maliyetlerinin nispeten düşük olması nedeniyle dijital pazarlama ve ürün geliştirmede yaygın olarak kullanılmaktadır. Uzun süreli gözlem gerektiren veya birçok değişken arasında karmaşık etkileşimler içeren sorular için daha az uygundur. Dikkatli uygulandığında, tasarım kararlarını ölçülebilir hipotezlere dönüştürür ve dönüşüm oranını ve kullanıcı deneyimini sürekli olarak iyileştirir.