किसी वेबपेज या ऐप स्क्रीन के दो संस्करण समान दर्शकों को दिखाए जाते हैं और परिणामों की तुलना की जाती है। ए/बी टेस्टिंग एक नियंत्रित प्रयोग है। संस्करण ए में हरा बटन हो सकता है; संस्करण बी में नीला। जिस संस्करण पर अधिक क्लिक, साइन-अप या खरीदारी होती है, उसे विजेता घोषित किया जाता है और अक्सर उसे नया डिफ़ॉल्ट संस्करण बना दिया जाता है।

यह विधि सांख्यिकीय सिद्धांतों पर आधारित है। ट्रैफ़िक को यादृच्छिक रूप से विभाजित किया जाता है ताकि दोनों समूह तुलनीय हों। वास्तविक अंतर को यादृच्छिक भिन्नता से अलग करने के लिए पर्याप्त डेटा एकत्र किया जाना आवश्यक है। परीक्षण हेडलाइन, छवियों, लेआउट, मूल्य प्रदर्शन या संपूर्ण उपयोगकर्ता प्रवाह की जांच कर सकते हैं। इसका लक्ष्य अनुमानों के स्थान पर इस बात के प्रमाण प्रस्तुत करना है कि वास्तव में उपयोगकर्ताओं को कार्रवाई करने के लिए क्या प्रेरित करता है।

ए/बी टेस्टिंग का उपयोग डिजिटल मार्केटिंग और उत्पाद विकास में व्यापक रूप से किया जाता है क्योंकि इससे फीडबैक तेजी से मिलता है और लागत अपेक्षाकृत कम होती है। यह उन प्रश्नों के लिए कम उपयुक्त है जिनमें दीर्घकालिक अवलोकन की आवश्यकता होती है या जिनमें कई चरों के बीच जटिल अंतःक्रियाएं शामिल होती हैं। सावधानीपूर्वक उपयोग करने पर, यह डिज़ाइन संबंधी निर्णयों को मापने योग्य परिकल्पनाओं में बदल देता है और रूपांतरण दर और उपयोगकर्ता अनुभव को लगातार बेहतर बनाता है।