Δύο εκδόσεις μιας ιστοσελίδας ή μιας οθόνης εφαρμογής εμφανίζονται σε παρόμοιο κοινό και τα αποτελέσματα συγκρίνονται. Οι δοκιμές A/B είναι αυτό το ελεγχόμενο πείραμα. Η έκδοση Α μπορεί να έχει ένα πράσινο κουμπί, ενώ η έκδοση Β ένα μπλε. Η έκδοση που παράγει περισσότερα κλικ, εγγραφές ή αγορές ανακηρύσσεται νικήτρια και συχνά υιοθετείται ως η νέα προεπιλογή.

Η μέθοδος βασίζεται σε στατιστικές αρχές. Η επισκεψιμότητα χωρίζεται τυχαία, έτσι ώστε οι δύο ομάδες να είναι συγκρίσιμες. Πρέπει να συλλεχθούν αρκετά δεδομένα για να διακριθεί μια πραγματική διαφορά από μια τυχαία διακύμανση. Οι δοκιμές μπορούν να εξετάσουν τίτλους, εικόνες, διατάξεις, εμφανίσεις τιμολόγησης ή ολόκληρες ροές χρηστών. Ο στόχος είναι να αντικατασταθούν οι εικασίες με στοιχεία σχετικά με το τι πραγματικά ωθεί τους χρήστες να ενεργήσουν.

Οι δοκιμές A/B χρησιμοποιούνται ευρέως στο ψηφιακό μάρκετινγκ και την ανάπτυξη προϊόντων, επειδή ο βρόχος ανατροφοδότησης είναι γρήγορος και το κόστος σχετικά χαμηλό. Είναι λιγότερο κατάλληλο για ερωτήσεις που απαιτούν μακροπρόθεσμη παρατήρηση ή που περιλαμβάνουν πολύπλοκες αλληλεπιδράσεις μεταξύ πολλών μεταβλητών. Όταν εφαρμόζεται προσεκτικά, μετατρέπει τις αποφάσεις σχεδιασμού σε μετρήσιμες υποθέσεις και βελτιώνει σταθερά τη μετατροπή και την εμπειρία χρήστη.