Hai phiên bản của một trang web hoặc màn hình ứng dụng được hiển thị cho cùng một nhóm người dùng, và kết quả được so sánh. Thử nghiệm A/B chính là thí nghiệm có kiểm soát đó. Phiên bản A có thể có nút màu xanh lá cây; phiên bản B có nút màu xanh lam. Phiên bản nào tạo ra nhiều lượt nhấp chuột, đăng ký hoặc mua hàng hơn sẽ được tuyên bố là người chiến thắng và thường được chọn làm phiên bản mặc định mới.

Phương pháp này dựa trên các nguyên tắc thống kê. Lưu lượng truy cập được chia ngẫu nhiên để hai nhóm có thể so sánh được. Cần thu thập đủ dữ liệu để phân biệt sự khác biệt thực sự với sự biến động ngẫu nhiên. Các thử nghiệm có thể kiểm tra tiêu đề, hình ảnh, bố cục, hiển thị giá cả hoặc toàn bộ luồng người dùng. Mục tiêu là thay thế phỏng đoán bằng bằng chứng về những gì thực sự thúc đẩy người dùng hành động.

Thử nghiệm A/B được sử dụng rộng rãi trong tiếp thị kỹ thuật số và phát triển sản phẩm vì vòng phản hồi nhanh và chi phí tương đối thấp. Tuy nhiên, nó ít phù hợp với những câu hỏi cần quan sát dài hạn hoặc liên quan đến sự tương tác phức tạp giữa nhiều biến số. Khi được áp dụng cẩn thận, nó biến các quyết định thiết kế thành các giả thuyết có thể đo lường được và liên tục cải thiện tỷ lệ chuyển đổi và trải nghiệm người dùng.