Duas versões de uma página web ou de um ecrã de aplicação são apresentadas para públicos semelhantes, e os resultados são comparados. O teste A/B é essa experiência controlada. A versão A pode ter um botão verde; a versão B, um azul. A versão que gera mais cliques, registos ou compras é declarada vencedora e geralmente adotada como a nova versão padrão.

O método baseia-se em princípios estatísticos. O tráfego é dividido aleatoriamente para que os dois grupos sejam comparáveis. É necessário recolher dados suficientes para distinguir uma diferença real da variação aleatória. Os testes podem examinar títulos, imagens, layouts, apresentação de preços ou fluxos de utilizadores completos. O objetivo é substituir as suposições por evidências sobre o que realmente motiva os utilizadores a agir.

Os testes A/B são amplamente utilizados no marketing digital e no desenvolvimento de produtos porque o ciclo de feedback é rápido e os custos são relativamente baixos. São menos adequados para questões que exigem observação a longo prazo ou que envolvem interações complexas entre muitas variáveis. Quando aplicados com cuidado, transformam as decisões de design em hipóteses mensuráveis ​​e melhoram continuamente a conversão e a experiência do utilizador.