Se muestran dos versiones de una página web o pantalla de aplicación a audiencias similares y se comparan los resultados. Las pruebas A/B son un experimento controlado. La versión A podría tener un botón verde; la versión B, uno azul. La versión que genere más clics, registros o compras se declara ganadora y, a menudo, se adopta como la nueva versión predeterminada.

El método se basa en principios estadísticos. El tráfico se divide aleatoriamente para que los dos grupos sean comparables. Se deben recopilar suficientes datos para distinguir una diferencia real de la variación aleatoria. Las pruebas pueden analizar titulares, imágenes, diseños, precios o flujos de usuario completos. El objetivo es reemplazar las conjeturas con evidencia sobre qué motiva realmente a los usuarios a actuar.

Las pruebas A/B se utilizan ampliamente en marketing digital y desarrollo de productos debido a la rapidez del ciclo de retroalimentación y a sus costes relativamente bajos. Son menos adecuadas para preguntas que requieren observación a largo plazo o que implican interacciones complejas entre múltiples variables. Cuando se aplican con cuidado, transforman las decisiones de diseño en hipótesis medibles y mejoran progresivamente la conversión y la experiencia del usuario.