Signification statistique d’un A/B test sur une landing page : quel seuil retenir ?

Un outil d’A/B testing affiche « 95 % de confiance, la variante B est gagnante », et la tentation est immédiate : généraliser le changement sur toute la page. Le chiffre a l’air rassurant — presque une garantie. Il ne l’est pas tout à fait, pour deux raisons que la plupart des outils n’expliquent jamais : ce que mesure réellement ce pourcentage, et ce qui se passe quand vous avez, sans forcément vous en rendre compte, regardé plusieurs métriques ou plusieurs segments avant qu’il n’apparaisse. Notre article sur la durée d’un A/B test traite du moment où lire le résultat ; celui-ci traite de ce que le résultat veut dire une fois que vous le lisez — et du seuil à exiger avant d’y croire.

Que mesure vraiment un pourcentage de confiance ?

« 95 % de confiance » ne signifie pas « 95 % de chances que la variante B soit réellement meilleure ». Cela signifie : si, en réalité, les deux variantes convertissaient exactement pareil, il n’y aurait que 5 % de risque d’observer par pur hasard un écart aussi net que celui mesuré. C’est une mesure du bruit, pas une mesure de certitude sur la cause. Nuance qui paraît technique, mais qui a une conséquence concrète : plus vous multipliez les occasions de tomber sur ce hasard flatteur, plus vous en verrez apparaître — même quand rien ne change réellement sur votre page.

Le vrai risque : additionner les occasions de se tromper

Un test qui compare une seule métrique entre deux variantes porte un risque de faux positif d’environ 5 % au seuil de 95 %. Mais peu de marketeurs s’arrêtent à une seule comparaison : on regarde le taux de conversion global, puis sur mobile, puis sur desktop, puis chez les visiteurs venus de Google Ads, puis le taux de clic sur le CTA en plus du taux de conversion final. Chacune de ces lectures est une nouvelle occasion pour le hasard de produire un résultat qui a l’air significatif. Le risque global de voir apparaître au moins un faux « gagnant » grimpe très vite, bien au-delà des 5 % affichés sur la lecture qui vous a convaincu.

Ce phénomène — connu sous le nom de researcher degrees of freedom, la liberté de choisir après coup quelle métrique ou quel sous-groupe regarder — est documenté avec précision par une étude de Joseph Simmons, Leif Nelson et Uri Simonsohn, publiée en 2011 dans Psychological Science. Leurs simulations montrent que combiner plusieurs choix flexibles pourtant anodins pris isolément — ajouter quelques observations, tester deux ou trois découpages de sous-groupes, essayer une métrique alternative — fait grimper le taux réel de faux positifs très largement au-dessus du seuil nominal de 5 % affiché par les outils. Autrement dit : ce n’est pas parce que chaque test individuel respecte les règles que l’ensemble de vos lectures reste fiable.

La comparaison multiple a un prix — et une correction

Ce problème n’est pas propre au marketing : les statisticiens le connaissent depuis longtemps sous le nom de comparaison multiple. La solution n’est pas d’ignorer le risque, mais de relever la barre à mesure qu’on multiplie les lectures. Une étude de référence de Yoav Benjamini et Yosef Hochberg, publiée en 1995 dans le Journal of the Royal Statistical Society, propose une méthode encore utilisée aujourd’hui pour contrôler le taux de fausses découvertes lorsqu’on teste plusieurs hypothèses à la fois : au lieu d’exiger un seuil fixe de 5 % pour chaque comparaison prise isolément, on ajuste le seuil exigé en fonction du nombre de comparaisons effectuées. Vous n’avez pas besoin d’implémenter la formule vous-même — l’idée à retenir est plus simple : si vous regardez plusieurs métriques ou plusieurs segments dans le même test, exigez un écart plus net qu’au global avant de croire un résultat isolé sur l’un d’eux.

95 % de confiance n’est pas la même chose qu’un gain business

Un résultat peut être statistiquement significatif — le hasard seul l’explique difficilement — sans être intéressant à mettre en production. Avec suffisamment de trafic, un écart de 0,2 point de taux de conversion peut franchir n’importe quel seuil de signification tout en représentant un gain négligeable une fois rapporté au chiffre d’affaires ou au temps de développement nécessaire pour généraliser le changement. À l’inverse, un test arrêté trop tôt peut manquer un vrai gain simplement faute d’échantillon suffisant — voir notre article sur la taille d’échantillon nécessaire pour un test fiable. Le seuil de signification répond à la question « ce résultat est-il du bruit ? ». Il ne répond pas à la question « ce résultat vaut-il la peine d’être déployé ? » — celle-ci se tranche en chiffrant le gain attendu, pas en lisant un pourcentage.

Quel seuil retenir concrètement selon vos enjeux

Il n’existe pas un seuil universel « correct » — le bon niveau dépend de ce que coûte une erreur si vous vous trompez. Trois repères pratiques pour une petite structure qui n’a ni statisticien maison ni volumes de trafic massifs.

Les règles pratiques, dans l’ordre

1. Fixer le seuil de confiance avant de lancer le test, en fonction de l’enjeu du changement (voir le tableau ci-dessus) — jamais après coup selon ce qui « a l’air significatif ».
2. Choisir une seule métrique principale pour trancher le test ; les autres métriques restent informatives, pas décisionnelles.
3. Si vous regardez des segments (mobile vs desktop, source de trafic), exiger un écart plus net sur un segment isolé qu’au global avant d’en tirer une conclusion.
4. Ne jamais confondre un résultat significatif avec un résultat qui vaut la peine d’être déployé : chiffrer le gain business avant de généraliser.
5. Respecter la durée et l’échantillon fixés à l’avance — voir notre article sur la durée d’un A/B test — plutôt que de s’arrêter au premier résultat flatteur.
6. En cas de doute sur un résultat surprenant, le revérifier avant de le croire, comme le recommande la discipline des tests menés à grande échelle.

La rigueur n’est pas un luxe de grande entreprise

Un seuil de confiance mal compris donne une fausse impression de certitude — et rien n’est plus coûteux qu’une décision de landing page prise sur un mirage statistique, puis généralisée à toute votre acquisition. Fixez le seuil avant de lancer, limitez le nombre de comparaisons qui comptent réellement pour la décision, et distinguez signification statistique et intérêt business. Si vous manquez encore de méthode pour prioriser quoi tester en premier, notre guide sur comment prioriser ses A/B tests complète cet article. Et pour éviter de tester des défauts déjà connus, les 10 templates LanderKit (89 € l’unité, 229 € le pack complet) partent d’une structure déjà éprouvée — formulaire court, preuve sociale bien placée, promesse visible — pour que vos tests portent sur de vraies hypothèses plutôt que sur des évidences.