Combien de temps faire durer un A/B test sur une landing page ?

Vous avez lancé votre premier test en suivant notre guide de l'A/B test appliqué à une landing page. Trois jours plus tard, la variante B est devant, l'outil affiche un joli pourcentage vert, et la tentation est immense de déclarer un gagnant et de passer à autre chose. C'est précisément à ce moment-là que la plupart des tests se sabordent. La durée d'un A/B test n'est pas un détail d'exécution : c'est elle qui décide si votre résultat est une information ou un mirage. Cet article détaille les quatre erreurs qui raccourcissent artificiellement les tests, puis les règles pratiques pour fixer une durée et un échantillon avant de lancer quoi que ce soit.

L'erreur numéro un : arrêter le test dès qu'une variante « passe devant »

Ce réflexe porte un nom : le peeking — regarder les résultats en continu et s'arrêter au premier moment où l'écart semble significatif. Le problème est mécanique : au tout début d'un test, les résultats oscillent énormément, simplement parce que chaque conversion individuelle pèse lourd sur un petit échantillon. Une variante peut afficher un avantage spectaculaire le mardi et l'avoir entièrement perdu le vendredi, sans que rien n'ait changé sur la page. En vérifiant tous les jours et en vous arrêtant au premier écart flatteur, vous sélectionnez précisément les moments où le hasard vous raconte l'histoire que vous aviez envie d'entendre.

Ce n'est pas une vue de l'esprit. Une étude de Ron Kohavi, Alex Deng, Brian Frasca, Roger Longbotham, Toby Walker et Ya Xu, publiée en 2012 à la conférence KDD, passe en revue des expérimentations réelles menées chez Microsoft et sur Bing, et documente une série de résultats déconcertants : des tests qui semblent gagnants au départ puis s'inversent avec le temps, des effets qui s'estompent au fil des jours, des conclusions qui changent du tout au tout selon le moment où l'on regarde. La leçon centrale des auteurs est simple : une expérience en ligne doit courir assez longtemps pour que ces effets transitoires se dissipent, faute de quoi on prend des décisions sur du bruit.

L'effet de nouveauté : quand la variante gagne juste parce qu'elle est nouvelle

Parmi les phénomènes décrits par Kohavi et ses collègues figure l'effet de nouveauté : vos visiteurs récurrents remarquent le changement — un bouton d'une autre couleur, un bloc déplacé — et interagissent davantage avec, simplement parce que c'est nouveau. Cet enthousiasme retombe une fois l'habitude installée, et l'avantage mesuré les premiers jours retombe avec lui. L'effet inverse existe aussi : une modification pourtant meilleure peut sous-performer au début, le temps que les habitués s'y réajustent. Dans les deux cas, la conclusion est la même — les premiers jours d'un test sont les moins fiables, et c'est exactement là que le peeking vous fait décider.

Raisonner en semaines complètes, jamais en jours

Le trafic d'une landing page n'est pas homogène dans la semaine : le visiteur du lundi matin, qui compare des offres depuis son bureau, ne se comporte pas comme celui du samedi soir sur son téléphone. Si votre test démarre un mercredi et s'arrête un lundi, vous avez comparé vos variantes sur un mélange déséquilibré de ces populations. La règle pratique est simple : une durée de test se compte en semaines complètes — du lundi au dimanche — pour que chaque variante voie chaque type de journée le même nombre de fois. Une à deux semaines pleines constituent le plancher raisonnable pour la plupart des landing pages ; en dessous d'un cycle hebdomadaire complet, votre échantillon est structurellement biaisé, quel que soit son volume.

La taille d'échantillon se calcule avant de lancer, pas pendant

Il n'existe pas de chiffre magique universel — « il faut X visiteurs » est un mythe, parce que le volume nécessaire dépend de votre taux de conversion de départ et de l'ampleur de l'effet que vous cherchez à détecter. Détecter une petite amélioration sur une page qui convertit déjà peu demande énormément de trafic ; détecter un gros écart sur une page à fort taux en demande beaucoup moins. La bonne pratique : passer par un calculateur de taille d'échantillon avant de lancer le test (la plupart des outils d'A/B testing en intègrent un), y entrer votre taux de conversion actuel et l'amélioration minimale qui justifierait le changement, et noter le nombre de visiteurs requis par variante. Ce chiffre, fixé à l'avance, devient votre condition d'arrêt — pas la courbe du jour. Si vous ne connaissez pas votre taux de départ, commencez par le mesurer proprement : notre article sur le taux de conversion moyen d'une landing page explique comment situer le vôtre.

Cette discipline — hypothèse, taille d'échantillon, durée, puis seulement lecture des résultats — n'est pas une coquetterie académique. Dans un second article publié à KDD en 2013, « Online Controlled Experiments at Large Scale », Kohavi et ses collègues décrivent comment les grandes plateformes ont industrialisé leurs tests en ligne : ce qui rend les résultats exploitables à grande échelle, ce n'est pas la sophistication des outils, c'est la rigueur statistique imposée à chaque expérience — conditions d'arrêt définies à l'avance, durées respectées, résultats surprenants revérifiés avant d'être crus. Un marketeur solo n'a pas leurs volumes, mais la méthode se transpose telle quelle.

Les règles pratiques, dans l'ordre

1. Formuler l'hypothèse et choisir une seule modification à tester (voir le guide complet de l'A/B test).
2. Estimer la taille d'échantillon nécessaire avant le lancement, avec un calculateur de test statistique, à partir de votre taux de conversion actuel et de l'effet minimal recherché.
3. Fixer la durée en semaines complètes : au minimum un cycle hebdomadaire entier, idéalement deux, même si l'échantillon est atteint plus tôt.
4. Ne pas regarder les résultats tous les jours — ou, si vous ne pouvez pas vous en empêcher, ne rien décider avant la fin prévue.
5. Se méfier des premiers jours : un écart spectaculaire immédiat est plus souvent un effet de nouveauté qu'une vraie victoire.
6. Si le résultat final est surprenant, le revérifier (relancer le test) plutôt que le croire sur parole.

Et si vous n'avez pas assez de trafic ?

C'est la situation réelle de beaucoup de coachs, formateurs et petites agences : quelques centaines de visiteurs par mois, pas quelques dizaines de milliers. À ce volume, détecter une amélioration modeste demanderait des mois de test — autant le dire, ce n'est pas un usage raisonnable de votre temps. Trois options s'offrent à vous, par ordre de préférence.

• Tester des changements tranchés plutôt que des retouches. Un gros écart entre variantes (une promesse entièrement réécrite, une structure de page différente) se détecte avec beaucoup moins de trafic qu'un changement de couleur de bouton. Peu de trafic = tests radicaux ou pas de test.
• Corriger d'abord les problèmes évidents, sans test. Une promesse incompréhensible en 5 secondes, un formulaire à neuf champs, une page illisible sur mobile n'ont pas besoin d'un A/B test pour être corrigés : le test des 5 secondes et notre liste de leviers pour augmenter le taux de conversion suffisent à prioriser.
• Remplacer le test quantitatif par de l'observation qualitative. Une heatmap et quelques enregistrements de sessions montrent où les visiteurs bloquent, avec dix fois moins de trafic qu'un A/B test.

Récapitulatif : les quatre pièges et leurs parades

La durée n'est pas le problème, l'impatience oui

Un A/B test bien mené n'est pas long parce que la méthode serait lourde : il est long parce que la réalité met du temps à se distinguer du bruit. Fixez l'échantillon avant, comptez en semaines complètes, méfiez-vous des victoires du troisième jour — et acceptez qu'avec peu de trafic, l'amélioration directe bat souvent l'expérimentation. C'est aussi pour cela que partir d'une structure déjà éprouvée change la donne : les 10 templates LanderKit (89 € l'unité, 229 € le pack complet) intègrent d'emblée les fondamentaux — promesse visible, formulaire court, preuve sociale placée au bon endroit — pour que vos tests portent sur de vraies hypothèses, pas sur la correction de défauts évidents.