Bandit manchot ou A/B test classique : quelle méthode pour tester une landing page pilotée par des ads

Un A/B test classique répartit le trafic 50/50 entre deux variantes du début à la fin, même si l’une des deux se révèle nettement moins bonne dès les premiers jours. C’est un choix délibéré, pas un défaut de conception : cette répartition fixe garantit que l’échantillon final permette une comparaison statistique propre. Mais elle a un coût direct quand le trafic testé vient d’une campagne Google Ads ou Meta Ads payée au clic — chaque visiteur envoyé vers la variante perdante pendant les trois ou quatre semaines que dure le test est une conversion perdue, payée au prix fort. L’algorithme de bandit manchot (multi-armed bandit) part d’un problème différent : plutôt que d’attendre la fin du test pour agir, il déplace progressivement le trafic vers la variante qui gagne, pendant que le test tourne encore.

L’analogie qui donne son nom à la méthode

Le nom vient d’un joueur de casino face à plusieurs machines à sous (des « bandits manchots »), dont les taux de gain diffèrent sans qu’il le sache à l’avance. À chaque pièce insérée, il doit choisir : rejouer la machine qui a déjà bien payé (exploiter ce qu’il sait), ou tester une autre machine pour vérifier si elle ne paierait pas mieux (explorer l’inconnu). Trop d’exploitation précoce risque de rater la meilleure machine ; trop d’exploration gaspille des pièces sur des machines déjà connues comme mauvaises. Une landing page avec deux ou trois variantes pose exactement le même arbitrage : chaque visiteur envoyé vers une variante est une « pièce » qui rapporte une conversion ou non, et il faut décider en temps réel comment répartir les visiteurs suivants entre ce qui semble déjà gagner et ce qui reste à vérifier.

Ce que change un algorithme de bandit face à un A/B test à répartition fixe

Un A/B test classique fige la répartition du trafic (50/50, ou toute proportion choisie) pour toute la durée du test, et ne tranche qu’à la fin, une fois le seuil de signification statistique atteint — la logique complète est détaillée dans notre guide de la signification statistique. Un algorithme de bandit, lui, recalcule en continu — après chaque poignée de visiteurs, parfois après chaque conversion — la probabilité que chaque variante soit la meilleure, et ajuste la part de trafic envoyée à chacune en conséquence. Steven Scott, statisticien chez Google, décrit dans « A Modern Bayesian Look at the Multi-Armed Bandit », publié en 2010 dans Applied Stochastic Models in Business and Industry (voir sur Google Scholar), la méthode la plus répandue pour cet arbitrage : le Thompson sampling (ou randomized probability matching), qui tire aléatoirement une estimation du taux de conversion de chaque variante à partir de ce qui a déjà été observé, et envoie le prochain visiteur vers celle dont l’estimation tirée est la plus haute. Une variante qui déçoit voit sa part de trafic diminuer progressivement, sans jamais tomber brutalement à zéro tant que l’incertitude n’est pas levée — le mécanisme reste probabiliste, pas un couperet binaire.

Le compromis « apprendre et gagner » dans un contexte publicitaire

Eric Schwartz, Eric Bradlow et Peter Fader, dans « Customer Acquisition via Display Advertising Using Multi-Armed Bandit Experiments », publié en 2017 dans Marketing Science (voir sur Google Scholar), étudient précisément ce terrain : des annonceurs qui doivent répartir des impressions publicitaires entre plusieurs créations sans connaître à l’avance laquelle acquiert le plus de clients, tout en cherchant simultanément à apprendre et à ne pas trop perdre pendant l’apprentissage — l’arbitrage dit « learn-and-earn ». Leurs travaux montrent qu’une approche de bandit correctement calibrée réduit le coût d’acquisition par rapport à un test à répartition fixe, précisément parce qu’elle limite le volume envoyé vers les créations qui se révèlent mauvaises tôt dans le test. C’est exactement la situation d’une landing page alimentée par une campagne Meta Ads ou Google Ads : le budget publicitaire est la ressource rare, et chaque visiteur envoyé vers la variante perdante en pleine phase de test a un coût réel, pas seulement une conversion manquée.

Quand le bandit prend l’avantage sur l’A/B test classique

• Campagne à durée limitée : un lancement, une offre à échéance fixe, un webinaire dont la date d’inscription se ferme dans deux semaines — le temps disponible pour apprendre est court, et chaque visiteur mal alloué ne se rattrape pas après coup. Notre template webinaire & masterclass (démo) illustre bien ce cas : la fenêtre d’inscription se ferme, il n’y a pas de « prochaine fois » pour rattraper le trafic mal réparti pendant le test.
• Trafic payant au clic : quand chaque visiteur a un coût direct (Google Ads, Meta Ads), réduire le volume envoyé vers la variante perdante pendant le test se traduit directement en budget publicitaire économisé, comme le montrent Schwartz, Bradlow et Fader.
• Plus de deux variantes à comparer : un A/B test classique perd rapidement en puissance statistique dès qu’on ajoute des variantes (le trafic se dilue d’autant), alors qu’un bandit continue de converger vers les meilleures sans nécessiter un plan d’échantillon distinct par variante.
• Décisions fréquentes et à faible enjeu : tester en continu plusieurs visuels d’annonce ou d’en-tête sur une page à fort volume, où une décision légèrement sous-optimale aujourd’hui se corrige d’elle-même demain.

Quand l’A/B test classique reste le bon choix

• Une décision permanente et structurante : changer durablement l’architecture de la page, son prix affiché ou son argumentaire central mérite une conclusion statistiquement propre plutôt qu’une convergence probabiliste — voir notre guide complet de l’A/B test.
• Un trafic qui varie dans le temps : la plupart des algorithmes de bandit supposent un taux de conversion stable pendant le test ; si le trafic change de nature en cours de route (nouvelle source, saisonnalité, jour de semaine vs week-end), le bandit peut sur-allouer une variante qui gagnait temporairement pour de mauvaises raisons — un biais que le cadre statistique classique gère mieux en fixant la durée à l’avance.
• Peu de trafic disponible : sous quelques milliers de visiteurs mensuels, ni le bandit ni l’A/B test classique n’ont assez de données pour converger vite — les alternatives qualitatives détaillées dans notre article A/B tester sans trafic restent plus rentables.
• Besoin de justifier un choix a posteriori : un rapport d’A/B test avec un p-value et un intervalle de confiance se documente et se défend devant une direction ou un client ; une convergence de bandit se raconte moins facilement en une phrase.

Ce que ça implique concrètement pour une petite structure

Peu d’outils grand public proposent un vrai bandit manchot configurable pour une landing page isolée — la plupart des plateformes d’expérimentation historiquement accessibles aux petites structures (Google Optimize en tête) ont fermé, et les solutions qui restent (VWO, Convert) réservent souvent l’allocation dynamique à leurs offres les plus chères. Deux options réalistes existent malgré tout. La première : s’appuyer sur l’optimisation déjà intégrée aux régies publicitaires elles-mêmes — Meta Ads et Google Ads réallouent automatiquement le budget entre plusieurs créations publicitaires selon un principe très proche du bandit, ce qui couvre déjà une partie du problème sans outil supplémentaire côté landing page. La seconde : pour la page elle-même, rester sur un A/B test classique correctement dimensionné (voir combien de visiteurs il faut et combien de temps le faire tourner), et limiter le nombre de variantes testées simultanément pour ne pas diluer un trafic qui, de toute façon, ne justifie pas encore l’infrastructure d’un bandit sur mesure.

Quelle que soit la méthode, elle ne compense jamais une variante mal conçue au départ. Nos 10 templates LanderKit (89 € l’unité, 229 € le pack complet) partent d’une structure de conversion déjà éprouvée, pour que le test — bandit ou classique — porte sur de vrais points de décision (angle, preuve sociale, offre) plutôt que sur des défauts de structure qu’un test, quel qu’il soit, aurait de toute façon fini par révéler. C’est particulièrement vrai sur une page mono-produit comme e-commerce produit (démo), typiquement alimentée par du trafic publicitaire payant où chaque visiteur mal réparti pendant un test a un coût direct.