« Tu as changé le bouton, on est passés de 2,1 % à 3,4 % de clics. » C'est ce que m'a dit une collègue un mardi matin, en agitant un tableau Excel qui ressemblait à un champ de bataille. Sauf que le bouton n'était pas la seule chose qui avait changé cette semaine-là : on avait aussi déplacé le formulaire, raccourci le titre et changé la photo. Résultat : on ne savait pas ce qui avait produit l'effet. On a fêté une victoire qui n'existait peut-être pas.

Voilà le vrai problème de l'ab test. Tout le monde connaît le principe. Presque personne ne le pratique correctement. Et c'est précisément pour ça que je vois encore, sur des sites à fort trafic, des décisions majeures prises sur la base d'un test arrêté au bout de trois jours parce que « ça avait l'air de marcher ».

Je vais vous expliquer comment faire un ab test qui tient debout, ce qui le distingue d'un simple « changement qu'on regarde », et pourquoi la plupart des tests que je vois passer ne valent rien — y compris certains des miens.

Points clés à retenir

  • Un ab test compare deux versions d'un même contenu diffusées auprès de deux échantillons de taille similaire, pour mesurer laquelle performe sur une métrique choisie à l'avance.
  • Il ne faut modifier qu'un seul élément à la fois — sinon on ne sait pas ce qui a causé le résultat.
  • La taille d'échantillon se calcule avant le test, jamais après. Et on ne regarde pas les résultats tous les matins.
  • Les outils (AB Tasty, les solutions intégrées aux CMS, les plateformes de test) ne remplacent pas la rigueur statistique.
  • Un test perdu n'est pas un échec : c'est une information. Un test mal fait, en revanche, coûte du temps et de la crédibilité.

C'est quoi, l'ab testing, quand on arrête de tourner autour du pot

L'ab testing (ou A/B testing, ou split testing) est une technique qui consiste à diffuser deux versions d'un même contenu — une page de destination, un e-mail, un call-to-action, une pub — auprès de deux échantillons d'audience de taille similaire, puis à comparer leurs performances respectives. On appelle ça aussi la comparaison A/B. C'est la définition de base, et elle est solide.

Ce que cette définition ne dit pas, et qui change tout : pourquoi on répartit le trafic de façon aléatoire. Le hasard n'est pas là pour faire joli. Il est là pour que les deux groupes soient statistiquement comparables. Si vous envoyez vos visiteurs les plus motivés sur la version A et les autres sur B, vous ne mesurez rien — vous racontez une histoire que vous avez vous-même écrite.

La différence avec un simple changement de page

Modifier une page, c'est une décision. Tester une page, c'est une expérience. La nuance paraît théorique jusqu'au moment où vous devez défendre votre choix devant quelqu'un qui n'est pas d'accord avec vous. « Je pense que le rouge convertit mieux » ne tient pas face à « la version B a fait 14 % de mieux sur 8 000 visiteurs ».

Et honnêtement, l'inverse est vrai aussi. Un test mal conçu vous donnera une fausse confiance, plus dangereuse encore que l'intuition.

Comment faire un ab test, étape par étape

La mise en place d'un test est facile. Bien le concevoir l'est beaucoup moins. Voici comment je procède maintenant, après avoir brûlé pas mal d'étapes.

Comment faire un ab test, étape par étape

Étape 1 : poser une hypothèse, pas une intuition

Une hypothèse doit être formulée avant de toucher au moindre pixel. Par exemple : « Si je réduis le formulaire de contact de cinq champs à trois, alors le taux d'envoi augmentera, parce que la friction perçue diminue. » Vous voyez la différence avec « je vais raccourcir le formulaire pour voir ». La première peut être fausse. La seconde ne veut rien dire.

Étape 2 : choisir une métrique, une seule

Un test = une métrique principale. Le taux de conversion, le taux d'inscription, le taux de clic, le panier moyen. Pas deux, pas trois. Vous pouvez suivre d'autres indicateurs à côté (temps passé, profondeur de scroll, rebond) pour comprendre le pourquoi, mais la décision se prend sur la métrique choisie à l'avance. Si vous attendez les résultats pour décider quelle métrique regarder, vous trouverez toujours une qui vous donne raison.

Étape 3 : calculer la taille d'échantillon et la durée

C'est l'étape que tout le monde saute, et c'est celle qui sépare un test d'un placebo. Trois notions à connaître, même approximativement :

  • La taille d'échantillon : de combien de visiteurs par variante vous avez besoin pour détecter une différence d'une ampleur donnée.
  • La puissance statistique : la probabilité de détecter un effet réel s'il existe. En dessous d'un certain seuil, votre test est myope.
  • La significativité : exprimée par une p-value ou un intervalle de confiance, elle indique à quel point la différence observée pourrait être due au hasard.

La majorité des calculateurs en ligne font ça très bien, gratuitement. Vous entrez votre taux de conversion de départ, l'amélioration minimale que vous jugez intéressante, et vous obtenez un nombre de visiteurs par branche, puis une durée à votre rythme de trafic. Un test qui dure trois jours sur 400 visiteurs ne prouve rien. Il produit du bruit, et vous en tirez une conclusion.

Deuxième règle, aussi importante : on fixe la durée avant, et on ne l'arrête pas dès qu'un chiffre nous plaît. Ce comportement a un nom — le peeking — et il fausse mécaniquement le résultat. Si vous regardez dix fois, vous finirez par tomber sur un moment où la version B est devant. Ça ne veut pas dire qu'elle est meilleure.

Étape 4 : choisir l'outil et segmenter

Côté outillage, il y a grosso modo trois familles : les plateformes dédiées (dont AB Tasty fait partie), les modules de test intégrés aux CMS et aux suites marketing, et les solutions d'analyse qui permettent de monter un test soi-même. Le choix dépend surtout de votre volume de trafic et de votre besoin de personnalisation. Une petite structure avec 3 000 visiteurs mensuels n'a pas besoin d'un outil d'entreprise — elle a besoin d'un test bien dimensionné.

La segmentation, ensuite. Un test global peut cacher des effets opposés : la version B gagne sur mobile, perd sur desktop, et le résultat total est nul. Segmenter par appareil, par source de trafic ou par ancienneté de visiteurs vous évite de passer à côté. Mais attention — segmenter, c'est multiplier les comparaisons, donc augmenter le risque de trouver une différence qui n'existe pas.

Étape 5 : analyser et surtout, décider

À la fin, trois issues possibles : B gagne, A gagne, ou aucune différence détectable. La troisième est la plus fréquente et la moins racontée. Un test sans différence n'est pas un échec — c'est un résultat qui vous dit que votre hypothèse ne tient pas, et que le levier n'était pas là.

J'ai arrêté de compter les tests que j'ai lancés sur des titres de page en pensant changer la donne. Sur une trentaine de tests menés sur un même site au fil des mois, la grande majorité n'a produit aucune différence significative, et une poignée seulement a bougé la métrique d'au moins 10 %. Les gains venaient presque toujours du parcours, pas de la couleur du bouton.

Un exemple concret d'ab testing, et ce qu'il m'a appris

Une page d'inscription à une newsletter : formulaire à quatre champs, bouton discret, aucune preuve sociale. Hypothèse : « Si je réduis à deux champs (email + prénom) et que j'ajoute une mention du nombre d'abonnés, le taux d'inscription augmentera. »

Un exemple concret d'ab testing, et ce qu'il m'a appris

J'ai fait deux erreurs d'un coup. D'abord, j'ai changé deux éléments simultanément — la longueur du formulaire et la preuve sociale. Ensuite, j'ai regardé les résultats tous les deux jours pendant la première semaine. Évidemment, la version B était devant au bout de quatre jours. J'ai poussé la version B en production. Deux mois plus tard, le taux d'inscription global était revenu au niveau de départ.

La leçon : ce que j'avais mesuré, ce n'était probablement pas l'effet du formulaire. C'était un effet de nouveauté — les visiteurs réagissent différemment à une page qui vient de changer, avant de revenir à leurs habitudes. En arrêtant trop tôt, j'avais capturé exactement la période où le chiffre ment.

Les erreurs qui tuent un ab test (et comment les éviter)

La liste est longue, mais certaines reviennent beaucoup plus que d'autres.

Les erreurs qui tuent un ab test (et comment les éviter)
  • Tester trop de choses à la fois. Si plusieurs variables changent, vous mesurez un paquet, pas un effet.
  • Arrêter dès qu'un chiffre plaît. Le peeking fausse tout. Fixez la durée, tenez-la.
  • Ignorer la saisonnalité. Un test lancé pendant une période de soldes ou de fêtes ne se généralise pas au reste de l'année.
  • Oublier les tests multiples. Cinq variantes comparées à une référence, ce n'est pas cinq tests indépendants : il faut corriger le seuil de significativité.
  • Confondre significativité et importance. Une différence statistiquement significative sur 0,2 point de conversion ne justifie pas forcément un chantier.

Et un piège plus discret, celui dont on parle rarement : la question du consentement. Un test qui répartit les visiteurs entre deux versions manipule leur expérience et dépose souvent des cookies pour mesurer. Selon votre cadre et votre public, cela implique de vérifier la base légale et l'information donnée aux visiteurs. Ce n'est pas un détail technique à traiter après coup.

Les questions qu'on me pose souvent

Qu'est-ce que la méthode A/B ?

C'est le protocole derrière le test : on isole un seul critère, on en fait deux versions, on répartit aléatoirement un échantillon comparable sur chacune, on mesure une métrique définie à l'avance, et on compare. La méthode tient entièrement dans ce mot : isoler. Dès que vous changez deux choses, vous quittez la méthode A/B pour entrer dans le bricolage.

Qu'est-ce que le test ABTest Card ?

Vous avez peut-être croisé ce terme en cherchant des outils. Il ne correspond pas à une méthode d'expérimentation reconnue ni à un protocole standard. Dans la pratique, il s'agit d'une dénomination rattachée à un produit ou à un module de test particulier, pas d'un concept à part. Si quelqu'un vous vend « la méthode ABTest Card » comme une approche universelle, méfiance : la seule chose qui compte reste le protocole décrit plus haut.

Peut-on faire un ab test sur YouTube ?

Oui, et c'est même l'un des terrains les plus accessibles — mais avec une limite. La plateforme permet de tester des miniatures et des titres sur des vidéos, en présentant plusieurs variantes à des portions d'audience, puis en retenant celle qui obtient le meilleur taux de clic. C'est un vrai test, avec une réserve : les spectateurs ne sont pas également répartis dans le temps, et la performance d'une miniature dépend beaucoup du contexte de recommandation. Un résultat obtenu en pleine période de forte actualité ne se transpose pas forcément à un mois calme.

Choisir sa façon de tester : ce qui change vraiment

Trois approches, trois niveaux d'exigence. Le tableau ci-dessous résume ce que j'ai constaté en pratique.

Approche Ce que ça mesure Limite principale Pour qui
Changement simple sans test Rien de comparable Aucune attribution possible À éviter pour toute décision structurante
Module de test intégré au CMS ou à la suite marketing Une variante contre une référence, sur une métrique Segmentation et puissance limitées selon les volumes Sites à trafic modéré
Plateforme dédiée (type AB Tasty) Variantes multiples, segmentation fine, analyses statistiques Coût, complexité, nécessite un vrai propriétaire du sujet Équipes avec trafic élevé et cycle de test régulier

Ce qui reste, une fois le test terminé

Un ab test ne vous dit jamais « cette page est meilleure ». Il vous dit « sur cette population, à cette période, avec cette métrique, la version B a fait mieux ». C'est moins glorieux, et c'est infiniment plus utile. La prochaine fois que quelqu'un vous annonce fièrement une hausse de conversion après un changement de bouton, posez une seule question : « Vous aviez calculé la taille d'échantillon avant ? » La réponse vous dira tout.

Et si elle est « non », ne jetez pas la personne aux orties. Proposez-lui de refaire le test, proprement, cette fois. C'est comme ça qu'on apprend — moi le premier.