Icône Calculateur de significativité A/B BestMKT Outils

Calculateur de significativité A/B

Niveau de confiance
Type de test

Bilatéral : vérifie si A et B sont différents dans les deux directions. Unilatéral : vérifie uniquement si la variante B est meilleure que A.

Variante A — Contrôle

Taux de conversion A : —

Variante B — Variante

Taux de conversion B : —

Taux A
—
Taux B
—
Écart absolu
—
Amélioration relative
—
—
Renseignez les visiteurs et conversions des variantes A et B pour analyser votre test.
Exemples rapides
Comment fonctionne le test ?

Test z sur deux proportions :
Proportion groupée = (conversions A + conversions B) ÷ (visiteurs A + visiteurs B)
z = (taux B – taux A) ÷ erreur standard
La p-value indique la probabilité d’observer une différence au moins aussi grande si A et B étaient en réalité identiques.

Un résultat significatif à 95 % ne signifie pas qu’il y a 95 % de chances que B gagne, ni que B est définitivement meilleure.

À savoir

La significativité statistique ne garantit pas que le résultat est commercialement important, que le test était correctement conçu, qu’il a duré suffisamment longtemps, que la répartition du trafic était correcte, ni qu’il se reproduira. L’outil analyse uniquement les chiffres saisis.

🔒 Vos données restent dans votre navigateur. Aucune information n’est envoyée ou enregistrée.

Vous souhaitez savoir si la différence observée entre deux variantes est réellement significative ? Ce calculateur de significativité A/B vous permet d’analyser rapidement un test A/B à partir du nombre de visiteurs et de conversions de chaque variante.

L’outil calcule automatiquement les taux de conversion, l’écart absolu, l’amélioration relative, le z-score et la p-value. Vous pouvez ainsi vérifier si la différence entre la variante A et la variante B est statistiquement significative au niveau de confiance choisi.

Le calcul s’effectue directement dans votre navigateur, sans inscription et sans envoyer aucune donnée vers un serveur.

Comment calculer la significativité d’un test A/B

Pour comparer deux variantes, renseignez pour chacune :

  • le nombre de visiteurs ;
  • le nombre de conversions.

Le calculateur détermine ensuite le taux de conversion de chaque variante.

Par exemple :

Variante A
10 000 visiteurs
500 conversions
Taux de conversion : 5,00 %

Variante B
10 000 visiteurs
575 conversions
Taux de conversion : 5,75 %

L’écart absolu est de :

+0,75 point de pourcentage

L’amélioration relative est de :

+15,00 %

L’outil analyse ensuite si cette différence est suffisamment importante par rapport à la taille de l’échantillon pour être considérée comme statistiquement significative.

Comment utiliser le calculateur de test A/B

Cet outil de significativité statistique fonctionne en quelques étapes simples :

  • Renseignez les données de la variante A : visiteurs et conversions.
  • Ajoutez les données de la variante B : visiteurs et conversions.
  • Choisissez votre niveau de confiance : 90 %, 95 % ou 99 %.
  • Consultez le résultat : le calculateur affiche immédiatement la p-value et indique si le résultat est statistiquement significatif.

Vous pouvez également choisir entre un test bilatéral et un test unilatéral selon votre hypothèse.

Qu’est-ce qu’un test A/B ?

Un test A/B consiste à comparer deux versions d’une même expérience afin de mesurer laquelle obtient les meilleurs résultats.

La variante A correspond généralement à la version actuelle ou au contrôle.

La variante B correspond à la nouvelle version testée.

Vous pouvez par exemple tester :

  • un titre ;
  • une landing page ;
  • un bouton ;
  • un formulaire ;
  • une offre ;
  • une publicité ;
  • un email ;
  • un checkout ;
  • une page produit ;
  • une interface.

L’objectif est de mesurer si la différence de performance observée est suffisamment importante pour ne pas être simplement due au hasard.

Qu’est-ce que la significativité statistique ?

La significativité statistique permet d’évaluer si une différence observée entre deux groupes est compatible avec une simple variation aléatoire.

Dans un test A/B, une variante peut afficher un meilleur taux de conversion sans que la différence soit statistiquement significative.

Par exemple :

Variante A : 5,00 %
Variante B : 5,10 %

La variante B semble meilleure, mais l’écart peut être trop faible par rapport à la taille de l’échantillon pour permettre une conclusion fiable.

La significativité statistique aide à distinguer une différence observée d’un signal suffisamment fort pour être détecté statistiquement.

Qu’est-ce que la p-value ?

La p-value est une mesure utilisée dans les tests statistiques.

Dans le cadre d’un test A/B classique, elle permet d’évaluer dans quelle mesure les résultats observés seraient compatibles avec l’hypothèse selon laquelle les deux variantes ont le même taux de conversion.

Plus la p-value est faible, plus les données observées sont difficiles à expliquer par cette hypothèse seule.

Par exemple, avec un niveau de confiance de 95 %, le seuil généralement utilisé est :

p < 0,05

Si la p-value est inférieure à 0,05, le résultat est considéré comme statistiquement significatif à ce seuil.

Que signifie un niveau de confiance de 95 % ?

Un niveau de confiance de 95 % correspond généralement à un seuil de significativité de 5 %.

Cela ne signifie pas qu’il existe 95 % de chances que la variante B soit meilleure.

Cette interprétation serait incorrecte.

Dans un test statistique classique, le niveau de confiance définit plutôt le seuil utilisé pour décider si l’écart observé est suffisamment incompatible avec l’hypothèse d’absence de différence.

Le calculateur propose :

  • 90 % ;
  • 95 % ;
  • 99 %.

Le niveau de 95 % constitue souvent un choix standard pour les tests A/B, mais le niveau approprié dépend du contexte et du risque d’erreur acceptable.

Test bilatéral ou unilatéral : quelle différence ?

Le calculateur permet de choisir entre deux types de test.

Test bilatéral

Le test bilatéral cherche à déterminer si les deux variantes sont différentes, quelle que soit la direction.

Il teste donc :

A ≠ B

C’est le choix recommandé par défaut pour la majorité des tests A/B.

Test unilatéral

Le test unilatéral vérifie une hypothèse directionnelle précise.

Par exemple :

B > A

Il peut être utilisé lorsque l’hypothèse a été clairement définie avant le début du test.

Il ne faut pas choisir un test unilatéral après avoir vu les résultats simplement pour obtenir plus facilement une significativité.

Comment calculer le taux de conversion d’un test A/B ?

Le taux de conversion de chaque variante est calculé avec :

Taux de conversion = Conversions ÷ Visiteurs × 100

Exemple pour la variante A :

500 conversions
10 000 visiteurs

500 ÷ 10 000 × 100 = 5 %

Pour la variante B :

575 conversions
10 000 visiteurs

575 ÷ 10 000 × 100 = 5,75 %

Ces taux constituent la base de la comparaison statistique.

Écart absolu et amélioration relative

Lorsque vous analysez un test A/B, il est important de distinguer deux types d’amélioration.

Écart absolu

Exemple :

A = 5,00 %
B = 5,75 %

L’écart absolu est :

+0,75 point de pourcentage

Amélioration relative

La formule est :

(Taux B - Taux A) ÷ Taux A × 100

Dans notre exemple :

(5,75 - 5,00) ÷ 5,00 × 100 = 15 %

La variante B affiche donc une amélioration relative de 15 %.

Ces deux valeurs décrivent la même évolution de deux manières différentes.

Pourquoi la taille de l’échantillon est importante

Une différence identique peut être significative avec un grand échantillon et non significative avec un petit échantillon.

Par exemple :

Test 1

A : 50 conversions sur 1 000
B : 55 conversions sur 1 000

et

Test 2

A : 5 000 conversions sur 100 000
B : 5 500 conversions sur 100 000

Les taux de conversion peuvent afficher une évolution similaire, mais le second test dispose de beaucoup plus de données.

Plus l’échantillon est important, plus l’estimation de la différence devient précise.

Pourquoi une meilleure variante n’est-elle pas toujours significative ?

Imaginez :

A : 5,00 %
B : 5,30 %

La variante B affiche de meilleures performances observées.

Mais si l’échantillon est faible, cette différence peut encore être compatible avec la variation aléatoire.

Il est donc important de distinguer :

Meilleure performance observée

et

Différence statistiquement significative

Le calculateur affiche ces éléments séparément afin d’éviter toute confusion.

Qu’est-ce que le z-score ?

Le z-score indique à combien d’erreurs standards la différence observée se situe par rapport à une différence nulle.

Un z-score proche de zéro indique une différence faible relativement à l’incertitude statistique.

Plus la valeur absolue du z-score est élevée, plus la différence observée est importante par rapport à cette incertitude.

Le z-score est ensuite utilisé pour calculer la p-value.

Pour la majorité des utilisateurs, la p-value et le statut de significativité restent toutefois plus faciles à interpréter.

Quelle méthode statistique utilise le calculateur ?

Le calculateur utilise un test z pour deux proportions.

Cette méthode compare les taux de conversion de deux groupes indépendants :

Variante A

et

Variante B

Elle est particulièrement adaptée à des métriques binaires telles que :

  • conversion / pas conversion ;
  • achat / pas achat ;
  • inscription / pas inscription ;
  • clic / pas clic ;
  • formulaire envoyé / pas envoyé.

L’outil calcule automatiquement les proportions, l’erreur standard, le z-score et la p-value.

Quand utiliser un calculateur de significativité A/B ?

Vous pouvez utiliser cet outil pour analyser de nombreux types d’expériences.

Landing pages

Comparez deux versions d’une page et mesurez laquelle génère davantage de conversions.

Ecommerce

Testez :

  • pages produit ;
  • checkout ;
  • promotions ;
  • boutons ;
  • prix affichés ;
  • éléments de réassurance.

Email marketing

Comparez deux variantes si vous disposez du nombre d’utilisateurs exposés et du nombre de conversions ou clics correspondant.

Publicité

Analysez deux créations ou audiences lorsque la métrique étudiée peut être représentée comme une proportion.

SaaS

Testez :

  • onboarding ;
  • inscription ;
  • activation ;
  • upgrade ;
  • fonctionnalités ;
  • paywalls.

Peut-on arrêter un test dès qu’il devient significatif ?

Il faut être prudent.

Vérifier constamment un test et l’arrêter dès que la p-value passe sous 0,05 peut augmenter le risque de conclusions erronées.

Idéalement, vous devez définir avant le test :

  • la métrique principale ;
  • la durée minimale ;
  • la taille d’échantillon ;
  • le niveau de confiance ;
  • l’hypothèse testée.

La significativité statistique ne doit pas être utilisée comme seul critère pour arrêter automatiquement une expérience.

Significativité statistique et importance business

Un résultat peut être statistiquement significatif sans être important pour votre activité.

Exemple :

A : 5,00 %
B : 5,03 %

Avec un échantillon extrêmement important, cette petite différence peut devenir statistiquement significative.

Mais l’impact business peut rester négligeable.

Il faut donc également considérer :

  • l’ampleur de l’amélioration ;
  • le chiffre d’affaires potentiel ;
  • les coûts d’implémentation ;
  • les risques ;
  • la complexité ;
  • l’impact à long terme.

Un résultat non significatif signifie-t-il que A et B sont identiques ?

Non.

Un résultat non significatif signifie simplement que les données actuelles ne fournissent pas suffisamment d’éléments pour détecter une différence au seuil choisi.

Cela peut arriver parce que :

  • la différence réelle est faible ;
  • l’échantillon est trop petit ;
  • la variabilité est importante ;
  • il n’existe effectivement pas de différence.

Il ne faut donc pas interpréter automatiquement un résultat non significatif comme une preuve que les variantes sont identiques.

Pourquoi éviter de tester trop de métriques ?

Si vous analysez un grand nombre de métriques ou de variantes simultanément, la probabilité d’obtenir au moins un résultat significatif par hasard augmente.

Avant de lancer votre test, il est préférable de définir une métrique principale.

Par exemple :

  • taux d’achat ;
  • taux d’inscription ;
  • taux d’activation ;
  • taux de génération de lead.

Les autres métriques peuvent servir d’indicateurs secondaires.

Les limites d’un calculateur de significativité A/B

Ce calculateur analyse uniquement les données que vous renseignez.

Il ne peut pas vérifier :

  • la qualité du trafic ;
  • la randomisation ;
  • les différences entre audiences ;
  • les problèmes de tracking ;
  • la saisonnalité ;
  • les changements de campagne ;
  • les effets externes ;
  • la durée du test ;
  • les biais liés à l’arrêt anticipé.

Un résultat statistiquement significatif ne garantit donc pas qu’un test a été correctement conçu.

Un calculateur A/B simple, gratuit et 100% privé

Ce calculateur de significativité statistique A/B respecte trois principes :

  • Gratuit : aucun paiement ou abonnement nécessaire.
  • Sans inscription : utilisez l’outil immédiatement sans créer de compte.
  • 100% privé : tous les calculs sont effectués localement dans votre navigateur.

Vos visiteurs, conversions et résultats ne sont pas envoyés vers un serveur et ne sont pas enregistrés.

FAQ

Comment savoir si un test A/B est statistiquement significatif ?

Comparez les taux de conversion des deux variantes à l’aide d’un test statistique adapté. Le calculateur utilise un test z pour deux proportions et calcule automatiquement la p-value.

Quelle p-value faut-il pour un test A/B ?

Avec un niveau de confiance de 95 %, le seuil couramment utilisé est p < 0,05.

Avec 90 %, le seuil est 0,10.

Et avec 99 %, le seuil est 0,01.

Que signifie une p-value inférieure à 0,05 ?

Cela indique que les données observées sont suffisamment incompatibles avec l’hypothèse d’absence de différence pour être considérées comme statistiquement significatives au seuil de 5 %.

Une confiance de 95 % signifie-t-elle que B a 95 % de chances de gagner ?

Non. Un niveau de confiance de 95 % dans un test fréquentiste ne signifie pas qu’il existe 95 % de chances que B soit meilleure.

Comment calculer l’uplift d’un test A/B ?

Utilisez :

Uplift = (Taux B - Taux A) ÷ Taux A × 100

Par exemple, passer de 5 % à 5,75 % correspond à une amélioration relative de 15 %.

Quelle différence entre uplift et points de pourcentage ?

Passer de 5 % à 6 % représente :

+1 point de pourcentage

mais :

+20 % d’amélioration relative

Les deux mesures sont différentes.

Quand utiliser un test bilatéral ?

Utilisez un test bilatéral lorsque vous souhaitez savoir si A et B sont différents dans l’une ou l’autre direction.

Quand utiliser un test unilatéral ?

Utilisez-le lorsque vous avez défini à l’avance une hypothèse directionnelle précise, par exemple vérifier uniquement si B est supérieure à A.

Pourquoi mon test n’est-il pas significatif alors que B convertit mieux ?

La différence observée peut être trop faible par rapport à la taille de votre échantillon. Davantage de données peuvent être nécessaires pour distinguer un effet réel de la variation statistique.

Combien de visiteurs faut-il pour un test A/B ?

Il n’existe pas de nombre universel. La taille nécessaire dépend du taux de conversion actuel, de l’amélioration minimale recherchée, du niveau de confiance et de la puissance statistique.

Peut-on avoir un résultat significatif avec une très petite amélioration ?

Oui. Avec un échantillon suffisamment grand, une petite différence peut devenir statistiquement significative. Il faut alors vérifier si l’impact est également important d’un point de vue business.

Ce calculateur A/B est-il gratuit ?

Oui. L’outil est entièrement gratuit et utilisable sans limite.

Mes données sont-elles enregistrées ?

Non. Tous les calculs sont effectués directement dans votre navigateur. Aucune donnée saisie n’est envoyée ou stockée.

Chaque outil BestMKT Outils suit les mêmes principes : simplicité, rapidité, gratuité et respect de votre vie privée.