Calculatrices
Calculateur de significativité de test A/B
Vérifiez si le résultat de votre test A/B est statistiquement significatif et planifiez le nombre de visiteurs nécessaire.
- Hausse relative
- +14,00 %
- Valeur p
- 0,0278
- Score z
- 2,2
- Confiance atteinte
- 97,2 %
Intervalle de confiance à 95 % pour la différence absolue de taux de conversion (B − A) : de +0,08 % à +1,32 %.
À quoi sert cet outil ?
La variante B a-t-elle vraiment gagné, ou la différence n’est-elle que du bruit ? Saisissez visiteurs et conversions de chaque version pour obtenir les taux de conversion, la hausse relative, la valeur p et un verdict clair au niveau de confiance choisi. Vous préparez un test ? Le calcul de taille d’échantillon vous dit combien de visiteurs et de jours il faut.
La significativité repose sur un test z de deux proportions avec erreur type groupée, la méthode standard pour comparer des taux de conversion. Un résultat est significatif quand la valeur p est inférieure à 1 − confiance, par exemple sous 0,05 à 95 %.
Les tailles d’échantillon utilisent l’approximation normale pour deux proportions à la puissance choisie (80 % par défaut). Fixez la taille à l’avance et n’arrêtez pas dès qu’un résultat semble significatif — regarder trop souvent gonfle les faux positifs.
Comment utiliser l’outil Calculateur de test A/B
- Saisissez le nombre de visiteurs et de conversions pour A (contrôle) et B (variante).
- Choisissez un niveau de confiance (95 % est la norme) et un test bilatéral ou unilatéral.
- Lisez le verdict, la hausse, la valeur p et l’intervalle de confiance de la différence.
- Avant un test, ouvrez Taille d’échantillon : saisissez le taux de référence, la plus petite hausse utile et le trafic quotidien pour estimer la durée.
Exemples
Une victoire significative
A: 10,000 visitors, 500 conversions B: 10,000 visitors, 600 conversions
Uplift +20% · p ≈ 0.002 · significant at 95%
Questions fréquentes
Quel niveau de confiance utiliser ?
95 % est la valeur habituelle. Prenez 99 % quand une mauvaise décision coûterait cher, ou 90 % pour des expériences rapides et peu risquées.
Unilatéral ou bilatéral ?
Le test bilatéral détecte une différence dans les deux sens et reste le choix le plus sûr. L’unilatéral ne demande que si B est meilleur, exige moins de visiteurs, mais ne vous dira pas si B est pire.
Qu’est-ce que l’effet minimal détectable ?
La plus petite amélioration relative que vous voulez détecter. Les petits effets demandent beaucoup plus de visiteurs : diviser l’effet par deux multiplie environ l’échantillon par quatre.
Mon test n’est pas significatif. Et maintenant ?
Soit la différence est trop faible pour compter, soit il faut plus de données. Utilisez le calcul de taille d’échantillon pour savoir combien de visiteurs il faut pour l’effet attendu.
Besoin de plus de puissance plus tard ?
Des outils premium, des limites plus élevées et un accès API sont prévus. La V1 reste gratuite et privée dans votre navigateur.