Kalkulatory
Kalkulator istotności testów A/B
Sprawdź, czy wynik testu A/B jest istotny statystycznie, i zaplanuj, ilu odwiedzających potrzebuje test.
- Względny wzrost
- +14,00%
- Wartość p
- 0,0278
- Wynik z
- 2,2
- Osiągnięta ufność
- 97,2%
Przedział ufności 95% dla bezwzględnej różnicy współczynnika konwersji (B − A): od +0,08% do +1,32%.
Czym jest to narzędzie?
Czy wariant B naprawdę wygrał, czy to tylko przypadek? Wpisz odwiedzających i konwersje dla każdej wersji, aby poznać współczynniki konwersji, względny wzrost, wartość p i jasny werdykt przy wybranym poziomie ufności. Planujesz test? Kalkulator wielkości próby powie, ilu odwiedzających i dni potrzebujesz.
Istotność liczona jest testem z dla dwóch proporcji z łącznym błędem standardowym — standardową metodą porównywania współczynników konwersji. Wynik jest istotny, gdy wartość p jest mniejsza niż 1 − ufność, np. poniżej 0,05 przy 95%.
Wielkość próby korzysta z przybliżenia normalnego dla dwóch proporcji przy wybranej mocy (domyślnie 80%). Ustal wielkość próby z góry i nie przerywaj testu, gdy tylko wynik wygląda na istotny — częste zaglądanie zwiększa liczbę fałszywych alarmów.
Jak używać: Kalkulator testów A/B
- Wpisz liczbę odwiedzających i konwersji dla A (kontrola) i B (wariant).
- Wybierz poziom ufności (standardowo 95%) i test dwustronny lub jednostronny.
- Odczytaj werdykt, wzrost, wartość p i przedział ufności różnicy.
- Przed testem otwórz Wielkość próby: wpisz współczynnik bazowy, najmniejszy wzrost wart wykrycia i dzienny ruch, aby oszacować czas trwania.
Przykłady
Istotna wygrana
A: 10,000 visitors, 500 conversions B: 10,000 visitors, 600 conversions
Uplift +20% · p ≈ 0.002 · significant at 95%
Najczęstsze pytania
Jaki poziom ufności wybrać?
Typowo 95%. Użyj 99%, gdy błędna decyzja byłaby kosztowna, albo 90% dla szybkich eksperymentów o niskim ryzyku.
Jednostronny czy dwustronny?
Test dwustronny wykrywa różnice w obu kierunkach i jest bezpieczniejszy. Jednostronny pyta tylko, czy B jest lepsze, wymaga mniej odwiedzających, ale nie powie, czy B jest gorsze.
Czym jest minimalny wykrywalny efekt?
To najmniejsza względna poprawa, którą chcesz wykryć. Mniejsze efekty wymagają znacznie więcej odwiedzających: zmniejszenie efektu o połowę mniej więcej czterokrotnie zwiększa próbę.
Mój test nie jest istotny. Co teraz?
Albo różnica jest zbyt mała, by miała znaczenie, albo potrzebujesz więcej danych. Sprawdź w kalkulatorze wielkości próby, ilu odwiedzających wymaga oczekiwany efekt.
Potrzebujesz w przyszłości więcej możliwości?
Narzędzia premium, wyższe limity i dostęp przez API są w planach. Wersja 1 pozostaje darmowa i prywatna w Twojej przeglądarce.