计算器
A/B 测试显著性计算器
检验 A/B 测试结果是否具有统计显著性，并规划一次测试需要多少访客。
在 95% 置信水平下显著：B 胜过 A。
- 相对提升
- +14.00%
- p 值
- 0.0278
- z 分数
- 2.2
- 已达到的置信度
- 97.2%
转化率绝对差（B − A）的 95% 置信区间：+0.08% 至 +1.32%。
这是什么工具？
变体 B 真的赢了，还是差异只是随机噪声？输入每个版本的访客数和转化数，即可得到转化率、相对提升、p 值，以及在所选置信水平下的明确结论。正在规划测试？样本量计算器会告诉你需要多少访客和天数。
显著性采用合并标准误的双比例 z 检验，这是比较转化率的标准方法。当 p 值小于 1 − 置信水平时（例如 95% 时小于 0.05），结果即为显著。
样本量基于两个比例的正态近似，并采用所选的统计功效（默认 80%）。请事先确定样本量，不要一看到结果显著就停止——频繁查看会增加假阳性。
如何使用A/B 测试计算器
- 输入 A（对照组）和 B（实验组）的访客数和转化数。
- 选择置信水平（通常为 95%）以及双侧或单侧检验。
- 查看结论、提升幅度、p 值以及差值的置信区间。
- 测试前打开“样本量”：输入基准转化率、值得检测的最小提升和每日流量，估算测试时长。
示例
一次显著的胜利
A: 10,000 visitors, 500 conversions B: 10,000 visitors, 600 conversions
Uplift +20% · p ≈ 0.002 · significant at 95%
常见问题
应该使用哪个置信水平？
通常使用 95%。如果错误决策代价高昂，可用 99%；对快速、低风险的实验可用 90%。
单侧还是双侧？
双侧检验能发现两个方向的差异，是更稳妥的默认选择。单侧检验只问 B 是否更好，所需访客更少，但无法告诉你 B 是否更差。
什么是最小可检测效应？
你希望检测到的最小相对提升。效应越小，所需访客越多：效应减半，样本量大约增至四倍。
我的测试不显著，接下来怎么办？
要么差异太小不值得关注，要么需要更多数据。请用样本量计算器查看预期效应需要多少访客。
以后需要更强大的功能？
高级工具、更高限额和 API 访问已在规划中。V1 仍然免费，并在您的浏览器中私密运行。