无需登录 数据私有 本地保存

A/B测试显著计算检验 - 转化率对比

统计工具 计算工具 A/B测试 显著性 统计
38
0
0
0

A/B测试显著性检验 — 转化率对比

基于双样本z检验，实时计算p值、置信区间与统计显著性，帮助您科学判断A/B测试结果是否可靠。

对照组
A组 （原始版本）
A组转化率 8.50%
实验组
B组 （变体版本）
B组转化率 9.80%
常见问题与知识点
什么是A/B测试的统计显著性？
统计显著性衡量的是观察到的A/B两组差异是否可能由随机波动引起。通常当p值小于0.05（即显著性水平α=5%）时，我们认为结果具有统计显著性，即有充分证据表明B组与A组存在真实差异。这意味着在零假设（两组无差异）为真的情况下，观察到当前或更极端结果的概率不足5%。
p值代表什么？如何解读？
p值（p-value）是在假定零假设成立的前提下，观察到当前数据或更极端数据的概率。
• p < 0.001：极强的统计证据，差异非常显著
• p < 0.01：很强的统计证据
• p < 0.05：足够的统计证据，通常认为显著
• p < 0.1：边缘显著，值得关注但需更多数据
• p ≥ 0.1：不显著，观察到的差异很可能来自随机波动
注意：p值不衡量差异的大小或实际重要性，仅衡量证据的强度。
需要多少样本量才能进行A/B测试？
所需样本量取决于：基准转化率、期望检测的最小效应大小、显著性水平（通常5%）和统计功效（通常80%）。
一般来说：基准转化率越低，需要的样本量越大；希望检测的效应越小，需要的样本量越大。例如，从5%提升到5.5%（+10%相对提升），每组大约需要30万访客才能有80%的功效检测到这一差异。建议在测试前使用样本量计算器估算所需样本量，避免测试过早结束导致结果不可靠。
什么是置信区间？如何理解？
置信区间（Confidence Interval）给出了参数真值的一个合理范围。95%置信区间的含义是：如果重复进行100次同样的实验，大约有95次计算出的置信区间会包含真实的转化率差异。
如果比例差的95%置信区间不包含0，则说明在α=0.05水平下差异显著，这与p<0.05的结论一致。置信区间比单一的p值提供更多信息，它展示了效应大小的可能范围。
转化率差异不显著怎么办？
如果结果不显著，可能的原因包括：
• 样本量不足：继续收集数据，增大样本量
• 效应太小：B组的改进幅度确实很小，可能不值得推广
• 测试时间不够：确保测试覆盖完整周期（如一周或一个月），排除周期性波动
• 存在干扰因素：检查是否有外部事件或技术问题影响数据质量
建议在启动测试前就确定好所需样本量和测试时长，避免数据窥探（data peeking）导致的假阳性问题。
什么是第一类错误和第二类错误？
第一类错误（Type I Error / 假阳性）：零假设为真时错误地拒绝了零假设，即"看到差异但实际没有"。概率=α（显著性水平，通常5%）。
第二类错误（Type II Error / 假阴性）：备择假设为真时未能拒绝零假设，即"有差异但没检测到"。概率=β，统计功效=1-β（通常希望达到80%）。
在实际A/B测试中，需要平衡这两类错误：α设得太小可能错过真实改进，α设得太大可能上线无效变更。
z检验的适用条件是什么？
双样本z检验用于比较两个独立组的比例，其适用条件包括：
• 样本是随机且独立的
• 每组中np ≥ 5且n(1-p) ≥ 5（正态近似条件）
• 样本量足够大，使得抽样分布近似正态
如果样本量很小或转化率极低（接近0）或极高（接近100%），正态近似可能不准确，此时可考虑使用Fisher精确检验或自助法（bootstrap）。本工具会自动检查这些条件并在必要时给出提示。
单侧检验和双侧检验有什么区别？如何选择？
双侧检验：检验B组是否不同于A组（可能更好也可能更差），p值计算考虑了两个方向的极端情况。这是更保守、更常用的选择。
单侧检验：仅检验B组是否优于A组，p值更小，更容易达到显著。但仅在您完全确定B组不可能比A组差时使用（这种情况在实际中很少见）。
建议：除非有非常充分的理由，否则使用双侧检验。大多数A/B测试平台默认使用双侧检验。
🔧 相关工具