A/B 测试完整指南：样本量、周期与显著性判断

摘要：A/B 测试的可信度取决于三件事——跑够样本量、跑满完整业务周期、按预先设定的停止规则判断显著性。本文把样本量计算、周期设定、显著性判断、多重检验校正与空结果处理串成一条可执行闭环，并给出低流量场景的替代方案。

多数团队的 A/B 测试失败，不是因为想法不好，而是因为结论不可信：样本没跑够就下判断、看到第一天数据好看就提前停止、同时测五个指标却只看那个变好的。这些问题都会把假阳性率从名义上的 5% 推高到 20% 甚至更高。本文按"样本量—周期—显著性—多重检验—收尾"的顺序，给出每一步的具体算法与判断口径，让实验结果可以真正用于决策。

关键要点

样本量由基线转化率、最小可检测效应（MDE）与统计功效共同决定，三者缺一无法计算。
MDE 每减半，所需样本量约翻四倍；低基线页面要靠"更大的改动"而非"更长的等待"来拿到结论。
实验周期必须同时满足样本量要求与完整业务周期，最短通常不少于 14 天。
中途反复查看结果并提前停止（peeking）会把假阳性率从 5% 推高到 20% 以上，必须预先固定停止规则。
同时观测多个指标或多个变体时，要做多重比较校正，否则"显著"只是概率上的必然。
只有约七分之一的实验能产出明确赢家，空结果与反向结果是常态，同样应当被记录与归因。
低流量页面不宜硬跑经典 A/B 测试，可改用序贯检验、贝叶斯方法或定性研究。

一、样本量由基线转化率、MDE 与统计功效共同决定

样本量的本质是在给定基线转化率的前提下，用多大的样本才能可靠地区分"真实提升"与"随机波动"。对于最常见的转化率对比（两比例检验），每组所需样本量可用公式 n ≈ 2 × (Z_{1-α/2} + Z_{1-β})² × p × (1-p) / δ² 估算，其中 p 为基线转化率、δ 为绝对提升幅度（即 MDE 换算成百分点）、α 为显著性水平、1-β 为统计功效。取业界通用的 95% 置信水平与 80% 功效，当基线转化率为 5%、希望检测 1 个百分点的绝对提升时，每组约需 7,415 名访客。这组参数说明一个关键事实：样本量不是拍脑袋定的整数，而是四个变量共同求解的结果。

MDE 的设定是其中最容易出错的一环。MDE 越小，需要区分的信号越弱，样本量就越大，且是平方关系——MDE 减半，样本量约翻四倍。基线 2.5% 的页面若要检测 10% 的相对提升（即 0.25 个百分点），每组约需 15,700 名访客；若把期望提升到 20% 的相对提升，样本量可降至约四分之一。因此低基线、低流量的页面不应执着于检测微小改动，而应把实验设计成"足够大的差异"，让有限流量也能跑出结论。

二、用基准表把样本量换算成可执行的目标

算出样本量后，下一步是把它换算成团队能理解的目标。一张按"基线转化率 × 相对提升"排列的基准表是最实用的工具：横轴列出 2.5%、5%、10% 三档基线，纵轴列出 10%、20% 两档相对提升，格内填入每组所需样本量与对应的总样本量（组数 × 每组样本量）。有了这张表，产品经理在提需求时就能快速判断"这个改动在现有流量下能否被测出来"，而不必等到实验跑完才发现功效不足。

值得注意的是，功效不足的实验比不做实验更危险：它会以"无显著差异"的结论收场，团队据此认为改动无效而放弃，实际可能只是样本不够。因此上线前应把"按当前流量，达到 80% 功效需要多少天"作为实验准入的硬性检查项。若所需时间超过可接受窗口（通常 4 周以上），就应重新设计实验——要么提高 MDE、要么减少变体数量、要么把实验放到流量更大的页面上。

三、实验周期必须同时满足样本量与完整业务周期

周期不是样本量的简单换算，还要覆盖完整的业务节律。用户的购买行为存在明显的周内差异：工作日与周末的流量构成、决策时长、客单价都可能不同，只跑 5 个工作日会让结果偏向"工作日型用户"。通用经验是至少跑满 2 个完整业务周期（即 14 天），最长不宜超过 8 周——超过 8 周的实验会面临流量构成变化、季节性与外部事件干扰，历史数据对新数据的代表性下降。

还有两条下限值得记住：每组至少 1,000 次会话、每组至少 30 次转化。前者保证流量样本不至于过分稀薄，后者保证转化率估计本身有基本的稳定性。若实验在 14 天后仍未达到样本量，应继续跑到满足为止，而不是按天数硬性停止；反过来，若样本量在 3 天内就跑够了，也必须跑满至少一个完整业务周期。周期与样本量是"且"的关系，不是"或"。

四、显著性判断的核心是拒绝偷看与固定停止规则

统计显著性常被误用，最典型的错误是"偷看"（peeking）：实验运行中反复查看结果，一旦看到 p 值小于 0.05 就立刻停止并宣布胜利。这种做法把一次检验变成了多次检验，假阳性率随之累积——名义 5% 的显著性水平，在反复查看的情况下可能上升到 20% 以上；若每天查看一次并随时准备停止，假阳性率可超过 30%；极端情况下逐访客查看，假阳性率甚至可达约 26% 的区间。

正确的做法是预先固定停止规则：在实验开始前就写明"累计到 N 个样本时检验一次"，中途只看健康检查指标（如分流是否均衡、是否有技术错误、是否出现极端异常值），不看主指标的显著性。确有必要中途停止时，只能用为序贯场景设计的统计方法（如序贯概率比检验或贝叶斯停止规则），而不是把固定样本检验反复执行。此外，p 值只回答"差异是否可能由随机产生"，不回答"差异有多大"，因此必须同时报告置信区间与相对提升幅度。

五、多指标与多变体要处理多重比较问题

一次实验只观测一个指标的情况在企业里很少见。常见的做法是同时看点击率、加购率、转化率、客单价等多个指标，或同时上线三四个变体。问题在于：每多一次检验，就多一次"随机撞出显著"的机会。观测 10 个彼此独立的指标时，即使改动完全无效，期望上也会有约 0.5 个指标达到 5% 显著性；若把"任一指标显著"当作成功标准，整体假阳性率会远高于 5%。

应对方式有三层。第一层是分清主次：预先指定唯一的主指标（护栏指标只做"不得恶化"的检查），只有主指标达标才算实验成功。第二层是做统计校正：最简单的是 Bonferroni 校正，把 α 除以检验次数（如检验 5 次则 α 取 0.01），也可用错误发现率（FDR）控制在探索性场景换取更高灵敏度。第三层是对多变体情形单独处理：变体越多，多重比较问题越严重，且每组分摊到的流量更少，通常建议单实验变体数（含对照组）不超过 4 个。

六、空结果与反向结果同样是有价值的结论

业界长期统计显示，大约只有七分之一的实验能产出明确的赢家，其余大多数是空结果或反向结果。这不是实验方法失效，而是产品优化的真实分布：真正能显著改变用户行为的改动本来就稀少。因此团队不应把"跑出显著提升"当作实验成功的唯一标准，而应把"以可接受成本排除一个错误方向"同样计为有效产出。

空结果的正确处理是归因而非遗忘：是因为 MDE 设得过小导致功效不足，是因为改动太轻微用户根本没感知，还是因为改动确实触及了一个无关环节？把每次空结果的原因记录下来，能显著提高后续实验的设计质量。反向结果则更应被重视——它明确证明某个方向行不通，且往往比正向结果信息量更大。实验结束后，无论结论如何，都应归档实验设计、样本量依据、完整指标（含置信区间）与结论，形成可检索的实验库。

常见问题

问：A/B 测试到底需要多少样本才够？

答：没有固定数字，取决于基线转化率、MDE、显著性水平与统计功效四个参数。按 95% 置信与 80% 功效，基线 5%、检测 1 个百分点绝对提升约需每组 7,415 名访客；基线降到 2.5% 且检测 10% 相对提升则约需每组 15,700 名。

问：MDE 应该怎么定才合理？

答：MDE 应等于"这个改动值不值得上线"的最小提升幅度，通常由业务收益与实施成本倒推，一般取相对提升 10%–20%。注意 MDE 减半会使样本量约翻四倍，流量有限的页面应设定更大的 MDE。

问：实验至少要跑多少天？

答：至少跑满 2 个完整业务周期（通常 14 天）以覆盖周内差异，最长不宜超过 8 周。同时须满足每组至少 1,000 次会话与 30 次转化的下限；天数与样本量是"且"的关系，两者都满足才能停止。

问：为什么不能中途看结果、看到显著就停？

答：反复查看并随时停止等于把一次检验变成多次检验，假阳性率会从名义的 5% 累积到 20% 以上，每天查看一次可超过 30%。应预先固定检验时点，中途只看分流均衡性等技术健康指标。

问：同时看多个指标会不会有问题？

答：会。指标越多，"随机撞出显著"的机会越多。应预先指定唯一主指标，其余作为护栏指标只检查是否恶化；确需多指标判断时用 Bonferroni 校正（如 5 次检验则 α 取 0.01）或控制错误发现率。

问：实验跑出"无显著差异"该怎么办？

答：先判断是否功效不足——按实际流量反推能检测的最小 MDE 是否大于预期提升，若是则结论为"检测不出"而非"没有效果"。若功效充足，则记录原因（改动过轻、方向无关等）并归档，避免重复试错。

问：流量很小的页面怎么做实验？

答：三条路：一是改用序贯检验或贝叶斯方法，允许在累积证据足够时提前停止；二是放弃微小改动，设计差异足够大的版本以匹配流量；三是用用户访谈、可用性测试等定性方法替代，先找方向再定量验证。

关于通智云

科学的实验设计与效果度量，是企业把增长决策建立在证据之上而非直觉之上的前提。通智云（TENGENCE）专注企业公域引流获客与私域转化成交的增长技术，本文涉及的实验设计与效果度量是其持续关注的方向。

数据来源

PulseCRO：How to Calculate the Right Sample Size for Your A/B Test：给出两比例检验样本量公式与各参数含义，并列出基线 5%、MDE 1 个百分点、95% 显著性/80% 功效下每组约 7,415 名访客的测算，建议 MDE 取 10%–20% 相对提升。
Metricuno：Sample Size in A/B Testing：提供 95% 置信/80% 功效下的样本量基准表，说明 MDE 减半样本量约翻四倍，并给出 2.5% 基线检测 10% 相对提升约需每组 15,700 的示例。
Grow Conversions：How Long to Run an A/B Test：说明偷看会把假阳性率从 5% 推高到 20% 以上，给出最短 2 个完整业务周期（14 天）、最长 8 周的窗口建议，以及每组 1,000 会话与 30 转化的下限。
Clarigital：A/B Testing Methodology：给出多次中途检查（10 次）导致假阳性率超过 30% 的说明，以及 Bonferroni 校正中将 α 收紧到 0.01 的做法。
Systeme.io：A/B Testing：给出长期统计中约 1/7 实验产出明确赢家的比例，以及逐访客偷看使假阳性率升至约 26% 的测算。