实验分析框架:指标、检查与决策
摘要:多数实验失败不是因为算法选错,而是因为指标没分层、样本没算够、读结果时只看显著性。本文按"指标—检查—决策"三段落给出可执行框架。
关键要点
- 指标要分三层:护栏、主指标、解释指标。 只看主指标,容易在短期提升里透支长期价值。
- 样本量应按最小可检测效应倒推,而不是按"跑两周"。 定不出 MDE,就无法判断这次实验值不值得做。
- 读结果前有三项检查:分流是否干净、样本比例是否失衡、指标是否被污染。 三项不过,后面的统计没有意义。
- 显著不等于值得推广。 要看效应量、影响人群与成本,再决定是否落地。
- 决策要预先写规则。 事前不写,事后一定会为结果找理由。
一、指标阶梯怎么搭
指标不是一堆数字,而是一个有层级的结构。
最上层是护栏指标。它们用来保证实验没有造成结构性伤害,例如崩溃率、投诉率、退款率、页面加载时间。护栏指标不追求提升,只设红线,一旦越线直接停。
中间层是主指标。一次实验只应该有一个主指标,它直接对应你要验证的假设。主指标多了,就会出现"总有一个显著"的情况。
最下层是解释指标。它们不用于决策,用于解释主指标为什么变化,例如点击率、停留时长、步骤完成率、搜索零结果率。
三层之外还有一层容易被忽略:反向指标。某些改动会同时提升 A 与降低 B,如果 B 没有被监控,问题会在推广后才暴露。反向指标应当在实验设计阶段就列出,而不是事后补。
搭阶梯的实际做法是先在白板上写"这次要验证什么",再反推需要哪些指标。反过来做——先列出所有可用指标再挑——几乎一定会挑出互相矛盾的组合。
推荐与增长指标怎么落到日常动作上?
看搜索与推荐能力二、样本量与最小可检测效应
这一步决定实验有没有意义。样本不够,任何结果都只是噪声。
估算需要四个输入:基线值、期望的最小变化、显著性水平、统计功效。前两个是业务输入,后两个是约定值。
最小可检测效应(MDE)的定法有两种。一种是从业务价值反推:能带来多少收益的改动才值得做,就把这个改动幅度作为 MDE。另一种是从历史波动反推:如果历史上同类改动的效果通常在一个区间内,MDE 就取区间下沿。
两种定法结合使用最稳。只用业务价值,可能定出一个统计上做不到的 MDE;只用历史波动,可能定出一个业务上没意义的 MDE。
样本量算出来之后,还要看流量是否支撑。如果不支撑,正确的选择是缩小实验范围、延长周期改成分层实验,或者干脆不做,改用观察性分析。硬跑一个样本不足的实验,得到的是"看起来提升了"的错觉。
还有一个常被忽略的因素:指标的相关性。多个指标高度相关时,用其中一个做样本量估算,对其他指标的检验功效会不足。这种情况需要在设计阶段就识别出来。
三、读结果前的三项检查
统计检验之前,先做三项工程性检查。
第一项,分流是否干净。用户是否被正确随机分配、是否存在同一用户跨组、是否有缓存或登录态导致的分组漂移。分流不干净,两组之间的差异可能来自用户本身,而不是改动。
第二项,样本比例是否失衡。设计上 50/50 的实验,实际可能是 48/52。小幅偏差可以接受,大幅偏差通常意味着分流逻辑有问题,需要先修复再分析。
第三项,指标是否被污染。埋点重复上报、跨端归因、时区错位、事件延迟都会导致指标失真。污染往往表现为"某个指标突然大幅波动",而不是平稳的小幅变化。
三项检查的产出应该是一段可复核的记录:分流方式、样本量、比例、异常点。没有这段记录,后续任何结论都无法被复核。
还有一个实际操作建议:把三项检查做成固定脚本,每次实验自动跑。人工检查会漏,脚本不会。
四、读效应:从显著到实践意义
统计显著说明"差异不太可能来自随机",它不说明"这个差异值得做"。
读效应要按顺序看四件事:
第一看方向与量级。效应量是多少,是否在预期的量级内。一个统计显著但效应量极小的结果,通常不值得推广。
第二看置信区间。区间宽说明不确定性大,即使点估计好看,也可能在推广后消失。区间跨越零点时,结论应写成"未观察到明确差异",而不是"略有好转"。
第三看人群差异。整体提升可能来自某个子群的显著提升,而其他子群在下降。子群分析要在设计阶段预设,事后再切分容易得到假阳性。
第四看时间趋势。实验期内效应是否衰减。很多改动在首周有明显效果,两周后回归基线,这说明效果来自新鲜感而非真实价值。
四件事都看完,才谈得上"推广"或"放弃"。只看第一件,是实验分析里最常见的错误。
五、决策规则怎么写
决策规则要事前写,写清楚什么情况下做什么。
| 条件 | 决策 |
|---|---|
| 主指标显著提升,护栏无恶化,效应量达到业务阈值 | 推广,并设定后续监控期 |
| 主指标显著提升,但有护栏指标恶化 | 不做全量,缩小范围或改进后重测 |
| 主指标无显著差异,护栏无恶化 | 不做,记录结论,避免重复尝试 |
| 主指标显著下降 | 停止,复盘假设为何不成立 |
| 样本比例或分流异常 | 结果作废,修复后重跑 |
规则的用处在于减少事后解释。没有规则时,团队会为一个不显著的结果找各种理由,或为一个显著但风险高的结果找豁免。
规则之外还要一条:每个实验都要留下结论记录,包括假设、设计、结果与最终决策。记录的价值不是归档,而是让下一个团队不必重复同样的试错。
六、三个最容易踩的坑
第一个是"看到不显著就换假设"。一次实验没有结论,说明这个假设在当前条件下不成立,不代表方向错。连续换假设会让团队陷入随机游走,积累不了任何可靠的判断。
第二个是"用实验结果解释业务结果"。实验只回答它设计时的问题。用它去解释一个更大的业务变化(例如整体收入波动),往往得出错误因果。
第三个是"跳过记录直接进入下一个"。没有记录,同一类实验会在半年后被不同团队重复做一次,得到同样的结论,浪费同样的成本。记录本身就是框架的一部分,不是可选项。
常见问题
问:实验跑多久合适?
由样本量决定,不由日历决定。但也要覆盖至少一个完整的业务周期,避免周期效应。
问:能不能同时跑多个实验?
可以,但要有分流隔离与相互影响的评估。多个实验叠加时,单一实验的结论会变得不可靠。
问:指标不显著,但用户反馈很好,怎么办?
先检查指标是否捕捉到了改动的影响。如果指标本身没覆盖到,先补指标再重测,而不是直接推广。
问:小流量业务怎么做实验?
改成分层实验、准实验或观察性分析,并明确结论的强度更低。不要用统计显著包装一个样本不足的结论。
问:护栏指标要不要设阈值?
要。阈值应在实验前确定,来自历史分布或业务底线,而不是事后按结果调整。
相关阅读
数据来源
- Google Search Central,《创建有帮助的内容》——内容质量与可验证性要求,对应实验结论的对外表述。
- 斯坦福 HAI,《2025 AI Index 报告》——行业数据应用的公开统计。
- Google Search Central,《AI 功能与搜索呈现》——搜索侧指标变化的口径说明。