實驗分析框架:指標、檢查與決策
摘要:多數實驗失敗不是因為演算法選錯,而是因為指標沒分層、樣本沒算夠、讀結果時只看顯著性。本文按"指標—檢查—決策"三段落給出可執行框架。
關鍵要點
- 指標要分三層:護欄、主指標、解釋指標。 只看主指標,容易在短期提升裡透支長期價值。
- 樣本量應按最小可檢測效應倒推,而不是按"跑兩週"。 定不出 MDE,就無法判斷這次實驗值不值得做。
- 讀結果前有三項檢查:分流是否乾淨、樣本比例是否失衡、指標是否被汙染。 三項不過,後面的統計沒有意義。
- 顯著不等於值得推廣。 要看效應量、影響人群與成本,再決定是否落地。
- 決策要預先寫規則。 事前不寫,事後一定會為結果找理由。
一、指標階梯怎麼搭
指標不是一堆數字,而是一個有層級的結構。
最上層是護欄指標。它們用來保證實驗沒有造成結構性傷害,例如崩潰率、投訴率、退款率、頁面載入時間。護欄指標不追求提升,只設紅線,一旦越線直接停。
中間層是主指標。一次實驗只應該有一個主指標,它直接對應你要驗證的假設。主指標多了,就會出現"總有一個顯著"的情況。
最下層是解釋指標。它們不用於決策,用於解釋主指標為什麼變化,例如點選率、停留時長、步驟完成率、搜尋零結果率。
三層之外還有一層容易被忽略:反向指標。某些改動會同時提升 A 與降低 B,如果 B 沒有被監控,問題會在推廣後才暴露。反向指標應當在實驗設計階段就列出,而不是事後補。
搭階梯的實際做法是先在白板上寫"這次要驗證什麼",再反推需要哪些指標。反過來做——先列出所有可用指標再挑——幾乎一定會挑出互相矛盾的組合。
推薦與成長指標怎麼落到日常動作上?
看搜尋與推薦能力二、樣本量與最小可檢測效應
這一步決定實驗有沒有意義。樣本不夠,任何結果都只是噪聲。
估算需要四個輸入:基線值、期望的最小變化、顯著性水平、統計功效。前兩個是業務輸入,後兩個是約定值。
最小可檢測效應(MDE)的定法有兩種。一種是從業務價值反推:能帶來多少收益的改動才值得做,就把這個改動幅度作為 MDE。另一種是從歷史波動反推:如果歷史上同類改動的效果通常在一個區間內,MDE 就取區間下沿。
兩種定法結合使用最穩。只用業務價值,可能定出一個統計上做不到的 MDE;只用歷史波動,可能定出一個業務上沒意義的 MDE。
樣本量算出來之後,還要看流量是否支撐。如果不支撐,正確的選擇是縮小實驗範圍、延長週期改成分層實驗,或者乾脆不做,改用觀察性分析。硬跑一個樣本不足的實驗,得到的是"看起來提升了"的錯覺。
還有一個常被忽略的因素:指標的相關性。多個指標高度相關時,用其中一個做樣本量估算,對其他指標的檢驗功效會不足。這種情況需要在設計階段就識別出來。
三、讀結果前的三項檢查
統計檢驗之前,先做三項工程性檢查。
第一項,分流是否乾淨。使用者是否被正確隨機分配、是否存在同一使用者跨組、是否有快取或登入態導致的分組漂移。分流不乾淨,兩組之間的差異可能來自使用者本身,而不是改動。
第二項,樣本比例是否失衡。設計上 50/50 的實驗,實際可能是 48/52。小幅偏差可以接受,大幅偏差通常意味著分流邏輯有問題,需要先修復再分析。
第三項,指標是否被汙染。埋點重複上報、跨端歸因、時區錯位、事件延遲都會導致指標失真。汙染往往表現為"某個指標突然大幅波動",而不是平穩的小幅變化。
三項檢查的產出應該是一段可複核的記錄:分流方式、樣本量、比例、異常點。沒有這段記錄,後續任何結論都無法被複核。
還有一個實際操作建議:把三項檢查做成固定指令碼,每次實驗自動跑。人工檢查會漏,指令碼不會。
四、讀效應:從顯著到實踐意義
統計顯著說明"差異不太可能來自隨機",它不說明"這個差異值得做"。
讀效應要按順序看四件事:
第一看方向與量級。效應量是多少,是否在預期的量級內。一個統計顯著但效應量極小的結果,通常不值得推廣。
第二看置信區間。區間寬說明不確定性大,即使點估計好看,也可能在推廣後消失。區間跨越零點時,結論應寫成"未觀察到明確差異",而不是"略有好轉"。
第三看人群差異。整體提升可能來自某個子群的顯著提升,而其他子群在下降。子群分析要在設計階段預設,事後再切分容易得到假陽性。
第四看時間趨勢。實驗期內效應是否衰減。很多改動在首周有明顯效果,兩週後迴歸基線,這說明效果來自新鮮感而非真實價值。
四件事都看完,才談得上"推廣"或"放棄"。只看第一件,是實驗分析裡最常見的錯誤。
五、決策規則怎麼寫
決策規則要事前寫,寫清楚什麼情況下做什麼。
| 條件 | 決策 |
|---|---|
| 主指標顯著提升,護欄無惡化,效應量達到業務閾值 | 推廣,並設定後續監控期 |
| 主指標顯著提升,但有護欄指標惡化 | 不做全量,縮小範圍或改進後重測 |
| 主指標無顯著差異,護欄無惡化 | 不做,記錄結論,避免重複嘗試 |
| 主指標顯著下降 | 停止,復盤假設為何不成立 |
| 樣本比例或分流異常 | 結果作廢,修復後重跑 |
規則的用處在於減少事後解釋。沒有規則時,團隊會為一個不顯著的結果找各種理由,或為一個顯著但風險高的結果找豁免。
規則之外還要一條:每個實驗都要留下結論記錄,包括假設、設計、結果與最終決策。記錄的價值不是歸檔,而是讓下一個團隊不必重複同樣的試錯。
六、三個最容易踩的坑
第一個是"看到不顯著就換假設"。一次實驗沒有結論,說明這個假設在當前條件下不成立,不代表方向錯。連續換假設會讓團隊陷入隨機遊走,積累不了任何可靠的判斷。
第二個是"用實驗結果解釋業務結果"。實驗只回答它設計時的問題。用它去解釋一個更大的業務變化(例如整體收入波動),往往得出錯誤因果。
第三個是"跳過記錄直接進入下一個"。沒有記錄,同一類實驗會在半年後被不同團隊重複做一次,得到同樣的結論,浪費同樣的成本。記錄本身就是框架的一部分,不是可選項。
常見問題
問:實驗跑多久合適?
由樣本量決定,不由日曆決定。但也要覆蓋至少一個完整的業務週期,避免週期效應。
問:能不能同時跑多個實驗?
可以,但要有分流隔離與相互影響的評估。多個實驗疊加時,單一實驗的結論會變得不可靠。
問:指標不顯著,但使用者反饋很好,怎麼辦?
先檢查指標是否捕捉到了改動的影響。如果指標本身沒覆蓋到,先補指標再重測,而不是直接推廣。
問:小流量業務怎麼做實驗?
改成分層實驗、準實驗或觀察性分析,並明確結論的強度更低。不要用統計顯著包裝一個樣本不足的結論。
問:護欄指標要不要設閾值?
要。閾值應在實驗前確定,來自歷史分佈或業務底線,而不是事後按結果調整。
相關閱讀
資料來源
- Google Search Central,《建立有幫助的內容》——內容質量與可驗證性要求,對應實驗結論的對外表述。
- 斯坦福 HAI,《2025 AI Index 報告》——行業資料應用的公開統計。
- Google Search Central,《AI 功能與搜尋呈現》——搜尋側指標變化的口徑說明。