返回

實驗分析框架:指標、檢查與決策

通智雲團隊 ·
數據分析 使用者營運 通智睿見
實驗分析框架:指標、檢查與決策

摘要:多數實驗失敗不是因為演算法選錯,而是因為指標沒分層、樣本沒算夠、讀結果時只看顯著性。本文按"指標—檢查—決策"三段落給出可執行框架。

關鍵要點

一、指標階梯怎麼搭

指標不是一堆數字,而是一個有層級的結構。

最上層是護欄指標。它們用來保證實驗沒有造成結構性傷害,例如崩潰率、投訴率、退款率、頁面載入時間。護欄指標不追求提升,只設紅線,一旦越線直接停。

中間層是主指標。一次實驗只應該有一個主指標,它直接對應你要驗證的假設。主指標多了,就會出現"總有一個顯著"的情況。

最下層是解釋指標。它們不用於決策,用於解釋主指標為什麼變化,例如點選率、停留時長、步驟完成率、搜尋零結果率。

三層之外還有一層容易被忽略:反向指標。某些改動會同時提升 A 與降低 B,如果 B 沒有被監控,問題會在推廣後才暴露。反向指標應當在實驗設計階段就列出,而不是事後補。

搭階梯的實際做法是先在白板上寫"這次要驗證什麼",再反推需要哪些指標。反過來做——先列出所有可用指標再挑——幾乎一定會挑出互相矛盾的組合。

推薦與成長指標怎麼落到日常動作上?

看搜尋與推薦能力

二、樣本量與最小可檢測效應

這一步決定實驗有沒有意義。樣本不夠,任何結果都只是噪聲。

估算需要四個輸入:基線值、期望的最小變化、顯著性水平、統計功效。前兩個是業務輸入,後兩個是約定值。

最小可檢測效應(MDE)的定法有兩種。一種是從業務價值反推:能帶來多少收益的改動才值得做,就把這個改動幅度作為 MDE。另一種是從歷史波動反推:如果歷史上同類改動的效果通常在一個區間內,MDE 就取區間下沿。

兩種定法結合使用最穩。只用業務價值,可能定出一個統計上做不到的 MDE;只用歷史波動,可能定出一個業務上沒意義的 MDE。

樣本量算出來之後,還要看流量是否支撐。如果不支撐,正確的選擇是縮小實驗範圍、延長週期改成分層實驗,或者乾脆不做,改用觀察性分析。硬跑一個樣本不足的實驗,得到的是"看起來提升了"的錯覺。

還有一個常被忽略的因素:指標的相關性。多個指標高度相關時,用其中一個做樣本量估算,對其他指標的檢驗功效會不足。這種情況需要在設計階段就識別出來。

三、讀結果前的三項檢查

統計檢驗之前,先做三項工程性檢查。

第一項,分流是否乾淨。使用者是否被正確隨機分配、是否存在同一使用者跨組、是否有快取或登入態導致的分組漂移。分流不乾淨,兩組之間的差異可能來自使用者本身,而不是改動。

第二項,樣本比例是否失衡。設計上 50/50 的實驗,實際可能是 48/52。小幅偏差可以接受,大幅偏差通常意味著分流邏輯有問題,需要先修復再分析。

第三項,指標是否被汙染。埋點重複上報、跨端歸因、時區錯位、事件延遲都會導致指標失真。汙染往往表現為"某個指標突然大幅波動",而不是平穩的小幅變化。

三項檢查的產出應該是一段可複核的記錄:分流方式、樣本量、比例、異常點。沒有這段記錄,後續任何結論都無法被複核。

還有一個實際操作建議:把三項檢查做成固定指令碼,每次實驗自動跑。人工檢查會漏,指令碼不會。

四、讀效應:從顯著到實踐意義

統計顯著說明"差異不太可能來自隨機",它不說明"這個差異值得做"。

讀效應要按順序看四件事:

第一看方向與量級。效應量是多少,是否在預期的量級內。一個統計顯著但效應量極小的結果,通常不值得推廣。

第二看置信區間。區間寬說明不確定性大,即使點估計好看,也可能在推廣後消失。區間跨越零點時,結論應寫成"未觀察到明確差異",而不是"略有好轉"。

第三看人群差異。整體提升可能來自某個子群的顯著提升,而其他子群在下降。子群分析要在設計階段預設,事後再切分容易得到假陽性。

第四看時間趨勢。實驗期內效應是否衰減。很多改動在首周有明顯效果,兩週後迴歸基線,這說明效果來自新鮮感而非真實價值。

四件事都看完,才談得上"推廣"或"放棄"。只看第一件,是實驗分析裡最常見的錯誤。

五、決策規則怎麼寫

決策規則要事前寫,寫清楚什麼情況下做什麼。

條件 決策
主指標顯著提升,護欄無惡化,效應量達到業務閾值 推廣,並設定後續監控期
主指標顯著提升,但有護欄指標惡化 不做全量,縮小範圍或改進後重測
主指標無顯著差異,護欄無惡化 不做,記錄結論,避免重複嘗試
主指標顯著下降 停止,復盤假設為何不成立
樣本比例或分流異常 結果作廢,修復後重跑

規則的用處在於減少事後解釋。沒有規則時,團隊會為一個不顯著的結果找各種理由,或為一個顯著但風險高的結果找豁免。

規則之外還要一條:每個實驗都要留下結論記錄,包括假設、設計、結果與最終決策。記錄的價值不是歸檔,而是讓下一個團隊不必重複同樣的試錯。

六、三個最容易踩的坑

第一個是"看到不顯著就換假設"。一次實驗沒有結論,說明這個假設在當前條件下不成立,不代表方向錯。連續換假設會讓團隊陷入隨機遊走,積累不了任何可靠的判斷。

第二個是"用實驗結果解釋業務結果"。實驗只回答它設計時的問題。用它去解釋一個更大的業務變化(例如整體收入波動),往往得出錯誤因果。

第三個是"跳過記錄直接進入下一個"。沒有記錄,同一類實驗會在半年後被不同團隊重複做一次,得到同樣的結論,浪費同樣的成本。記錄本身就是框架的一部分,不是可選項。

常見問題

問:實驗跑多久合適?
由樣本量決定,不由日曆決定。但也要覆蓋至少一個完整的業務週期,避免週期效應。

問:能不能同時跑多個實驗?
可以,但要有分流隔離與相互影響的評估。多個實驗疊加時,單一實驗的結論會變得不可靠。

問:指標不顯著,但使用者反饋很好,怎麼辦?
先檢查指標是否捕捉到了改動的影響。如果指標本身沒覆蓋到,先補指標再重測,而不是直接推廣。

問:小流量業務怎麼做實驗?
改成分層實驗、準實驗或觀察性分析,並明確結論的強度更低。不要用統計顯著包裝一個樣本不足的結論。

問:護欄指標要不要設閾值?
要。閾值應在實驗前確定,來自歷史分佈或業務底線,而不是事後按結果調整。

相關閱讀

資料來源

  1. Google Search Central,《建立有幫助的內容》——內容質量與可驗證性要求,對應實驗結論的對外表述。
  2. 斯坦福 HAI,《2025 AI Index 報告》——行業資料應用的公開統計。
  3. Google Search Central,《AI 功能與搜尋呈現》——搜尋側指標變化的口徑說明。
← 上一篇: 混合檢索架構:BM25 + 向量召回怎麼融合(含 RRF) 下一篇: 境外外鏈建設策略:不止於客座文章 →
諮詢
二維碼

企業微信