A/B 測試完整指南：樣本量、週期與顯著性判斷

摘要：A/B 測試的可信度取決於三件事——收集足夠的樣本量、跑滿完整的業務週期、按預先設定的停止規則判斷顯著性。本文把樣本量計算、週期設定、顯著性判斷、多重檢驗校正與空結果處理串成一條可執行的閉環，並給出低流量場景的替代方案。

多數團隊的 A/B 測試失敗，不是因為想法不好，而是因為結論不可信：樣本還沒跑夠就下判斷、看到第一天數據好看就提前停止、同時測五個指標卻只看那個變好的。這些問題都會把假陽性率從名義上的 5% 推高到 20% 甚至更高。本文按「樣本量—週期—顯著性—多重檢驗—收尾」的順序，給出每一步的具體演算法與判斷口徑，讓實驗結果可以真正用於決策。

關鍵要點

樣本量由基線轉化率、最小可檢測效應（MDE）與統計功效共同決定，三者缺一無法計算。
MDE 每減半，所需樣本量約翻四倍；低基線頁面要靠「更大的改動」而非「更長的等待」來拿到結論。
實驗週期必須同時滿足樣本量要求與完整業務週期，最短通常不少於 14 天。
中途反覆查看結果並提前停止（peeking）會把假陽性率從 5% 推高到 20% 以上，必須預先固定停止規則。
同時觀測多個指標或多個變體時，要做多重比較校正，否則「顯著」只是機率上的必然。
只有約七分之一的實驗能產出明確贏家，空結果與反向結果是常態，同樣應當被記錄與歸因。
低流量頁面不宜硬跑經典 A/B 測試，可改用序貫檢驗、貝葉斯方法或定性研究。

一、樣本量由基線轉化率、MDE 與統計功效共同決定

樣本量的本質是在給定基線轉化率的前提下，用多大的樣本才能可靠地區分「真實提升」與「隨機波動」。對於最常見的轉化率對比（兩比例檢驗），每組所需樣本量可用公式 n ≈ 2 × (Z_{1-α/2} + Z_{1-β})² × p × (1-p) / δ² 估算，其中 p 為基線轉化率、δ 為絕對提升幅度（即 MDE 換算成百分點）、α 為顯著性水平、1-β 為統計功效。取業界通用的 95% 置信水平與 80% 功效，當基線轉化率為 5%、希望檢測 1 個百分點的絕對提升時，每組約需 7,415 名訪客。這組參數說明一個關鍵事實：樣本量不是拍腦袋定的整數，而是四個變量共同求解的結果。

MDE 的設定是其中最容易出錯的一環。MDE 越小，需要區分的信號越弱，樣本量就越大，而且是平方關係——MDE 減半，樣本量約翻四倍。基線 2.5% 的頁面若要檢測 10% 的相對提升（即 0.25 個百分點），每組約需 15,700 名訪客；若把期望提升到 20% 的相對提升，樣本量可降至約四分之一。因此低基線、低流量的頁面不應執著於檢測微小改動，而應把實驗設計成「足夠大的差異」，讓有限流量也能跑出結論。

二、用基準表把樣本量換算成可執行的目標

算出樣本量後，下一步是把它換算成團隊能理解的目標。一張按「基線轉化率 × 相對提升」排列的基準表是最實用的工具：橫軸列出 2.5%、5%、10% 三檔基線，縱軸列出 10%、20% 兩檔相對提升，格內填入每組所需樣本量與對應的總樣本量（組數 × 每組樣本量）。有了這張表，產品經理在提需求時就能快速判斷「這個改動在現有流量下能否被測出來」，而不必等到實驗跑完才發現功效不足。

值得注意的是，功效不足的實驗比不做實驗更危險：它會以「無顯著差異」的結論收場，團隊據此認為改動無效而放棄，實際可能只是樣本不夠。因此上線前應把「按當前流量，達到 80% 功效需要多少天」作為實驗上線的硬性檢查項。若所需時間超過可接受窗口（通常 4 週以上），就應重新設計實驗——或是提高 MDE、或是減少變體數量、或是把實驗放到流量更大的頁面上。

三、實驗週期必須同時滿足樣本量與完整業務週期

週期不是樣本量的簡單換算，還要覆蓋完整的業務節律。用戶的購買行為存在明顯的週內差異：工作日與週末的流量構成、決策時長、客單價都可能不同，只跑 5 個工作日會讓結果偏向「工作日型用戶」。通用經驗是至少跑滿 2 個完整業務週期（即 14 天），最長不宜超過 8 週——超過 8 週的實驗會面臨流量構成變化、季節性與外部事件干擾，歷史數據對新數據的代表性下降。

還有兩條下限值得記住：每組至少 1,000 次會話、每組至少 30 次轉化。前者保證流量樣本不至於過分稀薄，後者保證轉化率估計本身有基本的穩定性。若實驗在 14 天後仍未達到樣本量，應繼續跑到滿足為止，而不是按天數硬性停止；反過來，若樣本量在 3 天內就跑夠了，也必須跑滿至少一個完整業務週期。週期與樣本量是「且」的關係，不是「或」。

四、顯著性判斷的核心是拒絕偷看與固定停止規則

統計顯著性常被誤用，最典型的錯誤是「偷看」（peeking）：實驗運行中反覆查看結果，一旦看到 p 值小於 0.05 就立刻停止並宣布勝利。這種做法把一次檢驗變成了多次檢驗，假陽性率隨之累積——名義 5% 的顯著性水平，在反覆查看的情況下可能上升到 20% 以上；若每天查看一次並隨時準備停止，假陽性率可超過 30%；極端情況下逐訪客查看，假陽性率甚至可達約 26% 的區間。

正確的做法是預先固定停止規則：在實驗開始前就寫明「累計到 N 個樣本時檢驗一次」，中途只看健康檢查指標（如分流是否均衡、是否有技術錯誤、是否出現極端異常值），不看主指標的顯著性。確有必要中途停止時，只能用為序貫場景設計的統計方法（如序貫機率比檢驗或貝葉斯停止規則），而不是把固定樣本檢驗反覆執行。此外，p 值只回答「差異是否可能由隨機產生」，不回答「差異有多大」，因此必須同時報告置信區間與相對提升幅度。

五、多指標與多變體要處理多重比較問題

一次實驗只觀測一個指標的情況在企業裡很少見。常見的做法是同時看點擊率、加購率、轉化率、客單價等多個指標，或同時上線三四個變體。問題在於：每多一次檢驗，就多一次「隨機撞出顯著」的機會。觀測 10 個彼此獨立的指標時，即使改動完全無效，期望上也會有約 0.5 個指標達到 5% 顯著性；若把「任一指標顯著」當作成功標準，整體假陽性率會遠高於 5%。

應對方式有三層。第一層是分清主次：預先指定唯一的主指標（護欄指標只做「不得惡化」的檢查），只有主指標達標才算實驗成功。第二層是做統計校正：最簡單的是 Bonferroni 校正，把 α 除以檢驗次數（如檢驗 5 次則 α 取 0.01），也可用錯誤發現率（FDR）控制在探索性場景換取更高靈敏度。第三層是對多變體情形單獨處理：變體越多，多重比較問題越嚴重，且每組分攤到的流量更少，通常建議單實驗變體數（含對照組）不超過 4 個。

六、空結果與反向結果同樣是有價值的結論

業界長期統計顯示，大約只有七分之一的實驗能產出明確的贏家，其餘大多數是空結果或反向結果。這不是實驗方法失效，而是產品優化的真實分佈：真正能顯著改變用戶行為的改動本來就稀少。因此團隊不應把「跑出顯著提升」當作實驗成功的唯一標準，而應把「以可接受成本排除一個錯誤方向」同樣計為有效產出。

空結果的正確處理是歸因而非遺忘：是因為 MDE 設得過小導致功效不足，是因為改動太輕微用戶根本沒感知，還是因為改動確實觸及了一個無關環節？把每次空結果的原因記錄下來，能顯著提高後續實驗的設計質量。反向結果則更應被重視——它明確證明某個方向行不通，而且往往比正向結果資訊量更大。實驗結束後，無論結論如何，都應歸檔實驗設計、樣本量依據、完整指標（含置信區間）與結論，形成可檢索的實驗庫。

常見問題

問：A/B 測試到底需要多少樣本才夠？

答：沒有固定數字，取決於基線轉化率、MDE、顯著性水平與統計功效四個參數。按 95% 置信與 80% 功效，基線 5%、檢測 1 個百分點絕對提升約需每組 7,415 名訪客；基線降到 2.5% 且檢測 10% 相對提升則約需每組 15,700 名。

問：MDE 應該怎麼定才合理？

答：MDE 應等於「這個改動值不值得上線」的最小提升幅度，通常由業務收益與實施成本倒推，一般取相對提升 10%–20%。注意 MDE 減半會使樣本量約翻四倍，流量有限的頁面應設定更大的 MDE。

問：實驗至少要跑多少天？

答：至少跑滿 2 個完整業務週期（通常 14 天）以覆蓋週內差異，最長不宜超過 8 週。同時須滿足每組至少 1,000 次會話與 30 次轉化的下限；天數與樣本量是「且」的關係，兩者都滿足才能停止。

問：為什麼不能中途看結果、看到顯著就停？

答：反覆查看並隨時停止等於把一次檢驗變成多次檢驗，假陽性率會從名義的 5% 累積到 20% 以上，每天查看一次可超過 30%。應預先固定檢驗時點，中途只看分流均衡性等技術健康指標。

問：同時看多個指標會不會有問題？

答：會。指標越多，「隨機撞出顯著」的機會越多。應預先指定唯一主指標，其餘作為護欄指標只檢查是否惡化；確需多指標判斷時用 Bonferroni 校正（如 5 次檢驗則 α 取 0.01）或控制錯誤發現率。

問：實驗跑出「無顯著差異」該怎麼辦？

答：先判斷是否功效不足——按實際流量反推能檢測的最小 MDE 是否大於預期提升，若是則結論為「檢測不出」而非「沒有效果」。若功效充足，則記錄原因（改動過輕、方向無關等）並歸檔，避免重複試錯。

問：流量很小的頁面怎麼做實驗？

答：三條路：一是改用序貫檢驗或貝葉斯方法，允許在累積證據足夠時提前停止；二是放棄微小改動，設計差異足夠大的版本以匹配流量；三是用用戶訪談、可用性測試等定性方法替代，先找方向再定量驗證。

關於通智雲

科學的實驗設計與效果度量，是企業把增長決策建立在證據之上而非直覺之上的前提。通智雲（TENGENCE）專注企業公域引流獲客與私域轉化成交的增長技術，本文涉及的實驗設計與效果度量是其持續關注的方向。

資料來源

PulseCRO：How to Calculate the Right Sample Size for Your A/B Test：給出兩比例檢驗樣本量公式與各參數含義，並列出基線 5%、MDE 1 個百分點、95% 顯著性／80% 功效下每組約 7,415 名訪客的測算，建議 MDE 取 10%–20% 相對提升。
Metricuno：Sample Size in A/B Testing：提供 95% 置信／80% 功效下的樣本量基準表，說明 MDE 減半樣本量約翻四倍，並給出 2.5% 基線檢測 10% 相對提升約需每組 15,700 的示例。
Grow Conversions：How Long to Run an A/B Test：說明偷看會把假陽性率從 5% 推高到 20% 以上，給出最短 2 個完整業務週期（14 天）、最長 8 週的窗口建議，以及每組 1,000 會話與 30 次轉化的下限。
Clarigital：A/B Testing Methodology：給出多次中途檢查（10 次）導致假陽性率超過 30% 的說明，以及 Bonferroni 校正中將 α 收緊到 0.01 的做法。
Systeme.io：A/B Testing：給出長期統計中約 1/7 實驗產出明確贏家的比例，以及逐訪客偷看使假陽性率升至約 26% 的測算。