搜尋推薦數據閉環：怎麼用回饋數據優化搜推

摘要：搜推系統的長期差距不在模型結構，而在回饋數據有沒有真的閉回去。本文拆解閉環四段：隱式信號怎麼採與怎麼加權、位置偏差與選擇偏差怎麼糾正、即時聚合與批次重訓與線上增量三種節奏怎麼配合，以及如何判斷飛輪是在複利還是在自嗨——關鍵問題是數據變得更有資訊量，還是變得更偏。文中給出信號權重參考值、按位置計算點擊率的做法與三項飛輪健康度檢查。

兩個團隊用同一套開源模型、同一份特徵，半年後效果可以差出一倍。差別通常不在模型，而在數據有沒有閉回去：一個每天用新回饋重訓並糾偏，另一個把日誌堆在數據湖裡，模型上線後再也沒動過。

閉環聽起來簡單——採數據、訓練、上線。真正難的是中間幾步：哪些信號算數、權重多少、偏差怎麼去、多久重訓一次，以及最容易被忽略的一問：這些數據是在讓系統變聰明，還是在讓它變得更自信地重複自己。

關鍵要點

曝光不是信號，是分母；點擊、停留、劃過、收藏、分享的權重差異很大且需實測調優。
點擊率必須按位置計算，低曝光物品用貝氏平滑，否則冷啟動物品會排到極端。
兩類偏差必須處理：展示偏差（只能與被展示的物品互動）與選擇偏差（未展示項是非隨機缺失）。
三種更新節奏分工明確：即時聚合供推理、批次重訓改模型、線上增量只追高置信信號。
飛輪的陷阱是「數據變多但資訊沒變多」——同一曝光策略下的更多數據只會結晶，不會複利。
健康飛輪需要 5% 到 10% 的隨機曝光，並把曝光策略與互動數據一起記錄。

一、閉環閉的是什麼：從曝光到再訓練

完整的閉環有五段：曝光與互動採集 → 信號加權與聚合 → 去偏與特徵入庫 → 訓練與門禁 → 上線與再曝光。缺任何一段都不是閉環，只是日誌。

第一段容易被做漏的是曝光。只有曝光記錄，點擊才有分母；沒有曝光記錄，你只知道用戶點了什麼，不知道用戶「在看到的情況下沒點什麼」——而後者恰恰是最有價值的負信號。

二、信號層：採什麼，權重多少

顯式信號（評分、按讚）稀少，隱式信號海量但嘈雜。可用的參考權重體系是這樣的：

曝光：本身不是信號，是點擊率的分母。
點擊：權重約 0.3，中等正向。
停留時長：超過 30 秒記約 0.2；反過來，點擊後立刻離開是明確的負信號。
劃過未點：約 −0.1，輕度負向。
收藏：約 1.0，強意圖。
分享：約 1.0，最強正向。

這套數值不是標準答案，它應當透過 A/B 對照離線排序品質與線上點擊率來調。真正重要的是權重有正負、有量級差異，而不是把所有互動等同視作正樣本。

停留時長值得單說。它難偽造、不需要用戶主動動作，是最有資訊量的信號之一；但直接把它當優化目標會出問題——被設計來拖住注意力的內容，未必是用戶真正覺得有價值的內容。多家平台因此引入滿意度信號（問卷、明確負回饋）來校正，而不是單看停留。

還有一類信號長期被低估：負信號。用戶表達「不想要」的通道通常只有隱藏單條或封鎖帳號，導致負回饋稀疏且雜訊大；強依賴它又有誤刪風險。產品側多給一個「不感興趣」的入口，對閉環的邊際收益往往比調模型更大。

三、去偏：閉環裡最容易做錯的一步

閉環有個天然缺陷：系統是從自己生成的數據裡學習的。用戶只能對「被展示的東西」做出反應，模型又拿這些反應訓練下一代。這個偏差不糾正，閉環跑得越勤，偏得越快。

兩類偏差必須分開處理：

展示偏差——用戶只能與系統選擇展示的物品互動，靠前位置的物品獲得更多點擊，未必因為品質更好。處理辦法是點擊率按位置對計算，而不是按物品算總量；訓練時用逆傾向加權或反事實評估糾正。

選擇偏差——回饋只對已服務的物品收集，未展示的物品構成「非隨機缺失」，不能當作負樣本。處理的關鍵是把曝光策略與互動數據一起記錄：不知道數據是哪套策略產生的，就無法糾正位置偏差、流行度偏差與探索帶來的偏差。

低曝光物品的點擊率還要做平滑處理。用全域均值作為先驗，把點擊數與曝光數各加上先驗值再相除，能避免只被展示過三次、點過一次的物體以 33% 的點擊率排到全站第一。

四、管道層：三種節奏各有分工

閉環的更新不是「越快越好」，而是三條節奏各管一件事：

即時聚合（分鐘級）：互動事件進訊息佇列，由流處理引擎做滾動視窗聚合，把物品維度的點擊率、收藏率、平均停留寫入特徵庫，供排序模型在推理時直接讀取。這一層不改模型，只更新特徵。

批次重訓（天級）：按固定視窗（常見 90 天）建構互動矩陣訓練召回模型，同時用更豐富的特徵訓練排序模型；留出最近一段時間做驗證，用排序品質指標做門禁，通過後藍綠切換上線。這一層才是「模型變好」的來源。

線上增量（秒到分鐘級）：只對高置信信號（收藏、分享這類權重接近 1.0 的）做增量更新，並限制單次更新幅度，避免異常信號突發把模型帶偏。它的價值是追熱點與突發事件，不是替代批次重訓。

三者的組合邏輯很清楚：即時改特徵、批次改模型、線上追熱點。只做批次會遲鈍，只做線上會不穩。

五、飛輪陷阱：數據變多不等於資訊變多

這是閉環裡最值得警惕的一點。判斷飛輪是否健康，該問的不是「我們是不是在採集更多數據」，而是「數據是不是變得更有資訊量，還是變得更有偏」。在同樣的曝光策略、同樣的流行度分佈下產生更多數據，不會複利，只會結晶。

健康飛輪需要三個條件：

記錄曝光策略，而不只是點擊。 沒有策略資訊，任何糾偏都無從談起。

區分探索信號與利用信號。 為當前模型最大化互動而做出的曝光，不是訓練下一版模型的可靠信號——它只是在複述模型已經相信的東西。留出 5% 到 10% 的隨機曝光，是獲得無偏信號、做有效反事實評估並跳出流行度放大的最低成本方案。這也是為什麼成熟的推薦流會「故意」推一些看似不相關的東西，那不是故障，是探路。

接受延遲滿足。 用近期隱式代理（點擊、停留）去訓練長期目標（留存、復購），本質是損失函數設計問題，不是數據量問題。需要顯式建模早期信號與延遲結果之間的關係，並在關係漂移時重訓代理模型。

六、三項健康度檢查

閉環是否在正常運作，可以用三項指標定期體檢：

標籤延遲是否超過重訓視窗。 如果結果標籤（比如是否復購）的延遲尾巴比重訓週期還長，你就是在系統性地用不完整數據訓練——近期樣本全是「還沒來得及轉化」的假負例。

跨版本的多元性、新穎性與目錄覆蓋。 如果每個新版本都把推薦更集中到更小的物品子集上，說明方向是流行度放大而非品質提升。真正的飛輪應當讓這三個指標改善，至少保持穩定。

自消費比例。 訓練數據裡由前一版模型輸出所產生的佔比是否在持續上升。這個比例越高，系統越是在用自己的歷史選擇餵養自己。

配套還要監控數據漂移與模型精度變化，用實驗平台把每一版模型的效果留檔可比。缺了這些，飛輪在轉、指標在漲，但機制是放大而非改進——系統在變得越來越自信地描述一個越收越窄的分佈。

常見問題

問：為什麼曝光記錄比點擊記錄更重要？

答：因為曝光是分母，也是負信號的來源。只有點擊記錄，你只知道用戶點了什麼；有了曝光記錄，才知道用戶在看到的情況下沒點什麼——後者才是判斷相關性好壞的關鍵證據。同時，沒有曝光策略的記錄，就無法糾正位置偏差與選擇偏差，糾偏這步會直接失效。

問：點擊率該怎麼算才不失真？

答：兩條。一是按位置對計算，即某物品在某位置上的點擊數除以它在同一位置上的曝光數，避免靠前位置天然吃到的點擊被誤判為品質優勢；二是對低曝光物品做平滑，用全域均值作先驗，把點擊數與曝光數各加先驗值再相除，防止只展示三次、點過一次的物體排到極端。

問：即時更新和批次重訓該選哪個？

答：都要，它們改的東西不同。即時更新改的是特徵（分鐘級的點擊率、停留均值寫入特徵庫供推理讀取），批次重訓改的是模型（天級全量訓練加門禁後上線）。此外可對收藏、分享這類高置信信號做線上增量更新來追熱點，但要限制單次更新幅度。只做批次會遲鈍，只做線上會不穩。

問：數據越來越多，效果為什麼反而變窄？

答：典型原因是自消費與流行度放大。模型用自己上一版曝光產生的數據訓練，學到的只是它已經相信的東西；加上熱門物品天然獲得更多曝光與更多正樣本，推薦會逐步集中到更小的物品子集。解法是留出 5% 到 10% 的隨機曝光獲取無偏信號，並監控跨版本的多元性與目錄覆蓋。

問：停留時長可以直接當優化目標嗎？

答：不建議單獨用。停留時長難偽造、資訊量大，是最有價值的隱式信號之一，但直接優化它會獎勵被設計來拖住注意力的內容，而那未必是用戶真正覺得有價值的內容。更穩妥的做法是把它作為特徵之一，同時引入滿意度類信號（問卷、明確負回饋）做校正。

問：怎麼判斷閉環是真的在改進而不是在自嗨？

答：做三項體檢。一看標籤延遲尾巴是否超過重訓視窗，超過就說明在用不完整數據訓練；二看跨版本的多元性、新穎性與目錄覆蓋是否穩定或改善，持續收窄即為流行度放大；三看訓練數據中由前一版模型產生的佔比是否持續上升。三項都健康，數據才是在複利；否則只是在結晶。

關於通智雲

搜推系統的長期競爭力來自數據閉環：能不能把曝光、點擊、停留與轉化穩定地回流成下一版模型的輸入，並在這個過程中糾偏與保留探索。通智雲（TENGENCE）專注企業公域引流獲客與私域轉化成交的成長技術，本文涉及的回饋數據治理與效果迭代機制是其持續關注的方向。

資料來源

Recommendation Feedback Loop Low-Level Design: Implicit Signals, Click-Through Tracking, and Model Retraining——TechInterview：隱式信號權重參考值；曝光為分母；按 (item, position) 計算 CTR 與貝氏平滑公式；會話上下文四要素；即時聚合/批次重訓/線上增量三層節奏與門禁部署。
The Data Flywheel Trap: Why Your Feedback Loop May Be Spinning in Place——TianPan：數據變多不等於資訊變多；健康飛輪三條件（記錄曝光策略、區分探索與利用信號並留 5–10% 隨機曝光、延遲滿足）；三項健康度檢查（標籤延遲 vs 重訓視窗、跨版本多元性與覆蓋、自消費比例）。
How do you incorporate feedback loops into recommendation models?——Milvus：線上學習、批次重訓與混合策略的取捨；強化學習路徑；過濾氣泡風險與探索、多元性感知排序；漂移與精度監控。
Implicit Feedback——Inferensys：隱式回饋五類特性；展示偏差與選擇偏差；逆傾向加權與反事實評估；多觸點歸因與因果推斷。
How Recommendation Feeds Actually Work——doyouknow：停留時長的兩面性與滿意度校正；每條推薦都是即時被檢驗的預測；系統從自己生成的數據學習；刻意注入不確定推薦；負信號被低估。