搜索推荐数据闭环：怎么用反馈数据优化搜推

摘要：搜推系统的长期差距不在模型结构，而在反馈数据有没有真的闭回去。本文拆解闭环四段：隐式信号怎么采与怎么加权、位置偏差与选择偏差怎么纠正、实时聚合与批量重训与在线增量三种节奏怎么配合，以及如何判断飞轮是在复利还是在自嗨——关键问题是数据变得更有信息量，还是变得更偏。文中给出信号权重参考值、按位置计算点击率的做法与三项飞轮健康度检查。

两个团队用同一套开源模型、同一份特征，半年后效果可以差出一倍。差别通常不在模型，而在数据有没有闭回去：一个每天用新反馈重训并纠偏，另一个把日志堆在数据湖里，模型上线后再没动过。

闭环听起来简单——采数据、训练、上线。真正难的是中间几步：哪些信号算数、权重多少、偏差怎么去、多久重训一次，以及最容易被忽略的一问：这些数据是在让系统变聪明，还是在让它变得更自信地重复自己。

关键要点

曝光不是信号，是分母；点击、停留、划过、收藏、分享的权重差异很大且需实测调优。
点击率必须按位置计算，低曝光物品用贝叶斯平滑，否则冷启动物品会排到极端。
两类偏差必须处理：展示偏差（只能与被展示的物品交互）与选择偏差（未展示项是非随机缺失）。
三种更新节奏分工明确：实时聚合供推理、批量重训改模型、在线增量只追高置信信号。
飞轮的陷阱是"数据变多但信息没变多"——同一曝光策略下的更多数据只会结晶，不会复利。
健康飞轮需要 5% 到 10% 的随机曝光，并把曝光策略与交互数据一起记录。

一、闭环闭的是什么：从曝光到再训练

完整的闭环有五段：曝光与交互采集 → 信号加权与聚合 → 去偏与特征入库 → 训练与门禁 → 上线与再曝光。缺任何一段都不是闭环，只是日志。

第一段容易被做漏的是曝光。只有曝光记录，点击才有分母；没有曝光记录，你只知道用户点了什么，不知道用户"在看到的情况下没点什么"——而后者恰恰是最有价值的负信号。

二、信号层：采什么，权重多少

显式信号（评分、点赞）稀少，隐式信号海量但嘈杂。可用的参考权重体系是这样的：

曝光：本身不是信号，是点击率的分母。
点击：权重约 0.3，中等正向。
停留时长：超过 30 秒记约 0.2；反过来，点击后立刻离开是明确的负信号。
划过未点：约 −0.1，轻度负向。
收藏：约 1.0，强意图。
分享：约 1.0，最强正向。

这套数值不是标准答案，它应当通过 A/B 对照离线排序质量与线上点击率来调。真正重要的是权重有正负、有量级差异，而不是把所有交互等同视作正样本。

停留时长值得单说。它难伪造、不需要用户主动动作，是最有信息量的信号之一；但直接把它当优化目标会出问题——被设计来拖住注意力的内容，未必是用户真正觉得有价值的内容。多家平台因此引入满意度信号（问卷、明确负反馈）来校正，而不是单看停留。

还有一类信号长期被低估：负信号。用户表达"不想要"的通道通常只有隐藏单条或屏蔽账号，导致负反馈稀疏且噪声大；强依赖它又有误删风险。产品侧多给一个"不感兴趣"的入口，对闭环的边际收益往往比调模型更大。

三、去偏：闭环里最容易做错的一步

闭环有个天然缺陷：系统是从自己生成的数据里学习的。用户只能对"被展示的东西"做出反应，模型又拿这些反应训练下一代。这个偏差不纠正，闭环跑得越勤，偏得越快。

两类偏差必须分开处理：

展示偏差——用户只能与系统选择展示的物品交互，靠前位置的物品获得更多点击，未必因为质量更好。处理办法是点击率按位置对计算，而不是按物品算总量；训练时用逆倾向加权或反事实评估纠正。

选择偏差——反馈只对已服务的物品收集，未展示的物品构成"非随机缺失"，不能当作负样本。处理的关键是把曝光策略与交互数据一起记录：不知道数据是哪套策略产生的，就无法纠正位置偏差、流行度偏差与探索带来的偏差。

低曝光物品的点击率还要做平滑处理。用全局均值作为先验，把点击数与曝光数各加上先验值再相除，能避免只被展示过三次、点过一次的物品以 33% 的点击率排到全站第一。

四、管道层：三种节奏各有分工

闭环的更新不是"越快越好"，而是三条节奏各管一件事：

实时聚合（分钟级）：交互事件进消息队列，由流处理引擎做滚动窗口聚合，把物品维度的点击率、收藏率、平均停留写入特征库，供排序模型在推理时直接读取。这一层不改模型，只更新特征。

批量重训（天级）：按固定窗口（常见 90 天）构建交互矩阵训练召回模型，同时用更丰富的特征训练排序模型；留出最近一段时间做验证，用排序质量指标做门禁，通过后蓝绿切换上线。这一层才是"模型变好"的来源。

在线增量（秒到分钟级）：只对高置信信号（收藏、分享这类权重接近 1.0 的）做增量更新，并限制单次更新幅度，避免异常信号突发把模型带偏。它的价值是追热点与突发事件，不是替代批量重训。

三者的组合逻辑很清楚：实时改特征、批量改模型、在线追热点。只做批量会迟钝，只做在线会不稳。

五、飞轮陷阱：数据变多不等于信息变多

这是闭环里最值得警惕的一点。判断飞轮是否健康，该问的不是"我们是不是在采集更多数据"，而是"数据是不是变得更有信息量，还是变得更有偏"。在同样的曝光策略、同样的流行度分布下产生更多数据，不会复利，只会结晶。

健康飞轮需要三个条件：

记录曝光策略，而不只是点击。 没有策略信息，任何纠偏都无从谈起。

区分探索信号与利用信号。 为当前模型最大化互动而做出的曝光，不是训练下一版模型的可靠信号——它只是在复述模型已经相信的东西。留出 5% 到 10% 的随机曝光，是获得无偏信号、做有效反事实评估并跳出流行度放大的最低成本方案。这也是为什么成熟的推荐流会"故意"推一些看似不相关的东西，那不是故障，是探路。

接受延迟满足。 用近期隐式代理（点击、停留）去训练长期目标（留存、复购），本质是损失函数设计问题，不是数据量问题。需要显式建模早期信号与延迟结果之间的关系，并在关系漂移时重训代理模型。

六、三项健康度检查

闭环是否在正常运转，可以用三项指标定期体检：

标签延迟是否超过重训窗口。 如果结果标签（比如是否复购）的延迟尾巴比重训周期还长，你就是在系统性地用不完整数据训练——近期样本全是"还没来得及转化"的假负例。

跨版本的多样性、新颖性与目录覆盖。 如果每个新版本都把推荐更集中到更小的物品子集上，说明方向是流行度放大而非质量提升。真正的飞轮应当让这三个指标改善，至少保持稳定。

自消费比例。 训练数据里由前一版模型输出所产生的占比是否在持续上升。这个比例越高，系统越是在用自己的历史选择喂养自己。

配套还要监控数据漂移与模型精度变化，用实验平台把每一版模型的效果留档可比。缺了这些，飞轮在转、指标在涨，但机制是放大而非改进——系统在变得越来越自信地描述一个越收越窄的分布。

常见问题

问：为什么曝光记录比点击记录更重要？

答：因为曝光是分母，也是负信号的来源。只有点击记录，你只知道用户点了什么；有了曝光记录，才知道用户在看到的情况下没点什么——后者才是判断相关性好坏的关键证据。同时，没有曝光策略的记录，就无法纠正位置偏差与选择偏差，纠偏这步会直接失效。

问：点击率该怎么算才不失真？

答：两条。一是按位置对计算，即某物品在某位置上的点击数除以它在同一位置上的曝光数，避免靠前位置天然吃到的点击被误判为质量优势；二是对低曝光物品做平滑，用全局均值作先验，把点击数与曝光数各加先验值再相除，防止只展示三次、点过一次的物品排到极端。

问：实时更新和批量重训该选哪个？

答：都要，它们改的东西不同。实时更新改的是特征（分钟级的点击率、停留均值写入特征库供推理读取），批量重训改的是模型（天级全量训练加门禁后上线）。此外可对收藏、分享这类高置信信号做在线增量更新来追热点，但要限制单次更新幅度。只做批量会迟钝，只做在线会不稳。

问：数据越来越多，效果为什么反而变窄？

答：典型原因是自消费与流行度放大。模型用自己上一版曝光产生的数据训练，学到的只是它已经相信的东西；加上热门物品天然获得更多曝光与更多正样本，推荐会逐步集中到更小的物品子集。解法是留出 5% 到 10% 的随机曝光获取无偏信号，并监控跨版本的多样性与目录覆盖。

问：停留时长可以直接当优化目标吗？

答：不建议单独用。停留时长难伪造、信息量大，是最有价值的隐式信号之一，但直接优化它会奖励被设计来拖住注意力的内容，而那未必是用户真正觉得有价值的内容。更稳妥的做法是把它作为特征之一，同时引入满意度类信号（问卷、明确负反馈）做校正。

问：怎么判断闭环是真的在改进而不是在自嗨？

答：做三项体检。一看标签延迟尾巴是否超过重训窗口，超过就说明在用不完整数据训练；二看跨版本的多样性、新颖性与目录覆盖是否稳定或改善，持续收窄即为流行度放大；三看训练数据中由前一版模型产生的占比是否持续上升。三项都健康，数据才是在复利；否则只是在结晶。

关于通智云

搜推系统的长期竞争力来自数据闭环：能不能把曝光、点击、停留与转化稳定地回流成下一版模型的输入，并在这个过程中纠偏与保留探索。通智云（TENGENCE）专注企业公域引流获客与私域转化成交的增长技术，本文涉及的反馈数据治理与效果迭代机制是其持续关注的方向。

数据来源

Recommendation Feedback Loop Low-Level Design: Implicit Signals, Click-Through Tracking, and Model Retraining——TechInterview：隐式信号权重参考值；曝光为分母；按 (item, position) 计算 CTR 与贝叶斯平滑公式；会话上下文四要素；实时聚合/批量重训/在线增量三层节奏与门禁部署。
The Data Flywheel Trap: Why Your Feedback Loop May Be Spinning in Place——TianPan：数据变多不等于信息变多；健康飞轮三条件（记录曝光策略、区分探索与利用信号并留 5–10% 随机曝光、延迟满足）；三项健康度检查（标签延迟 vs 重训窗口、跨版本多样性与覆盖、自消费比例）。
How do you incorporate feedback loops into recommendation models?——Milvus：在线学习、批量重训与混合策略的取舍；强化学习路径；过滤气泡风险与探索、多样性感知排序；漂移与精度监控。
Implicit Feedback——Inferensys：隐式反馈五类特性；展示偏差与选择偏差；逆倾向加权与反事实评估；多触点归因与因果推断。
How Recommendation Feeds Actually Work——doyouknow：停留时长的两面性与满意度校正；每条推荐都是即时被检验的预测；系统从自己生成的数据学习；刻意注入不确定推荐；负信号被低估。