LLM 重排序器选型:Cross-Encoder 与 Bi-Encoder 怎么选
摘要:重排序不是二选一,而是双塔召回加交叉编码器精排的两阶段串联;真正的选型变量是候选集大小、延迟预算与多语言覆盖。
很多团队在给 RAG 或站内搜索加重排序时,第一反应是「换一个更强的模型」。但精度上去了、P95 也上去了,最后不得不回退。本文用工程视角把两类编码器的差异、量化取舍与企业落地路径拆开,给出一套可复核的选型判据。
关键要点
- 官方范式是串联而非替代:Sentence-Transformers 的 Retrieve & Re-rank 教程明确建议先用 Bi-Encoder 取 top-100,再用 Cross-Encoder 重排这些候选。
- 精度差距来自联合注意力:交叉编码器让查询词与文档词在每一层直接交互,能捕捉否定、修饰词与短语级语义,双塔则把两侧各自压成固定长度向量。
- 轻量精排已有可核验基线:cross-encoder/ms-marco-MiniLM-L6-v2 在 TREC Deep Learning 2019 上报 NDCG@10 = 74.30,V100 上约 1,800 documents/sec。
- 成本随候选数线性增长:交叉编码器无法预计算文档向量,N 个候选需要 N 次联合前向;双塔可离线建向量索引,在线成本近乎恒定。
- 召回是天花板:如果正确文档不在 top-100 候选里,任何重排序都救不回来,应先修分词、同义词与多路召回,再谈精排。
- 企业落地要留运营层:固定位、屏蔽、直达、打散与加权应独立于模型分数,并用报表与 A/B 验证每次调整,避免模型升级把业务规则冲掉。
一、结论先行:不是二选一,而是两阶段串联
把两类编码器放在同一个位置上比较,是选型中最常见的框架错误。Sentence-Transformers 在官方 Retrieve & Re-rank 教程 里的表述很直接:Cross-Encoders 的性能高于 Bi-Encoders,但不适于大规模数据集;推荐做法是先用一个高效的 Bi-Encoder 从海量文档中取回最相似的 top-100,再用 Cross-Encoder 对这 100 条逐个计算查询—文档对得分并重排。原因是两者的成本结构完全不同:双塔把文档向量离线算好存进索引,在线只需一次查询编码加一次近邻查找;交叉编码器必须把查询与每个候选拼在一起做一次前向,代价与候选数成正比。于是「用谁」这个问题被改写成「在哪一层用谁」:召回层要覆盖百万级文档,只能用可预计算的双塔;精排层只面对几十到几百条候选,才付得起联合注意力的代价。把这两层拆清楚,后面的精度、延迟与预算讨论才有共同前提,而不是拿两个不同岗位的模型互比高低。
二、原理差异:为什么 Cross-Encoder 更准但不能预计算
精度差异的根源是信息是否在编码阶段相遇。Bi-Encoder 分别把查询和文档编码成两个定长向量,再用点积或余弦相似度打分;查询词与文档词从未在模型内部「见面」,否定词、数值比较、多词短语与细粒度修饰关系都会在这次压缩中丢失,好处是文档向量可以一次性算好复用。Cross-Encoder 则把查询与文档拼成一个序列送进 Transformer,每个查询 token 都能对文档 token 做注意力,输出的是这一对的相关性分数而不是可复用向量。Hugging Face 的 cross-encoder/ms-marco-MiniLM-L6-v2 模型卡 给出的成绩常被当作轻量精排基线:在 TREC Deep Learning 2019 的 passage ranking 任务上 NDCG@10 = 74.30,在 V100 上约 1,800 documents/sec。这个吞吐意味着对 top-100 做重排只增加很小的 GPU 时间,但若把候选放到 top-1000,延迟就会变成产品问题。另一个常被忽略的限制是长度:多数本地交叉编码器在 512 token 处截断,长文档必须先切块,否则精排看到的是被削掉一半的上下文。
三、量化对比:精度、延迟与成本的取舍表
| 维度 | Bi-Encoder(双塔) | Cross-Encoder(交叉编码) |
|---|---|---|
| 输入处理 | 查询与文档分别编码 | 查询与文档拼接后联合编码 |
| 输出 | 每段文本一个可复用向量 | 每个查询—文档对一个分数 |
| 文档向量可预计算 | 是,可离线建索引 | 否,必须在线前向 |
| 在线成本 | 索引后近似恒定 | 随候选数线性增长 |
| 语义精度 | 压缩后有损,弱于联合注意力 | 可捕捉否定与短语级匹配 |
| 典型角色 | 从海量文档召回 top-100 | 对短候选精排,输出 top-10 |
| 长度约束 | 受嵌入模型上下文限制 | 常在 512 token 处截断 |
表格里的分工决定了工程上的三条硬约束。第一,候选集大小直接换算成延迟预算:top-50 与 top-100 在轻量模型上差别不大,再往上就必须靠批量推理、蒸馏或托管接口摊薄。第二,召回质量是天花板——若正确文档压根没进候选,重排再多轮也无解,此时该回头修查询理解与多路召回,而不是继续加大精排模型。第三,企业检索系统通常不想让模型分数独裁,Elasticsearch 的 Learning To Rank 官方文档 给出的做法是把它接成 rescore 阶段:先用倒排或向量检索圈定候选,再用排序模型与人工特征重排,业务规则仍在查询层可控。这也解释了为什么「换个更强模型」往往解决不了运营侧的抱怨。
四、选型判据:候选集大小、延迟预算与多语言
落到选型表上,建议按四个问题依次过一遍。候选集多大:若长期在 top-10 级别且要求极致精度,可以全量用交叉编码器;若面向站内搜索的百万级文档,必须两阶段。延迟预算多少:把精排的额外开销按候选数乘以单次前向估算,再与整体检索的 P95 目标对齐,而不是只看模型卡的吞吐数字。是否需要多语言与长上下文:跨境站点常同时处理中英日韩等多种语言,且商品描述、帮助文档容易超过 512 token,这类场景要么选多语言重排模型与切块策略,要么用托管接口;Cohere Rerank 官方文档 描述的服务即提供 4,096 token 级上下文与多语言支持,适合不想自托管 GPU 的团队。最后问运维能力:自托管模型要管版本、批量大小、量化与回滚,托管接口要管数据出域与调用成本。把这四问答完,再回看前面的对比表,通常就能淘汰掉大半候选,而不是在榜单上挑一个分数最高的模型直接上线。
五、企业落地:把重排序嵌进检索链路与运营干预
真正能长期跑下去的架构,是把精排放在「查询理解 → 多路召回 → 粗排 → 精排 → 运营干预 → 报表与 A/B」这条链路上,而不是让它取代任何一环。查询理解层先做分词、纠错、同义词、类目预测与词权重,召回层用倒排、多路与 AI 语义一起保证正确文档进入候选,粗排把量级压到几百条,精排才对 top-100 做联合打分并输出 top-10。运营干预必须独立于模型分数存在:固定位、屏蔽、直达、打散与加权是业务侧的确定性规则,若与模型耦合,一次模型升级就可能让大促商品消失。通智搜索作为企业级站内搜索引擎,把这类排序与运营干预做成可配置的检索能力,并提供报表与 A/B 让每次调整都能被验证;它面向的是站内检索与转化场景,不涉及对外搜索引擎排名或 AI 答案引用。最后回到 sbert.net 的两阶段范式:先保证召回覆盖,再让精排提升顶部精度,用离线评测集核对 NDCG@10、用在线 A/B 核对转化,重排序才是一项可持续的工程改进,而不是一次性的模型尝鲜。
常见问题
问:召回效果不好,直接加 Cross-Encoder 能救吗?
答:不能。重排序只能改变候选的先后顺序,无法把没被召回的文档变出来。应先检查分词、同义词、多路召回与切块策略,把正确文档送进 top-100,再评估精排收益。
问:候选集设多大比较合适?
答:常见起点是 top-100,再按延迟预算微调。交叉编码器的成本随候选数线性增长,从 top-100 扩到 top-1000 会明显推高延迟;建议用离线评测集找到 NDCG@10 收益开始变平的拐点。
问:74.30 这个 NDCG@10 能直接当成我们业务的目标值吗?
答:不能。它是特定模型在 TREC Deep Learning 2019 公开数据集上的成绩,只适合作为轻量基线的参考。企业数据要用自己的标注集与查询日志重算,再看相对提升。
问:自托管模型和托管重排序接口怎么选?
答:看数据合规、语言覆盖与运维能力。自托管便于定制与私有化,但要管版本、量化与 GPU 容量;托管接口省运维、支持长上下文与多语言,需评估数据出域与调用成本。
问:模型分数和业务规则冲突时听谁的?
答:把运营干预放在精排之后的独立层。固定位、屏蔽、直达与加权属于确定性业务规则,不应被模型升级冲掉;同时用报表与 A/B 观察干预是否真的改善转化,定期复核。
数据来源
- Sentence-Transformers,Retrieve & Re-rank 官方教程:Cross-Encoder 精度更高但不适合大规模;官方推荐 Bi-Encoder 取 top-100 后由 Cross-Encoder 重排。
- Hugging Face,cross-encoder/ms-marco-MiniLM-L6-v2 模型卡:TREC Deep Learning 2019 上 NDCG@10 = 74.30,V100 约 1,800 documents/sec。
- NIST,TREC 2019 Deep Learning Track 官方页:passage 与 document ranking 两任务及评测数据集,NDCG@10 的独立评测背景。
- Elasticsearch,Learning To Rank 官方文档:以 rescore 阶段接入排序模型,配合特征工程与查询层做运营干预。
- Cohere,Rerank 官方文档:托管式重排序接口,支持 4,096 token 级上下文与多语言查询。
相关阅读
立即行动
关于通智云
通智云(TENGENCE)是 AI 时代的企业增长引擎,专注公域引流获客与私域转化成交;核心产品为通智 GEO(GEO + SEO 双引擎)、通智搜索与通智睿见 Insight(智能数据平台)。围绕本文讨论的重排序选型,通智搜索面向企业级站内检索场景,把查询理解、倒排与 AI 语义多路召回、粗排精排模型,以及固定位、屏蔽、直达、打散与加权等运营干预做成可配置能力,并提供报表与 A/B 让每一次排序调整都可量化验证。