返回

LLM 重排序器選型:Cross-Encoder 與 Bi-Encoder 怎麼選

通智雲團隊 ·
向量搜尋 排序演算法 通智搜尋
LLM 重排序器選型:Cross-Encoder 與 Bi-Encoder 怎麼選

摘要:重排序不是二選一,而是雙塔召回加交叉編碼器精排的兩階段串聯;真正的選型變量是候選集大小、延遲預算與多語言覆蓋。

很多團隊在給 RAG 或站內搜索加重排序時,第一反應是「換一個更強的模型」。但精度上去了、P95 也上去了,最後不得不回退。本文用工程視角把兩類編碼器的差異、量化取捨與企業落地路徑拆開,給出一套可覆核的選型判據。

關鍵要點

一、結論先行:不是二選一,而是兩階段串聯

把兩類編碼器放在同一個位置上比較,是選型中最常見的框架錯誤。Sentence-Transformers 在官方 Retrieve & Re-rank 教程 裡的表述很直接:Cross-Encoders 的性能高於 Bi-Encoders,但不適於大規模數據集;推薦做法是先用一個高效的 Bi-Encoder 從海量檔案中取回最相似的 top-100,再用 Cross-Encoder 對這 100 條逐個計算查詢—檔案對得分並重排。原因是兩者的成本結構完全不同:雙塔把檔案向量離線算好存進索引,在線只需一次查詢編碼加一次近鄰查找;交叉編碼器必須把查詢與每個候選拼在一起做一次前向,代價與候選數成正比。於是「用誰」這個問題被改寫成「在哪一層用誰」:召回層要覆蓋百萬級檔案,只能用可預計算的雙塔;精排層只面對幾十到幾百條候選,才付得起聯合注意力的代價。把這兩層拆清楚,後面的精度、延遲與預算討論才有共同前提,而不是拿兩個不同崗位的模型互比高低。

二、原理差異:為什麼 Cross-Encoder 更準但不能預計算

精度差異的根源是資訊是否在編碼階段相遇。Bi-Encoder 分別把查詢和檔案編碼成兩個定長向量,再用點積或餘弦相似度打分;查詢詞與檔案詞從未在模型內部「見面」,否定詞、數值比較、多詞短語與細粒度修飾關係都會在這次壓縮中丟失,好處是檔案向量可以一次性算好復用。Cross-Encoder 則把查詢與檔案拼成一個序列送進 Transformer,每個查詢 token 都能對檔案 token 做注意力,輸出的是這一對的相關性分數而不是可復用向量。Hugging Face 的 cross-encoder/ms-marco-MiniLM-L6-v2 模型卡 給出的成績常被當作輕量精排基線:在 TREC Deep Learning 2019 的 passage ranking 任務上 NDCG@10 = 74.30,在 V100 上約 1,800 documents/sec。這個吞吐意味着對 top-100 做重排只增加很小的 GPU 時間,但若把候選放到 top-1000,延遲就會變成產品問題。另一個常被忽略的限制是長度:多數本地交叉編碼器在 512 token 處截斷,長檔案必須先切塊,否則精排看到的是被削掉一半的上下文。

三、量化對比:精度、延遲與成本的取捨表

維度 Bi-Encoder(雙塔) Cross-Encoder(交叉編碼)
輸入處理 查詢與檔案分別編碼 查詢與檔案拼接後聯合編碼
輸出 每段文本一個可復用向量 每個查詢—檔案對一個分數
檔案向量可預計算 是,可離線建索引 否,必須在線前向
在線成本 索引後近似恆定 隨候選數線性增長
語義精度 壓縮後有損,弱於聯合注意力 可捕捉否定與短語級匹配
典型角色 從海量檔案召回 top-100 對短候選精排,輸出 top-10
長度約束 受嵌入模型上下文限制 常在 512 token 處截斷

表格裡的分工決定了工程上的三條硬約束。第一,候選集大小直接換算成延遲預算:top-50 與 top-100 在輕量模型上差別不大,再往上就必須靠批量推理、蒸餾或託管接口攤薄。第二,召回品質是天花板——若正確檔案壓根沒進候選,重排再多輪也無解,此時該回頭修查詢理解與多路召回,而不是繼續加大精排模型。第三,企業檢索系統通常不想讓模型分數獨裁,Elasticsearch 的 Learning To Rank 官方檔案 給出的做法是把它接成 rescore 階段:先用倒排或向量檢索圈定候選,再用排序模型與人工特徵重排,業務規則仍在查詢層可控。這也解釋了為什麼「換個更強模型」往往解決不了運營側的抱怨。

四、選型判據:候選集大小、延遲預算與多語言

落到選型表上,建議按四個問題依次過一遍。候選集多大:若長期在 top-10 級別且要求極致精度,可以全量用交叉編碼器;若面向站內搜索的百萬級檔案,必須兩階段。延遲預算多少:把精排的額外開銷按候選數乘以單次前向估算,再與整體檢索的 P95 目標對齊,而不是只看模型卡的吞吐數字。是否需要多語言與長上下文:跨境站點常同時處理中英日韓等多種語言,且商品描述、幫助檔案容易超過 512 token,這類場景要麼選多語言重排模型與切塊策略,要麼用託管接口;Cohere Rerank 官方檔案 描述的服務即提供 4,096 token 級上下文與多語言支持,適合不想自託管 GPU 的團隊。最後問運維能力:自託管模型要管版本、批量大小、量化與回滾,託管接口要管數據出域與調用成本。把這四問答完,再回看前面的對比表,通常就能淘汰掉大半候選,而不是在榜單上挑一個分數最高的模型直接上線。

五、企業落地:把重排序嵌進檢索鏈路與運營幹預

真正能長期跑下去的架構,是把精排放在「查詢理解 → 多路召回 → 粗排 → 精排 → 運營幹預 → 報表與 A/B」這條鏈路上,而不是讓它取代任何一環。查詢理解層先做分詞、糾錯、同義詞、類目預測與詞權重,召回層用倒排、多路與 AI 語義一起保證正確檔案進入候選,粗排把量級壓到幾百條,精排才對 top-100 做聯合打分並輸出 top-10。運營幹預必須獨立於模型分數存在:固定位、屏蔽、直達、打散與加權是業務側的確定性規則,若與模型耦合,一次模型升級就可能讓大促商品消失。通智搜尋作為企業級站內搜索引擎,把這類排序與運營幹預做成可配置的檢索能力,並提供報表與 A/B 讓每次調整都能被驗證;它面向的是站內檢索與轉化場景,不涉及對外搜索引擎排名或 AI 答案引用。最後回到 sbert.net 的兩階段範式:先保證召回覆蓋,再讓精排提升頂部精度,用離線評測集核對 NDCG@10、用在線 A/B 核對轉化,重排序才是一項可持續的工程改進,而不是一次性的模型嘗鮮。

常見問題

問:召回效果不好,直接加 Cross-Encoder 能救嗎?

答:不能。重排序只能改變候選的先後順序,無法把沒被召回的檔案變出來。應先檢查分詞、同義詞、多路召回與切塊策略,把正確檔案送進 top-100,再評估精排收益。

問:候選集設多大比較合適?

答:常見起點是 top-100,再按延遲預算微調。交叉編碼器的成本隨候選數線性增長,從 top-100 擴到 top-1000 會明顯推高延遲;建議用離線評測集找到 NDCG@10 收益開始變平的拐點。

問:74.30 這個 NDCG@10 能直接當成我們業務的目標值嗎?

答:不能。它是特定模型在 TREC Deep Learning 2019 公開數據集上的成績,只適合作為輕量基線的參考。企業數據要用自己的標註集與查詢日誌重算,再看相對提升。

問:自託管模型和託管重排序接口怎麼選?

答:看數據合規、語言覆蓋與運維能力。自託管便於定製與私有化,但要管版本、量化與 GPU 容量;託管接口省運維、支持長上下文與多語言,需評估數據出域與調用成本。

問:模型分數和業務規則衝突時聽誰的?

答:把運營幹預放在精排之後的獨立層。固定位、屏蔽、直達與加權屬於確定性業務規則,不應被模型升級衝掉;同時用報表與 A/B 觀察幹預是否真的改善轉化,定期覆核。

資料來源

相關閱讀

立即行動

關於通智雲

通智雲(TENGENCE)是 AI 時代的企業增長引擎,專注公域引流獲客與私域轉化成交;核心產品為通智 GEO(GEO + SEO 雙引擎)、通智搜尋與通智睿見 Insight(智能數據平臺)。圍繞本文討論的重排序選型,通智搜尋麵向企業級站內檢索場景,把查詢理解、倒排與 AI 語義多路召回、粗排精排模型,以及固定位、屏蔽、直達、打散與加權等運營幹預做成可配置能力,並提供報表與 A/B 讓每一次排序調整都可量化驗證。

← 上一篇: 某耳機製造商 SEO/GEO 雙引擎優化診斷報告 下一篇: AI 搜尋優化怎麼做?企業實施 GEO 的 7 個步驟 →
諮詢
二維碼

企業微信