向量檢索 vs 關鍵詞檢索:何時用哪個的選型結論
摘要:向量檢索與關鍵詞檢索不是二選一,而是按查詢形態分工——BM25 守精確詞與代碼,向量檢索接同義改寫與自然語言;混合檢索(RRF 融合 + 重排)才是生產環境的穩健預設。
當你要為企業的知識庫、站內搜尋或 RAG 系統選型時,最常問的問題是「該上向量還是關鍵詞」。正確問法是「哪些查詢會失敗、我們承擔不起哪種失敗」。因為兩者的失敗模式剛好互補:向量檢索會漏掉精確 token(錯誤碼、零件號、函式名),關鍵詞檢索會漏掉同義與改寫。選錯了,使用者搜「ERR_4021」或「怎麼退訂」都會撲空。
一、先給結論:按查詢形態分工,而非二選一
不要把向量檢索當成關鍵詞檢索的替代品。最穩的架構是平行維護兩條檢索通道,再用融合與重排合成一個結果集。這樣既兜住「精確命中」也兜住「語義命中」,讓不同習慣的使用者都查得到。對大多數真實語料,純向量或純 BM25 都會在某些查詢上失分,而混合檢索幾乎總能在兩端同時達標。
二、核心差異一覽
| 維度 | 關鍵詞檢索(BM25) | 向量檢索(稠密) |
|---|---|---|
| 匹配依據 | 字面 token、詞頻、逆文件頻率 | embedding 語義相似度(餘弦/點積) |
| 擅長 | 精確詞、ID、代碼、SKU、錯誤碼 | 同義改寫、自然語言、跨語言 |
| 盲區 | 同義與改寫完全漏檢 | 罕見精確 token 常被當作雜訊 |
| 可解釋性 | 高(命中即含查詢詞) | 低(不易說明為何命中) |
| 基礎設施 | 倒排索引,成熟廉價 | embedding 模型 + 向量索引(ANN) |
三、關鍵詞檢索(BM25)勝出的場景
BM25 基於詞頻、逆文件頻率與文件長度歸一排序,是 Lucene、Elasticsearch、OpenSearch 全文檢索的核心。它在三處明顯佔優:一是精確匹配——零件號、SKU、錯誤碼(如「SKU-8821」「ORA-00600」),向量模型可能從沒見過這些串;二是罕見技術詞——embedding 會把罕見詞模糊推向常見詞,BM25 不受影響;三是新內容與小語料——關鍵詞索引即時更新、無需重新 embedding,且結果可逐條解釋,便於合規審計。
四、向量檢索勝出的場景
向量檢索把查詢與文件映射到同一向量空間,按語義鄰近度召回。它贏在詞彙錯位:使用者問「怎麼給網站提速」,文件寫的是「最佳化頁面載入時間」;又如同義(筆電 vs 手提電腦)、跨語言(英文查中文文件)、概念匹配。當語料大且規整、embedding 模型品質好、查詢措辭高度多變時,向量檢索的召回優勢最明顯,特別適合對話式與 FAQ 類查詢。
五、混合檢索為何成為生產標配
真實查詢往往是「混合體」:一條工單「退款後 /v2/payments/create 報 504」,錯誤碼與端點是 BM25 的地盤,周圍的自然語言是向量的地盤。混合檢索平行跑兩條通道再融合,標準做法是用 Reciprocal Rank Fusion(RRF):對每個文件累加 1/(k+rank)(k 常取 60),只用排名、無需對餘弦與 BM25 分數做歸一。在 BEIR 等基準上,混合(BM25+稠密)穩定優於單獨任一,nDCG@10 典型提升 5–15%,這正是 2026 年嚴肅搜尋棧幾乎清一色混合的原因。
六、如何選型:按場景決策
可遵循一條簡單框架:概念型、對話型、識別符少的語料,從稠密檢索起步;識別符密集(支援工單、電商 SKU、程式碼搜尋、金融法條)優先混合;罕見或全新術語(上週上線的產品、內部縮寫)BM25 不在乎而向量沒學過,也必須混合。生產棧常見組合是「混合召回(top 50 候選池,高召回)→ cross-encoder 重排(提升小 k 精度)→ 取 top 若干送模型」,兩者堆疊而非競爭。成本上,OpenSearch、Elasticsearch、pgvector、專用向量庫多可在同一儲存內同時維護倒排與向量索引,簡化同步。
七、通智搜尋:把混合檢索做成開箱即用的企業級能力
對多數團隊而言,自搭「向量索引 + 倒排索引 + 融合 + 重排」的真正成本不在演算法,而在工程與維運:索引同步、向量庫選型、重排模型部署與評估集建設。通智搜尋把這些環節收斂為一個面向企業站內檢索的產品——查詢理解先做分詞、糾錯與意圖識別,再平行走 BM25 與向量兩條召回通道,經 RRF 融合與重排產出最終列表,並內建零結果治理與報表。團隊無需各自維護兩套基礎設施,即可在站內搜尋、知識庫問答等場景直接獲得混合檢索的收益。對已經在使用 Elasticsearch、OpenSearch 的團隊,也可以把它作為檢索增強層接入,先拿到召回與精度的提升,再逐步遷移。
關鍵要點
- 向量與關鍵詞不是替代關係,而是按查詢形態分工。
- BM25 守精確詞、ID、代碼;向量檢索接同義、改寫與自然語言。
- 兩者失敗模式互補,這正是混合檢索存在的理由。
- 主流融合用 RRF(k≈60),無需對分數歸一;也可做加權融合調參。
- BEIR 等基準上混合比單一方式 nDCG@10 典型提升 5–15%。
- 生產棧:混合召回(高召回)→ 重排(高精度)→ 取 top 送模型。
常見問題
問:向量檢索會取代關鍵詞檢索嗎?
答:不會。兩者失敗模式互補,生產環境幾乎都用混合檢索同時兜住精確命中與語義命中。
問:混合檢索一定要上向量資料庫嗎?
答:小規模不必。OpenSearch、Elasticsearch、pgvector 等都可在同一儲存內同時維護倒排與向量索引。
問:RRF 和加權融合怎麼選?
答:先用 RRF(參數少、穩健);只有當評估集顯示某域需要特定稠密/稀疏配比時,再遷移到加權融合。
問:加了重排還有必要做混合召回嗎?
答:有必要。混合提升進入候選池的召回,重排提升候選池內的精度,兩者分工、堆疊才穩。
問:從零開始該先建哪種索引?
答:先上關鍵詞檢索拿基線(廉價、可解釋),再加向量索引,用真實查詢評估召回是否真的提升。
資料來源
- Gateco — When to Use Which Search Mode: Vector, Keyword, Hybrid, or Grep(2026):檢索模式選擇框架與 alpha 參數。
- The Prompt Bench — Hybrid vs. Vector vs. Keyword Retrieval(2026):BM25、向量與 RRF 融合原理,BEIR 上 nDCG@10 提升 5–15%。
- Agent Lingshu — 語義搜尋 vs 關鍵詞搜尋 2026(2026-08-11):BM25 與 embedding 各自勝場,主流引擎混合支援情況。
- Proxy Tech Support — Hybrid Search vs Vector Search(2026):兩種檢索的互補失敗模式與 RRF/加權融合。
- Safeguard — Keyword or vector search for code(2026-10-19):Anthropic 經驗,embedding+BM25 優於單獨 embedding,失敗率 5.7%→1.9%。
相關閱讀
關於通智雲
通智搜尋是通智雲面向企業站內檢索場景的產品,覆蓋查詢理解、混合召回(BM25 + 向量)、重排與零結果治理等環節,把上述「按查詢形態分工 + 混合融合 + 重排」的生產棧做成開箱即用的企業級檢索能力。通智雲(Tengence)是 AI 時代的企业增長引擎,專注公域引流獲客與私域轉化成交;核心產品為通智 GEO(GEO + SEO 雙引擎)與通智搜尋。