返回

向量检索 vs 关键词检索:何时用哪个的选型结论

通智云团队 ·
向量检索 vs 关键词检索:何时用哪个的选型结论

摘要:向量检索与关键词检索不是二选一,而是按查询形态分工——BM25 守精确词与代码,向量检索接同义与自然语言;混合检索(RRF 融合 + 重排)才是生产环境的稳健默认。

当你要为企业的知识库、站内搜索或 RAG 系统选型时,最常问的问题是"该上向量还是关键词"。正确问法是"哪些查询会失败、我们承担不起哪种失败"。因为两者的失败模式刚好互补:向量检索会漏掉精确 token(错误码、零件号、函数名),关键词检索会漏掉同义与改写。选错了,用户搜"ERR_4021"或"怎么退订"都会扑空。

一、先给结论:按查询形态分工,而非二选一

不要把向量检索当成关键词检索的替代品。最稳的架构是并行维护两条检索通道,再用融合与重排合成一个结果集。这样既兜住"精确命中"也兜住"语义命中",让不同习惯的用户都查得到。对大多数真实语料,纯向量或纯 BM25 都会在某些查询上失分,而混合检索几乎总能在两端同时达标。

二、核心差异一览

维度 关键词检索(BM25) 向量检索(稠密)
匹配依据 字面 token、词频、逆文档频率 embedding 语义相似度(余弦/点积)
擅长 精确词、ID、代码、SKU、错误码 同义改写、自然语言、跨语言
盲区 同义与改写完全漏检 罕见精确 token 常被当作噪声
可解释性 高(命中即含查询词) 低(不易说明为何命中)
基础设施 倒排索引,成熟廉价 embedding 模型 + 向量索引(ANN)

三、关键词检索(BM25)胜出的场景

BM25 基于词频、逆文档频率与文档长度归一排序,是 Lucene、Elasticsearch、OpenSearch 全文检索的核心。它在三处明显占优:一是精确匹配——零件号、SKU、错误码(如"SKU-8821""ORA-00600"),向量模型可能从没见过这些串;二是稀有技术词——embedding 会把罕见词模糊推向常见词,BM25 不受影响;三是新内容与小语料——关键词索引即时更新、无需重新 embedding,且结果可逐条解释,便于合规审计。

四、向量检索胜出的场景

向量检索把查询与文档映射到同一向量空间,按语义邻近度召回。它赢在词汇错位:用户问"怎么给网站提速",文档写的是"优化页面加载时间";又如同义(笔记本 vs 手提电脑)、跨语言(英文查中文文档)、概念匹配。当语料大且规整、embedding 模型质量好、查询措辞高度多变时,向量检索的召回优势最明显,特别适合对话式与 FAQ 类查询。

五、混合检索为何成为生产标配

真实查询往往是"混合体":一条工单"退款后 /v2/payments/create 报 504",错误码与端点是 BM25 的地盘,周围的自然语言是向量的地盘。混合检索并行跑两条通道再融合,标准做法是用 Reciprocal Rank Fusion(RRF):对每个文档累加 1/(k+rank)(k 常取 60),只用排名、无需对余弦与 BM25 分数做归一。在 BEIR 等基准上,混合(BM25+稠密)稳定优于单独任一,nDCG@10 典型提升 5–15%,这正是 2026 年严肃搜索栈几乎清一色混合的原因。

六、如何选型:按场景决策

可遵循一条简单框架:概念型、对话型、标识符少的语料,从稠密检索起步;标识符密集(支持工单、电商 SKU、代码搜索、金融法条)优先混合;罕见或全新术语(上周上线的产品、内部缩写)BM25 不在乎而向量没学过,也必须混合。生产栈常见组合是"混合召回(top 50 候选池,高召回)→ cross-encoder 重排(提升小 k 精度)→ 取 top 若干送模型",两者堆叠而非竞争。成本上,OpenSearch、Elasticsearch、pgvector、专用向量库多可在同一存储内同时维护倒排与向量索引,简化同步。

七、通智搜索:把混合检索做成开箱即用的企业级能力

对多数团队而言,自搭"向量索引 + 倒排索引 + 融合 + 重排"的真正成本不在算法,而在工程与运维:索引同步、向量库选型、重排模型部署与评估集建设。通智搜索把这些环节收敛为一个面向企业站内检索的产品——查询理解先做分词、纠错与意图识别,再并行走 BM25 与向量两条召回通道,经 RRF 融合与重排产出最终列表,并内置零结果治理与报表。团队无需各自维护两套基础设施,即可在站内搜索、知识库问答等场景直接获得混合检索的收益。对已经在使用 Elasticsearch、OpenSearch 的团队,也可以把它作为检索增强层接入,先拿到召回与精度的提升,再逐步迁移。

关键要点

常见问题

问:向量检索会取代关键词检索吗?
答:不会。两者失败模式互补,生产环境几乎都用混合检索同时兜住精确命中与语义命中。

问:混合检索一定要上向量数据库吗?
答:小规模不必。OpenSearch、Elasticsearch、pgvector 等都可在同一存储内同时维护倒排与向量索引。

问:RRF 和加权融合怎么选?
答:先用 RRF(参数少、稳健);只有当评估集显示某域需要特定稠密/稀疏配比时,再迁移到加权融合。

问:加了重排还有必要做混合召回吗?
答:有必要。混合提升进入候选池的召回,重排提升候选池内的精度,两者分工、叠加才稳。

问:从零开始该先建哪种索引?
答:先上关键词检索拿基线(廉价、可解释),再加向量索引,用真实查询评估召回是否真的提升。

数据来源

  1. Gateco — When to Use Which Search Mode: Vector, Keyword, Hybrid, or Grep(2026):检索模式选择框架与 alpha 参数。
  2. The Prompt Bench — Hybrid vs. Vector vs. Keyword Retrieval(2026):BM25、向量与 RRF 融合原理,BEIR 上 nDCG@10 提升 5–15%。
  3. Agent Lingshu — 语义搜索 vs 关键词搜索 2026(2026-08-11):BM25 与 embedding 各自胜场,主流引擎混合支持情况。
  4. Proxy Tech Support — Hybrid Search vs Vector Search(2026):两种检索的互补失败模式与 RRF/加权融合。
  5. Safeguard — Keyword or vector search for code(2026-10-19):Anthropic 经验,embedding+BM25 优于单独 embedding,失败率 5.7%→1.9%。

相关阅读

关于通智云

通智搜索是通智云面向企业站内检索场景的产品,覆盖查询理解、混合召回(BM25 + 向量)、重排与零结果治理等环节,把上述"按查询形态分工 + 混合融合 + 重排"的生产栈做成开箱即用的企业级检索能力。通智云(TENGENCE)是 AI 时代的企业增长引擎,专注公域引流获客与私域转化成交;核心产品为通智 GEO(GEO + SEO 双引擎)与通智搜索。

立即行动

← 上一篇: 2026 年 GEO 趋势:AI 搜索的 7 个变化与企业的应对优先级 下一篇: 产品分析 vs 网站分析 vs BI:何时用哪个 →
咨询
二维码

企业微信