搜索词意图识别：query 理解如何提升相关性
摘要：站内搜索相关性的上限由 query 理解决定——用户输入的查询平均只有 2–3 个词，引擎必须先还原"用户真正想要什么"，再决定召回什么、怎么排序。本文给出意图分类体系、从规则到统计模型再到 LLM 的三层实现架构，以及识别之后的路由、改写与兜底策略。
很多相关性问题的根源不在排序算法，而在入口就没听懂用户。搜"苹果"可能是水果也可能是手机；搜"退货"可能是想看政策，也可能是想发起退货。若引擎不做意图识别，只能返回一组折中的结果，看起来个个相关、实际没一个命中。本文从意图分类体系讲起，给出可落地的三层架构与评估方法。
关键要点
- 查询平均只有 2–3 个词，缺少上下文，意图识别是相关性优化的第一道关口。
- 经典三类意图中信息型占比最高（研究显示超过 80%），导航型与事务型各约 10%。
- 企业站内搜索应扩展到六类意图，并为每类配置不同的召回与结果形态策略。
- 实现上应按"规则词典 → 统计/深度分类 → LLM 兜底"三层渐进，兼顾延迟与覆盖。
- 意图应输出概率分布而非单一标签，低置信度走混合检索兜底，避免误判硬伤。
- 评估用准确率、F1 与业务指标（零结果率、改写率、首次搜索成功率）双重口径。
一、意图识别决定相关性的上限
相关性优化通常从排序入手，但排序能做的只是在候选集合里排个先后；如果候选集合本身就是错的，再好的排序也无解。而候选集合由 query 理解决定：分词是否切对、同义是否归一、实体是否识别、意图是否判明。
query 理解的难点在于输入极短。研究显示，用户查询平均由 2–3 个关键词构成，缺少句子的语法结构与上下文，传统的自然语言处理工具又多为长文档设计，直接套用效果会打折扣——这也是为什么需要为查询专门设计的实体识别与语言模型。短文本带来的直接后果是歧义：同一个查询在不同业务场景下指向完全不同的目标，而这正是意图识别要解决的问题。
二、意图分类体系：从经典三类到六类
经典研究把查询意图分为信息型、导航型与事务型三类。基于百万级查询日志的统计显示，信息型占比超过 80%，导航型与事务型各约 10%。这套分类对通用搜索引擎足够，但企业站内搜索需要更细的粒度，因为不同意图对应的处置动作完全不同。
| 意图类型 | 典型查询 | 期望结果 | 检索策略 |
|---|---|---|---|
| 信息型 | "报销流程""什么是 RAG" | 解释、步骤、文档片段 | 语义召回 + 答案片段直达 |
| 导航型 | "考勤系统""登录页" | 唯一目标页面或系统入口 | 标题/域精确匹配，直接跳转 |
| 事务型 | "下载 客户端""提交工单" | 可操作的页面或表单 | 元数据过滤，直达功能页 |
| 商业调研型 | "A 方案 vs B 方案" | 对比表、评测、选型建议 | 混合检索 + 权威度加权 |
| 本地型 | "附近的服务点""某城市仓库" | 地图、地址、就近列表 | 地理过滤 + 实体匹配 |
| 事实型 | "最新版本是多少""谁负责" | 单一可验证事实 | 实体抽取 + 知识库/图谱定位 |
对企业而言，导航型与事务型尤其值得单独处理：用户搜"报销系统"时最想要的是直达入口，而不是十篇制度文档。识别这两类并给出直达卡片，往往是最快见效的优化。此外，移动端约 30% 的查询带有本地意图，涉及门店、服务点与区域库存的场景应把地理过滤前置。
三、技术实现：规则词典、统计分类与 LLM 的三层架构
第一层是规则与词典，处理高频确定性模式。包括精确匹配词典（品牌、产品型号、系统名）、正则（订单号、编号、日期）、以及同义词与纠错表。它的价值是零延迟成本、可解释、可即时修正，应该覆盖 60%–80% 的高频查询。
第二层是统计与深度学习分类。用标注过的查询日志训练分类器（从传统机器学习到微调的 Transformer 模型），输出意图标签与置信度。这类方法能处理词典覆盖不到的长尾表达，延迟通常在 10–100 毫秒量级，适合作为主力。第三层是 LLM 零/少样本兜底，用于新词、复杂长句与多意图查询，几乎不需要标注数据，但延迟在 100–1000 毫秒以上，只适合低流量或异步场景。
| 方案 | 延迟量级 | 数据需求 | 可解释性 | 适用场景 |
|---|---|---|---|---|
| 规则 + 词典 | < 10 ms | 无需标注，靠人工维护 | 高 | 高频确定性查询、直达入口 |
| 传统机器学习 | < 10 ms | 大量标注数据 | 中 | 意图体系稳定、低延迟生产环境 |
| 深度学习（BERT 类） | 10–100 ms | 大量标注数据 | 低 | 复杂语义、固定业务域 |
| LLM 零/少样本 | 100–1000+ ms | 极少标注 | 低 | 新词、长句、动态意图、原型验证 |
四、识别之后：路由、查询改写与实体抽取
识别出意图只是开始，关键是把意图转换成检索动作，即"路由"。信息型查询走语义召回 + 精选片段；导航型直接返回目标页卡片；事务型返回可操作组件（按钮、表单入口）；事实型走实体与知识库定位。研究也指出，在检索增强生成（RAG）架构里，意图分类决定了去哪个知识源取上下文，是抑制幻觉的第一道闸门。
查询改写与实体抽取是同一环节的两翼。改写包括纠错、同义归一、省略补全与拼写变体合并，让"无线耳机"与"蓝牙耳机"落到同一召回集合；实体抽取识别品牌、型号、地点、人名、时间等结构化要素，供过滤器与排序使用。三者共同构成"查询理解层"，其输出是一份结构化的检索意图描述，而非一个字符串。
需要特别注意的是，意图必须输出概率分布而非硬性单一标签。经典研究的自动分类准确率约 74%，剩余约 25% 的查询意图本就模糊或多重——强行打成单一标签必然误判。正确做法是对高置信度查询走专用策略，对低置信度查询退化为"混合检索 + 多路召回 + 融合排序"，并保留结果页上的筛选器让用户自行收窄。
五、准确率怎么评估与提升
评估要同时看模型指标与业务指标。模型侧用留出测试集计算准确率、精确率、召回率与 F1，并按意图类别分别统计——宏平均能暴露小类别被牺牲的问题。实践中，自动分类的准确率基线约在 74% 左右；通过引入面向查询的语言特征（如大小写无关模型、查询专用实体识别），准确率可比纯词特征方法提升数个百分点。
业务侧则看意图识别上线后零结果率、改写率、首次搜索成功率与点击位置是否改善。提升路径有三条：一是扩充标注集，优先标注高频与高价值查询；二是做难例治理，把缩写、多意图、新词与跨类目查询单独成册，用规则或 LLM 专项兜底；三是建立反馈闭环，把"用户点击了哪一类结果"作为意图标签的弱监督信号持续回流，让分类器随业务演进。
六、企业落地路径：从日志标注到线上灰度
落地建议分四步走。第一步建评估集：从查询日志里抽样 500–1000 条高频与典型查询做人工标注，作为训练与测试的黄金集；这一步没有捷径，但决定了后续一切优化是否可衡量。第二步先上规则层：把精确匹配、同义词与纠错词典上线，通常就能拿下大部分高频查询的可见改善。
第三步训练分类层：用标注集训练模型，先在离线评估集上跑到可接受水平，再以影子模式（shadow mode）上线——只记录预测不生效，对比预测与用户实际行为的吻合度。第四步灰度与兜底：按置信度分流，高置信度走专用路由，低置信度走混合检索；持续监控每类意图的零结果率与点击率，异常即回滚该类路由。
整个过程中，词典与规则需要专人维护，且与业务变更同步（上新品牌、改产品名、调整流程说法都要更新）。把意图体系当作一份需要持续运营的资产，而不是一次性交付的模型，是它能否长期有效的关键。
常见问题
问：意图识别一定要上模型吗？规则和词典够不够？
答：起步阶段规则与词典往往就能覆盖 60%–80% 的高频查询，且可解释、易修正、零延迟成本。模型用来解决长尾与新词。建议先上规则层拿可见收益，再逐步引入分类模型与 LLM 兜底。
问：意图分类的准确率做到多少才算可用？
答：学术研究给出的自动分类准确率基线约 74%，且剩余约 25% 的查询本就意图模糊或多重。因此不应追求接近 100% 的单标签准确率，而应输出概率分布，对低置信度查询走混合检索兜底。
问：导航型和事务型为什么要单独处理？
答：因为用户想要的是"直达"而非"相关列表"。搜某个系统名时返回十篇文档是失败的，正确做法是返回目标页卡片或功能入口。这两类在企业站内搜索中占比不高但体验影响极大，是最快见效的优化点。
问：LLM 可以直接替代分类模型吗？
答：不建议直接替代。LLM 零/少样本几乎不需要标注、能处理新词与复杂长句，但延迟通常在 100–1000 毫秒以上，成本也更高。合理定位是低流量与难例兜底，主流量仍由规则与分类模型承担。
问：多意图查询怎么处理？
答：不要强打单一标签。输出多标签与概率分布，走多路召回后融合排序，并在结果页提供筛选器让用户自行收窄。经典研究也指出约四分之一的查询意图模糊或多重，需要概率化分类。
问：怎么判断意图识别是否真的提升了效果？
答：双口径验证：模型侧看留出集上的准确率与分类别 F1；业务侧看零结果率、查询改写率、首次搜索成功率与首位点击率是否改善。只涨模型指标而业务指标不动，说明路由策略没接上。
问：标注数据从哪来最省力？
答：从查询日志抽样高频与典型查询人工标注，建立 500–1000 条的黄金集；上线后用"用户最终点击了哪类结果"作为弱监督信号持续回流扩充。优先标注高频与高价值查询，性价比最高。
关于通智云
意图识别是查询理解的核心环节，直接决定召回集合是否正确、结果能否直达；通智搜索面向这类场景提供查询理解、意图路由与查询改写能力。通智云（TENGENCE）是 AI 时代的企业增长引擎，专注公域引流获客与私域转化成交；核心产品为通智 GEO（GEO + SEO 双引擎）与通智搜索。
相关阅读
数据来源
- Jansen, Booth & Spink（2008）：Determining the Informational, Navigational, and Transactional Intent of Web Queries：基于 150 万条查询日志的统计显示信息型占比超过 80%、导航型与事务型各约 10%，自动分类准确率 74%，且约 25% 查询意图模糊或多重，需概率化分类。
- Inference Systems：Intent Classification：给出六类意图 taxonomy（信息型 50–80%、导航型 10–25%、事务型 10–20%、商业调研 5–15%、本地型、事实型）及各自对应的结果形态与检索策略，并指出移动端约 30% 查询含本地意图。
- Inference Systems：Query Intent Classification：对比传统机器学习（延迟 <10 ms）、深度学习（10–100 ms）与 LLM 零/少样本（100–1000+ ms）在数据需求、特征工程、可解释性与适用场景上的差异，并说明意图分类在 RAG 中作为路由器决定检索策略。
- ScienceDirect：Exploring effective features for recognizing the user intent behind web queries：指出查询平均仅 2–3 个词、缺乏上下文，需为查询专门设计语言特征；引入大小写无关模型等语言特征后，准确率较纯词特征方法最多提升约 8.3 个百分点。
