返回

RAG 评估指标怎么搭:从检索层 nDCG 到生成层 faithfulness 的双层质量门禁

通智云团队 ·
RAG 评估指标怎么搭:从检索层 nDCG 到生成层 faithfulness 的双层质量门禁

摘要:很多团队上线检索增强生成系统之后,只留下一个「回答准确率」的主观印象,调优靠感觉、回归靠抽查。更可靠的做法是把评估拆成两层:检索层回答「有没有把对的文档找回来、排在对的位置」,生成层回答「有没有只依据这些文档说话」。本文结合 Ragas 官方指标文档、Microsoft Learn 的检索质量评估方法与 Elasticsearch 排名评估 API,说明两层指标各自的定义、适用边界与常见误读,并给出把评估接入判断列表、A/B 报表与运营干预的闭环路径。

关键要点

一、先把评估拆成两层,而不是求一个总分

RAG 系统最常见的问题,是把检索与生成混在一起打一个综合分。这样做的代价是:分数下降时无法定位责任组件。Ragas 在官方评估指南里把指标明确分成两组,retriever 侧提供 context_precision 与 context_recall,用于衡量检索系统;generator 侧提供 faithfulness 与 answer_relevancy,其中前者衡量幻觉、后者衡量答案是否切题。这个划分不是命名习惯,而是故障定位的前提:上下文精度低,说明检索或重排把噪声塞进了提示词;忠实度低,说明模型在上下文之外自行补了事实。

评估数据的结构也随之确定。Ragas 的测试集是 question、context、ground_truth 三元组:question 是真实提问,context 是实际送进模型的检索片段,ground_truth 是人工给出的参考答案。有了这一组数据,evaluate() 输出的分数可以转成表格逐例查看,找出哪些问题类型系统性偏低。Red Hat 在评估系统文档里把这个用法称作评估驱动开发:固定测试集之后,分块策略、嵌入模型、检索算法都可以作为变量逐一对比,而不是凭经验挑一个看起来更合理的配置。

对以站内检索为主的系统,这层划分还有一层业务含义。用户搜索商品、文档或帮助中心条目时,检索层指标直接对应「能不能找到」;接了生成式问答之后,忠实度才对应「会不会编」。企业级站内搜索引擎把查询理解、多路召回与排序做成独立可调的模块,正是为了让这两层可以分别度量、分别干预。把两层压成一个总分,等于放弃了这个可干预性。

二、检索层:为什么推荐 DCG@10 而不是只看命中率

检索层指标族并不缺成员,缺的是选择依据。Microsoft Learn 的检索质量评估文档给出一套完整定义:Recall@k 是已知相关文档出现在前 k 条结果中的比例,适合「漏掉一条就答不完整」的 RAG 场景;Precision@k 是前 k 条中相关结果的比例,适合搜索界面里无关结果会直接损害信任的场景;MRR 是各查询首个相关结果名次倒数的平均,即 1/rank 的均值,适合首位结果决定体验的问答;MAP@k 则在每个相关结果位置计算精度再平均,衡量整体排序质量。

DCG 与 NDCG 的差别在于是否对位置与相关性分级同时敏感。该文档采用 0 到 3 分的量表,增益按 2^rel − 1 计算,因此 3 分结果贡献 7,1 分结果贡献 1,且位置越靠后折价越重。文档给出的两个基准很有解释力:DCG@10 在全部结果为 3 分时的理论最大值是 31.80;若 10 条结果全为 2 分,DCG@10 只有 13.63,此时提升 1 分约等于 +7% 的相对改善。也就是说,分数变化可以换算成「页面上大约有一条结果明显变好」这种可沟通的业务语言。

NDCG 的陷阱值得单独强调。它把 DCG 除以理想排序下的 DCG,归一化到 0 到 1,好处是跨查询可比,坏处是抹掉了信息总量。Microsoft Learn 的繁中版文档给出一组对照:结果集 A 与 B 的 NDCG@5 都是 1.00,因为两者都按相关性降序排好了,但 DCG@5 分别是 4.26 与 8.02,后者几乎提供了两倍的有效信息。换句话说,「三个无关结果里夹两个好结果」与「五条都好」在 NDCG 上表现一致。这正是文档推荐以 DCG@10 而非 NDCG 作为主指标的原因:分级相关性保留细微差别、位置折价符合用户浏览习惯、绝对效用能反映用户实际拿到多少有用信息。

指标要能算出来,还需要判断列表。Elastic 在搜索相关性评估文档中说明,判断列表本身只是对查询结果的期望,真正的价值在于把它们输入排名评估 API,连同查询与指定指标一起算出客观分数;精度、召回率、DCG 与 MRR 都可以这样得到。Elasticsearch 的 _rank_eval 文档进一步给出了请求结构:mean_reciprocal_rank 可设 k(例如 20)与 relevant_rating_threshold,dcg 可设 k 与 normalize 开关,另有基于级联模型假设的 ERR,适合问答与导航类查询,而不太适合需要浏览多条结果的调研型需求。判断列表的质量因此成为整套评估的上限——标注分布偏斜时,随机排序也可能得到看似不低的分数。

三、生成层:忠实度与答案相关性的边界

生成层的两个核心指标回答的是不同问题。Ragas 的 Faithfulness 文档把计算过程写得很清楚:先把回答拆成一组可独立验证的声明,再逐条检查该声明能否由检索上下文推出,最后用被支持声明数除以声明总数,取值 0 到 1。文档里的示例是,两条声明中只有一条能被上下文支持,得分即为 0.5。这个定义把「幻觉」从主观感受变成了可数的比例,也让定位变得具体——是某类问题经常缺关键片段,还是模型习惯性追加背景知识。

答案相关性则衡量回答是否切题,Ragas 的做法是从回答反推若干合成问题,用它们与原始问题的语义相似度取平均。两者都依赖 LLM 作为评判者,Red Hat 文档因此特别强调工程约束:把评估任务放在固定测试集上跑,配置质量门禁、留存评估历史,并区分 inline 与 remote 两种部署模式——前者适合开发期小样本快速验证,后者适合在流水线里做分布式批量评测、与 CI/CD 集成。评判模型本身带来的成本与偏差,也需要通过固定评分策略与抽样人工复核来控制。

还有一类常见误用:把 context_recall 低当作生成模型能力不足。它衡量的是检索是否把回答所需的全部信息都取回,责任在索引、召回或重排;同理,context_precision 偏低意味着提示词里混入了噪声,即便好片段已经在其中,模型也可能被无关事实带偏。把这两项与忠实度、答案相关性并列看,才能形成一张责任矩阵:哪一层掉分,就回到哪一层调参,而不是一律去换更大的模型。

四、从分数到闭环:判断列表、A/B 报表与运营干预

评估体系要产生持续价值,必须接进发布流程。可操作的顺序是:先按真实查询分布构建判断列表,覆盖高频词、长尾词、纠错与同义词场景;再固定测试集与评分策略,把每层指标设成发布前的门禁阈值;每次改动分块策略、嵌入模型、召回通道或精排权重,都在同一测试集上重跑并留存版本分数;最后用线上 A/B 报表验证离线提升是否真的转化为点击与转化。Red Hat 文档把这套做法归纳为「评估驱动开发」与自动化质量门禁,目的正是防止配置变更带来的静默回归。

对站内搜索场景,离线指标与线上行为之间还需要一层运营干预能力。查询理解侧的分词、停用词、纠错、同义词、类目预测与词权重,决定了长尾与错拼查询能否进入正确候选集;召回侧的倒排、AI 语义与向量多路并行,决定了是否被单一通道的盲区卡住;排序侧的粗排精排模型,加上固定位、屏蔽、直达、打散与加权等干预手段,决定了评估结果能否快速作用到具体查询上。报表与 A/B 则把「某类查询的 DCG@10 提升」与「该类的点击率变化」放在同一视图里核对。缺少这层能力时,评估只能是一份离线报告,无法收敛成可复现的调优动作。

需要明确的是,这套指标体系服务于站内检索与问答质量,测量的是「用户能否找到并信任站内内容」,与品牌在外部搜索引擎或生成式答案中的可见性是两类问题。把两者混在同一套指标里,会导致阈值设定失去参照:前者有判断列表作基准,后者依赖外部平台的收录与引用分布。分清评估对象,指标才有解释力。

常见问题

问:只用一个综合分数评估 RAG 系统有什么问题?

答:分数下降时无法定位责任组件。检索层与生成层的失败模式不同,前者靠补召回与重排,后者靠约束生成与补充上下文,合并成一个分数会让调优失去方向。

问:为什么 NDCG 高不代表结果集真的好用?

答:NDCG 除以理想排序下的 DCG 后归一化到 0 到 1,会抹掉信息总量。两个结果集 NDCG@5 同为 1.00,DCG@5 仍可能是 4.26 与 8.02,因此建议以 DCG@10 为主指标并同时看绝对效用。

问:faithfulness 低一定是模型幻觉吗?

答:不一定。若检索片段本身缺关键事实,模型为补全答案而追加陈述,同样会拉低忠实度。应同时检查 context_recall,先排除召回缺口,再判断是否需要约束生成。

问:MRR 与 Recall@k 该优先看哪一个?

答:取决于交互形态。首位结果决定体验的问答类查询看 MRR;漏掉任一相关文档就答不完整的场景看 Recall@k;搜索界面里无关结果直接损害信任时看 Precision@k。

问:判断列表需要多大、怎么维护?

答:优先覆盖真实查询分布中的高频词、长尾词、纠错与同义词场景,并随查询日志与业务类目变化定期补充。标注分布过偏时随机排序也可能得到偏高的分数,需同步检查分布而非只看均值。

数据来源

相关阅读

立即行动

关于通智云

通智云(TENGENCE)是 AI 时代的企业增长引擎,专注公域引流获客与私域转化成交;核心产品为通智 GEO(GEO + SEO 双引擎)与通智搜索。对需要把检索质量做成可量化、可干预能力的团队而言,通智搜索作为企业级站内搜索引擎,提供查询理解(分词、停用词、纠错、同义词、类目预测与词权重)、多路召回(倒排、AI 语义与向量)、排序(粗排精排模型,以及固定位、屏蔽、直达、打散与加权等运营干预),并配套报表与 A/B 实验能力,直接对标 Algolia、阿里云开放搜索、OpenSearch、Elasticsearch 与 Unbxd,可支撑高并发、低延迟的检索场景,也适用于 RAG 与向量检索的知识问答系统。本文所述的两层指标与判断列表方法,正是这类系统把「找到」与「说对」分别度量的工程基础。

← 上一篇: 漏斗分析方法论:如何精准定位流失环节 下一篇: 电商转化率低怎么办?诊断清单与排查演示 →
咨询
二维码

企业微信