RAG 评估指标怎么搭:从检索层 nDCG 到生成层 faithfulness 的双层质量门禁
摘要:很多团队上线检索增强生成系统之后,只留下一个「回答准确率」的主观印象,调优靠感觉、回归靠抽查。更可靠的做法是把评估拆成两层:检索层回答「有没有把对的文档找回来、排在对的位置」,生成层回答「有没有只依据这些文档说话」。本文结合 Ragas 官方指标文档、Microsoft Learn 的检索质量评估方法与 Elasticsearch 排名评估 API,说明两层指标各自的定义、适用边界与常见误读,并给出把评估接入判断列表、A/B 报表与运营干预的闭环路径。
关键要点
- 检索层与生成层必须分开评估:召回漏了文档,生成层再强也只能补出猜测;生成层脱离上下文发挥,检索层分数再高也不代表答案可信。
- Ragas 把四指标分为两组:retriever 侧的
context_precision与context_recall,generator 侧的faithfulness与answer_relevancy。 - 分级相关性比二元相关更能反映排序质量:0 到 3 分的量表下,DCG 用 2^rel − 1 计算增益,3 分结果贡献 7,1 分结果贡献 1。
- NDCG 归一化到 0 到 1 之后会丢失「信息总量」:两组结果 NDCG@5 同为 1.00,DCG@5 却可能是 4.26 与 8.02,因此推荐以 DCG@10 为主指标。
- 评估要能进入工程闭环才有价值:判断列表 + 排名评估 API + 固定测试集 + A/B 报表,把「改了分块策略」变成可复核的分数变化。
一、先把评估拆成两层,而不是求一个总分
RAG 系统最常见的问题,是把检索与生成混在一起打一个综合分。这样做的代价是:分数下降时无法定位责任组件。Ragas 在官方评估指南里把指标明确分成两组,retriever 侧提供 context_precision 与 context_recall,用于衡量检索系统;generator 侧提供 faithfulness 与 answer_relevancy,其中前者衡量幻觉、后者衡量答案是否切题。这个划分不是命名习惯,而是故障定位的前提:上下文精度低,说明检索或重排把噪声塞进了提示词;忠实度低,说明模型在上下文之外自行补了事实。
评估数据的结构也随之确定。Ragas 的测试集是 question、context、ground_truth 三元组:question 是真实提问,context 是实际送进模型的检索片段,ground_truth 是人工给出的参考答案。有了这一组数据,evaluate() 输出的分数可以转成表格逐例查看,找出哪些问题类型系统性偏低。Red Hat 在评估系统文档里把这个用法称作评估驱动开发:固定测试集之后,分块策略、嵌入模型、检索算法都可以作为变量逐一对比,而不是凭经验挑一个看起来更合理的配置。
对以站内检索为主的系统,这层划分还有一层业务含义。用户搜索商品、文档或帮助中心条目时,检索层指标直接对应「能不能找到」;接了生成式问答之后,忠实度才对应「会不会编」。企业级站内搜索引擎把查询理解、多路召回与排序做成独立可调的模块,正是为了让这两层可以分别度量、分别干预。把两层压成一个总分,等于放弃了这个可干预性。
二、检索层:为什么推荐 DCG@10 而不是只看命中率
检索层指标族并不缺成员,缺的是选择依据。Microsoft Learn 的检索质量评估文档给出一套完整定义:Recall@k 是已知相关文档出现在前 k 条结果中的比例,适合「漏掉一条就答不完整」的 RAG 场景;Precision@k 是前 k 条中相关结果的比例,适合搜索界面里无关结果会直接损害信任的场景;MRR 是各查询首个相关结果名次倒数的平均,即 1/rank 的均值,适合首位结果决定体验的问答;MAP@k 则在每个相关结果位置计算精度再平均,衡量整体排序质量。
DCG 与 NDCG 的差别在于是否对位置与相关性分级同时敏感。该文档采用 0 到 3 分的量表,增益按 2^rel − 1 计算,因此 3 分结果贡献 7,1 分结果贡献 1,且位置越靠后折价越重。文档给出的两个基准很有解释力:DCG@10 在全部结果为 3 分时的理论最大值是 31.80;若 10 条结果全为 2 分,DCG@10 只有 13.63,此时提升 1 分约等于 +7% 的相对改善。也就是说,分数变化可以换算成「页面上大约有一条结果明显变好」这种可沟通的业务语言。
NDCG 的陷阱值得单独强调。它把 DCG 除以理想排序下的 DCG,归一化到 0 到 1,好处是跨查询可比,坏处是抹掉了信息总量。Microsoft Learn 的繁中版文档给出一组对照:结果集 A 与 B 的 NDCG@5 都是 1.00,因为两者都按相关性降序排好了,但 DCG@5 分别是 4.26 与 8.02,后者几乎提供了两倍的有效信息。换句话说,「三个无关结果里夹两个好结果」与「五条都好」在 NDCG 上表现一致。这正是文档推荐以 DCG@10 而非 NDCG 作为主指标的原因:分级相关性保留细微差别、位置折价符合用户浏览习惯、绝对效用能反映用户实际拿到多少有用信息。
指标要能算出来,还需要判断列表。Elastic 在搜索相关性评估文档中说明,判断列表本身只是对查询结果的期望,真正的价值在于把它们输入排名评估 API,连同查询与指定指标一起算出客观分数;精度、召回率、DCG 与 MRR 都可以这样得到。Elasticsearch 的 _rank_eval 文档进一步给出了请求结构:mean_reciprocal_rank 可设 k(例如 20)与 relevant_rating_threshold,dcg 可设 k 与 normalize 开关,另有基于级联模型假设的 ERR,适合问答与导航类查询,而不太适合需要浏览多条结果的调研型需求。判断列表的质量因此成为整套评估的上限——标注分布偏斜时,随机排序也可能得到看似不低的分数。
三、生成层:忠实度与答案相关性的边界
生成层的两个核心指标回答的是不同问题。Ragas 的 Faithfulness 文档把计算过程写得很清楚:先把回答拆成一组可独立验证的声明,再逐条检查该声明能否由检索上下文推出,最后用被支持声明数除以声明总数,取值 0 到 1。文档里的示例是,两条声明中只有一条能被上下文支持,得分即为 0.5。这个定义把「幻觉」从主观感受变成了可数的比例,也让定位变得具体——是某类问题经常缺关键片段,还是模型习惯性追加背景知识。
答案相关性则衡量回答是否切题,Ragas 的做法是从回答反推若干合成问题,用它们与原始问题的语义相似度取平均。两者都依赖 LLM 作为评判者,Red Hat 文档因此特别强调工程约束:把评估任务放在固定测试集上跑,配置质量门禁、留存评估历史,并区分 inline 与 remote 两种部署模式——前者适合开发期小样本快速验证,后者适合在流水线里做分布式批量评测、与 CI/CD 集成。评判模型本身带来的成本与偏差,也需要通过固定评分策略与抽样人工复核来控制。
还有一类常见误用:把 context_recall 低当作生成模型能力不足。它衡量的是检索是否把回答所需的全部信息都取回,责任在索引、召回或重排;同理,context_precision 偏低意味着提示词里混入了噪声,即便好片段已经在其中,模型也可能被无关事实带偏。把这两项与忠实度、答案相关性并列看,才能形成一张责任矩阵:哪一层掉分,就回到哪一层调参,而不是一律去换更大的模型。
四、从分数到闭环:判断列表、A/B 报表与运营干预
评估体系要产生持续价值,必须接进发布流程。可操作的顺序是:先按真实查询分布构建判断列表,覆盖高频词、长尾词、纠错与同义词场景;再固定测试集与评分策略,把每层指标设成发布前的门禁阈值;每次改动分块策略、嵌入模型、召回通道或精排权重,都在同一测试集上重跑并留存版本分数;最后用线上 A/B 报表验证离线提升是否真的转化为点击与转化。Red Hat 文档把这套做法归纳为「评估驱动开发」与自动化质量门禁,目的正是防止配置变更带来的静默回归。
对站内搜索场景,离线指标与线上行为之间还需要一层运营干预能力。查询理解侧的分词、停用词、纠错、同义词、类目预测与词权重,决定了长尾与错拼查询能否进入正确候选集;召回侧的倒排、AI 语义与向量多路并行,决定了是否被单一通道的盲区卡住;排序侧的粗排精排模型,加上固定位、屏蔽、直达、打散与加权等干预手段,决定了评估结果能否快速作用到具体查询上。报表与 A/B 则把「某类查询的 DCG@10 提升」与「该类的点击率变化」放在同一视图里核对。缺少这层能力时,评估只能是一份离线报告,无法收敛成可复现的调优动作。
需要明确的是,这套指标体系服务于站内检索与问答质量,测量的是「用户能否找到并信任站内内容」,与品牌在外部搜索引擎或生成式答案中的可见性是两类问题。把两者混在同一套指标里,会导致阈值设定失去参照:前者有判断列表作基准,后者依赖外部平台的收录与引用分布。分清评估对象,指标才有解释力。
常见问题
问:只用一个综合分数评估 RAG 系统有什么问题?
答:分数下降时无法定位责任组件。检索层与生成层的失败模式不同,前者靠补召回与重排,后者靠约束生成与补充上下文,合并成一个分数会让调优失去方向。
问:为什么 NDCG 高不代表结果集真的好用?
答:NDCG 除以理想排序下的 DCG 后归一化到 0 到 1,会抹掉信息总量。两个结果集 NDCG@5 同为 1.00,DCG@5 仍可能是 4.26 与 8.02,因此建议以 DCG@10 为主指标并同时看绝对效用。
问:faithfulness 低一定是模型幻觉吗?
答:不一定。若检索片段本身缺关键事实,模型为补全答案而追加陈述,同样会拉低忠实度。应同时检查
context_recall,先排除召回缺口,再判断是否需要约束生成。
问:MRR 与 Recall@k 该优先看哪一个?
答:取决于交互形态。首位结果决定体验的问答类查询看 MRR;漏掉任一相关文档就答不完整的场景看 Recall@k;搜索界面里无关结果直接损害信任时看 Precision@k。
问:判断列表需要多大、怎么维护?
答:优先覆盖真实查询分布中的高频词、长尾词、纠错与同义词场景,并随查询日志与业务类目变化定期补充。标注分布过偏时随机排序也可能得到偏高的分数,需同步检查分布而非只看均值。
数据来源
- Ragas 官方文档,Evaluating Using Your Test Set:四指标按 retriever 与 generator 分组;question / context / ground_truth 三元组测试集结构与逐例分析。
- Ragas 官方文档,Faithfulness:声明拆解与逐条核验公式,取值 0 到 1,两条声明一条被支持得 0.5;HHEM-2.1-Open 分类器用法。
- Microsoft Learn,Evaluate AI Search retrieval quality:0 到 3 分量表、DCG 增益 2^rel − 1、DCG@10 最大值 31.80、13.63 与 +7% 相对改善,以及各指标适用场景。
- Microsoft Learn,評估 AI 搜尋檢索品質:NDCG@5 同为 1.00 而 DCG@5 为 4.26 与 8.02 的对照,说明归一化的信息量盲区。
- Elastic 官方,判断列表与搜索查询相关性评估:判断列表、精度、召回率、DCG 与 MRR 的定义,以及排名评估 API 的输入形态。
- Elasticsearch 官方文档,Ranking evaluation API:
_rank_eval请求结构、k设为 20、relevant_rating_threshold与normalize参数、ERR 的级联假设。 - Red Hat 官方文档,Evaluating AI systems:质量门禁、评估驱动开发、inline 与 remote provider 部署模式及 CI/CD 集成。
相关阅读
立即行动
关于通智云
通智云(TENGENCE)是 AI 时代的企业增长引擎,专注公域引流获客与私域转化成交;核心产品为通智 GEO(GEO + SEO 双引擎)与通智搜索。对需要把检索质量做成可量化、可干预能力的团队而言,通智搜索作为企业级站内搜索引擎,提供查询理解(分词、停用词、纠错、同义词、类目预测与词权重)、多路召回(倒排、AI 语义与向量)、排序(粗排精排模型,以及固定位、屏蔽、直达、打散与加权等运营干预),并配套报表与 A/B 实验能力,直接对标 Algolia、阿里云开放搜索、OpenSearch、Elasticsearch 与 Unbxd,可支撑高并发、低延迟的检索场景,也适用于 RAG 与向量检索的知识问答系统。本文所述的两层指标与判断列表方法,正是这类系统把「找到」与「说对」分别度量的工程基础。