返回

RAG 評估指標怎麼搭:從檢索層 nDCG 到生成層 faithfulness 的雙層品質門禁

通智雲團隊 ·
RAG 搜尋系統 通智搜尋
RAG 評估指標怎麼搭:從檢索層 nDCG 到生成層 faithfulness 的雙層品質門禁

摘要:很多團隊上線檢索增強生成系統之後,只留下一個「回答準確率」的主觀印象,調優靠感覺、回歸靠抽查。更可靠的做法是把評估拆成兩層:檢索層回答「有沒有把對的檔案找回來、排在對的位置」,生成層回答「有沒有只依據這些檔案說話」。本文結合 Ragas 官方指標文件、Microsoft Learn 的檢索品質評估方法與 Elasticsearch 排名評估 API,說明兩層指標各自的定義、適用邊界與常見誤讀,並給出把評估接入判斷列表、A/B 報表與營運干預的閉環路徑。

關鍵要點

一、先把評估拆成兩層,而不是求一個總分

RAG 系統最常見的問題,是把檢索與生成混在一起打一個綜合分。這樣做的代價是:分數下降時無法定位責任組件。Ragas 在官方評估指南裡把指標明確分成兩組,retriever 側提供 context_precision 與 context_recall,用於衡量檢索系統;generator 側提供 faithfulness 與 answer_relevancy,其中前者衡量幻覺、後者衡量答案是否切題。這個劃分不是命名習慣,而是故障定位的前提:上下文精度低,代表檢索或重排把噪聲塞進了提示詞;忠實度低,代表模型在上下文之外自行補了事實。

評估數據的結構也隨之確定。Ragas 的測試集是 question、context、ground_truth 三元組:question 是真實提問,context 是實際送進模型的檢索片段,ground_truth 是人工給出的參考答案。有了這一組數據,evaluate 輸出的分數可以轉成表格逐例查看,找出哪些問題類型系統性偏低。Red Hat 在評估系統文件裡把這個用法稱作評估驅動開發:固定測試集之後,分塊策略、嵌入模型、檢索算法都可以作為變數逐一對比,而不是憑經驗挑一個看起來更合理的配置。

對以站內檢索為主的系統,這層劃分還有一層業務含義。用戶搜尋商品、檔案或說明中心條目時,檢索層指標直接對應「能不能找到」;接了生成式問答之後,忠實度才對應「會不會編」。企業級站內搜尋引擎把查詢理解、多路召回與排序做成獨立可調的模組,正是為了讓這兩層可以分別度量、分別干預。把兩層壓成一個總分,等於放棄了這個可干預性。

二、檢索層:為什麼推薦 DCG@10 而不是只看命中率

檢索層指標族並不缺成員,缺的是選擇依據。Microsoft Learn 的檢索品質評估文件給出一套完整定義:Recall@k 是已知相關檔案出現在前 k 條結果中的比例,適合「漏掉一條就答不完整」的 RAG 場景;Precision@k 是前 k 條中相關結果的比例,適合搜尋介面裡無關結果會直接損害信任的場景;MRR 是各查詢首個相關結果名次倒數的平均,即 1/rank 的均值,適合首位結果決定體驗的問答;MAP@k 則在每個相關結果位置計算精度再平均,衡量整體排序品質。

DCG 與 NDCG 的差別在於是否對位置與相關性分級同時敏感。該文件採用 0 到 3 分的量表,增益按 2^rel − 1 計算,因此 3 分結果貢獻 7,1 分結果貢獻 1,且位置越靠後折價越重。文件給出的兩個基準很有解釋力:DCG@10 在全部結果為 3 分時的理論最大值是 31.80;若 10 條結果全為 2 分,DCG@10 只有 13.63,此時提升 1 分約等於 +7% 的相對改善。也就是說,分數變化可以換算成「頁面上大約有一條結果明顯變好」這種可溝通的業務語言。

NDCG 的陷阱值得單獨強調。它把 DCG 除以理想排序下的 DCG,正規化到 0 到 1,好處是跨查詢可比,壞處是抹掉了資訊總量。Microsoft Learn 的繁中版文件給出一組對照:結果集 A 與 B 的 NDCG@5 都是 1.00,因為兩者都按相關性降序排好了,但 DCG@5 分別是 4.26 與 8.02,後者幾乎提供了兩倍的有效資訊。換句話說,「三個無關結果裡夾兩個好結果」與「五條都好」在 NDCG 上表現一致。這正是文件建議以 DCG@10 而非 NDCG 作為主指標的原因:分級相關性保留細微差別、位置折價符合用戶瀏覽習慣、絕對效用能反映用戶實際拿到多少有用資訊。

指標要能算出來,還需要判斷列表。Elastic 在搜尋相關性評估文件中說明,判斷列表本身只是對查詢結果的期望,真正的價值在於把它們輸入排名評估 API,連同查詢與指定指標一起算出客觀分數;精度、召回率、DCG 與 MRR 都可以這樣得到。Elasticsearch 的 _rank_eval 文件進一步給出了請求結構:mean_reciprocal_rank 可設 k(例如 20)與 relevant_rating_threshold,dcg 可設 k 與 normalize 開關,另有基於級聯模型假設的 ERR,適合問答與導航類查詢,而不太適合需要瀏覽多條結果的調研型需求。判斷列表的品質因此成為整套評估的上限——標註分布偏斜時,隨機排序也可能得到看似不低的分數。

三、生成層:忠實度與答案相關性的邊界

生成層的兩個核心指標回答的是不同問題。Ragas 的 Faithfulness 文件把計算過程寫得很清楚:先把回答拆成一組可獨立驗證的聲明,再逐條檢查該聲明能否由檢索上下文推出,最後用被支持聲明數除以聲明總數,取值 0 到 1。文件裡的示例是,兩條聲明中只有一條能被上下文支持,得分即為 0.5。這個定義把「幻覺」從主觀感受變成了可數的比例,也讓定位變得具體——是某類問題經常缺關鍵片段,還是模型習慣性追加背景知識。

答案相關性則衡量回答是否切題,Ragas 的做法是從回答反推若干合成問題,用它們與原始問題的語意相似度取平均。兩者都依賴 LLM 作為評判者,Red Hat 文件因此特別強調工程約束:把評估任務放在固定測試集上跑,設定品質門禁、留存評估歷史,並區分 inline 與 remote 兩種部署模式——前者適合開發期小樣本快速驗證,後者適合在流水線裡做分散式批次評測、與 CI/CD 整合。評判模型本身帶來的成本與偏差,也需要透過固定評分策略與抽樣人工複核來控制。

還有一類常見誤用:把 context_recall 低當作生成模型能力不足。它衡量的是檢索是否把回答所需的全部資訊都取回,責任在索引、召回或重排;同理,context_precision 偏低意味著提示詞裡混入了噪聲,即便好片段已經在其中,模型也可能被無關事實帶偏。把這兩項與忠實度、答案相關性並列看,才能形成一張責任矩陣:哪一層掉分,就回到哪一層調參,而不是一律去換更大的模型。

四、從分數到閉環:判斷列表、A/B 報表與營運干預

評估體系要產生持續價值,必須接進發布流程。可操作的順序是:先按真實查詢分布建構判斷列表,覆蓋高頻詞、長尾詞、糾錯與同義詞場景;再固定測試集與評分策略,把每層指標設成發布前的門檻;每次改動分塊策略、嵌入模型、召回通道或精排權重,都在同一測試集上重跑並留存版本分數;最後用線上 A/B 報表驗證離線提升是否真的轉化為點擊與轉化。Red Hat 文件把這套做法歸納為「評估驅動開發」與自動化品質門禁,目的正是防止設定變更帶來的靜默回歸。

對站內搜尋場景,離線指標與線上行為之間還需要一層營運干預能力。查詢理解側的分詞、停用詞、糾錯、同義詞、類目預測與詞權重,決定了長尾與錯拼查詢能否進入正確候選集;召回側的倒排、AI 語意與向量多路並行,決定了是否被單一通道的盲區卡住;排序側的粗排精排模型,加上固定位、屏蔽、直達、打散與加權等干預手段,決定了評估結果能否快速作用到具體查詢上。報表與 A/B 則把「某類查詢的 DCG@10 提升」與「該類的點擊率變化」放在同一檢視裡核對。缺少這層能力時,評估只能是一份離線報告,無法收斂成可複現的調優動作。

需要明確的是,這套指標體系服務於站內檢索與問答品質,測量的是「用戶能否找到並信任站內內容」,與品牌在外部搜尋引擎或生成式答案中的可見性是兩類問題。把兩者混在同一套指標裡,會導致門檻設定失去參照:前者有判斷列表作基準,後者依賴外部平台的收錄與引用分布。分清評估對象,指標才有解釋力。

常見問題

問:只用一個綜合分數評估 RAG 系統有什麼問題?

答:分數下降時無法定位責任組件。檢索層與生成層的失敗模式不同,前者靠補召回與重排,後者靠約束生成與補充上下文,合併成一個分數會讓調優失去方向。

問:為什麼 NDCG 高不代表結果集真的好用?

答:NDCG 除以理想排序下的 DCG 後正規化到 0 到 1,會抹掉資訊總量。兩個結果集 NDCG@5 同為 1.00,DCG@5 仍可能是 4.26 與 8.02,因此建議以 DCG@10 為主指標並同時看絕對效用。

問:faithfulness 低一定是模型幻覺嗎?

答:不一定。若檢索片段本身缺關鍵事實,模型為補全答案而追加陳述,同樣會拉低忠實度。應同時檢查 context_recall,先排除召回缺口,再判斷是否需要約束生成。

問:MRR 與 Recall@k 該優先看哪一個?

答:取決於互動形態。首位結果決定體驗的問答類查詢看 MRR;漏掉任一相關檔案就答不完整的場景看 Recall@k;搜尋介面裡無關結果直接損害信任時看 Precision@k。

問:判斷列表需要多大、怎麼維護?

答:優先覆蓋真實查詢分布中的高頻詞、長尾詞、糾錯與同義詞場景,並隨查詢日誌與業務類目變化定期補充。標註分布過偏時隨機排序也可能得到偏高的分數,需同步檢查分布而非只看均值。

資料來源

相關閱讀

立即行動

關於通智雲

通智雲(TENGENCE)是 AI 時代的企業增長引擎,專注公域引流獲客與私域轉化成交;核心產品為通智 GEO(GEO + SEO 雙引擎)與通智搜索。對需要把檢索品質做成可量化、可干預能力的團隊而言,通智搜索作為企業級站內搜尋引擎,提供查詢理解(分詞、停用詞、糾錯、同義詞、類目預測與詞權重)、多路召回(倒排、AI 語意與向量)、排序(粗排精排模型,以及固定位、屏蔽、直達、打散與加權等營運干預),並配套報表與 A/B 實驗能力,直接對標 Algolia、阿里雲開放搜尋、OpenSearch、Elasticsearch 與 Unbxd,可支撐高並發、低延遲的檢索場景,也適用於 RAG 與向量檢索的知識問答系統。本文所述的兩層指標與判斷列表方法,正是這類系統把「找到」與「說對」分別度量的工程基礎。

← 上一篇: 漏斗分析方法論:如何精準定位流失環節 下一篇: 電商轉化率低怎麼辦?診斷清單與排查演示 →
諮詢
二維碼

企業微信