返回

RAG 是什麼:檢索增強生成原理與企業落地

通智雲團隊 ·
RAG 搜尋系統
RAG 是什麼:檢索增強生成原理與企業落地

摘要:大模型的通病是——它不知道你的私有資料、不知道你上週更新的制度、不知道你組織裡的專有知識。RAG(Retrieval-Augmented Generation,檢索增強生成)就是解決這件事的主流架構:先檢索出相關文件,再把它連同問題一起交給模型生成答案。這讓答案有據可查、緩解幻覺、且知識可隨時更新而不需要重新訓練模型。本文講清 RAG 的五段鏈路、分塊與混合檢索、重排、引用溯源、評估三元組,以及企業從 Demo 走到生產最常見的六個失敗模式與 30 天節奏。

關鍵要點

RAG 到底解決什麼問題

大模型很強,但有三個硬傷:不知道你的私有資料(訓練時沒見過)、知識有時效(訓練截止後發生的它不知道)、會編造(幻覺,且說得自信)。

RAG 的解法很樸素:別讓模型憑記憶答,先去你的資料裡查,再讓它基於查到的內容答。這樣——

它是目前企業落地最廣泛的 AI 架構,沒有之一。

五段鏈路:從入庫到生成

RAG 的完整流水線可以拆成五段,每段都要可度量:

① 入庫與清洗(Ingest & Normalize) → ② 分塊·嵌入·索引(Chunk/Embed/Index) → ③ 檢索(Retrieve) → ④ 提示增強(Augment) → ⑤ 生成(Generate)

分塊與嵌入:語義分塊優於定長切分

分塊(chunking)決定了檢索的粒度,影響極大:

嵌入模型要注意兩點:入庫和查詢必須用同一個模型(換模型等於 breaking change,需整體重新嵌入);選模時在你自己的語料上跑 100–200 條代表性查詢測 recall@10,別看通用榜單。

檢索品質主線:混合檢索 + 重排

RAG 的品質瓶頸通常在檢索,不在生成。三個必做動作:

混合檢索(Hybrid Search):純向量檢索對精確匹配很弱——使用者搜「條款 14.3(b)」「錯誤碼 E-1024」「某產品型號」,向量表示未必和原文片段足夠接近。混合檢索把稠密向量檢索(語義)和 BM25(關鍵詞,擅長精確與稀有詞)並行跑,再做融合(RRF 倒數排序融合,或加權)。企業知識庫的 BM25 權重常在 30–40%。實務裡混合幾乎總優於純稠密檢索。

融合示意:

    def hybrid_score(vector_score, lexical_score, alpha=0.65):
        return alpha * vector_score + (1 - alpha) * lexical_score

重排(Rerank):先用快的向量/BM25 召回 top 20–80,再用 cross-encoder 交叉編碼器對「查詢-文件」逐一精排,取 top 3–5 進 prompt。cross-encoder 更慢更貴(要一起處理查詢和文件),但準得多——加重排通常是所有優化步驟裡單點收益最大的一步。

查詢改寫(Query Rewriting):使用者的問句常短、口語、帶指代(「我們跟供應商在支援上是怎麼約定的?」)。在檢索前用輕量模型改寫成檢索友好形式(「供應商 支援協議 SLA 回應時間」),多輪對話還要帶上前 2–3 輪消解指代,召回會明顯變好。

另外設相似度閾值兜底:低於閾值的文件直接過濾掉。傳無關上下文比不傳更糟——它佔用上下文窗口,還增加模型把對錯資訊混在一起的風險。

引用溯源與權限前置過濾

企業級 RAG 有兩項硬要求:

評估:RAG 三元組

RAG 有兩個品質維度——檢索品質和生成品質。多數團隊只測後者,導致答錯時無法定位是「沒檢索到」還是「檢索到了但生成歪了」。

RAG 三元組(三個軸都要測):

  1. 上下文相關性(Context Relevance):檢索器找到對的文件了嗎?核心指標是 recall@k(正確片段是否出現在 top-k 裡)——這是調生成之前必須先看的指標。
  2. Groundedness / Faithfulness:答案的每個論斷都能追溯到檢索到的片段嗎?這是最直接的幻覺風險指標。
  3. 答案相關性(Answer Relevance):答案真的回應了使用者的問題嗎?

再疊加維運指標:latency p50/p95、cost per request。起步建議先建 50–200 條查詢的黃金評測集(含已知正確答案),每次改 prompt、改 reranker、換模型都跑一遍迴歸。

企業落地最常見的 6 個失敗模式

  1. 召回失敗:正確文件壓根沒進 top-10(嵌入離查詢太遠)。排查:跑測試查詢看正確來源是否在 top-10;修復:改進分塊、給關鍵事實補充語義更豐富的上下文、下調相似度閾值。
  2. 上下文窗口溢位:檢索塊 + 系統指令 + 查詢超過模型窗口。修復:限制到重排後的 top 3–5,並對塊大小設上限。
  3. 答案基於過期/錯誤來源:檢索到的內容本身已過時。修復:加文件新鮮度 metadata,檢索時按時間窗過濾。
  4. 換嵌入模型未重新嵌入:把換嵌入模型當無害升級,實際是 breaking change——新舊向量不在同一空間,必須全量重新嵌入。
  5. 多租戶漏 metadata 過濾:權限沒前置過濾,導致越權或零結果。
  6. 日誌全量記錄原始 prompt:含敏感資料,需去識別化(PII/金鑰)。

30 天上線節奏

護欄包括:攔截越域問題、拒絕違規輸出、日誌去識別化。降本靠語義快取(語義相同的問句直接回命中答案)和模型分級(小模型做改寫/摘要,最強的模型只做最終生成)。規模上向量庫易水平擴,LLM API 通常是瓶頸。

上手清單

  1. 入庫先清洗:去頁首頁尾/導覽樣板,統一格式與空白。
  2. 語義分塊優先,塊 300–800 token、overlap 10–20%,結構化文件先按標題塊。
  3. 入庫與查詢用同一嵌入模型;在自己語料上測 recall@10 選模。
  4. 必上混合檢索(向量 + BM25)與 cross-encoder 重排(召回 20–80 → 精排 3–5)。
  5. 加查詢改寫;設相似度閾值,寧缺勿濫。
  6. chunk 帶 source metadata + ACL,引用內聯輸出,權限前置過濾。
  7. 建 50–200 條黃金集,按 RAG 三元組 + recall@k + p95 延遲做迴歸。
  8. 上語義快取與模型分級;日誌去識別化;第 4 週定 SLO。

RAG 的檢索底座正是企業級搜尋的核心能力——查詢理解、語義召回、混合檢索、重排與權限感知檢索。

常見問題

問:RAG 和微調(fine-tuning)該怎麼選?

答:目標不同。微調是把「行為/風格/領域習慣」教給模型,改的是參數;RAG 是給模型「外掛可隨時更新的知識庫」,改的是輸入。要答私有、高頻變動、需溯源的問題,選 RAG;要統一輸出格式或灌輸穩定領域風格,才考慮微調。兩者也可疊加。

問:為什麼我加了 RAG 答案還是不準?

答:多數是檢索環節沒做好,而不是模型不行。按順序排查:正確文件是否在 top-10(recall@k)→ 分塊是否合理(語義分塊優於定長)→ 是否上了混合檢索(精確詞命中)→ 有沒有 rerank(單點收益最大)→ 查詢是否需要改寫。只調 prompt 通常解決不了召回失敗。

問:塊切多大合適?

答:實務預設 300–800 token、overlap 10–20%。事實型問答可偏小(256 左右)提精度,摘要類可偏大(1024)。結構化文件先按標題塊再按 token 切,過短(<100 token)的塊與相鄰塊合併。關鍵是別讓塊橫跨無關的語義邊界。

問:混合檢索為什麼一定要加關鍵詞(BM25)?

答:因為純向量檢索對精確匹配弱。使用者搜錯誤碼、版本號、條款號、產品型號這類字面精確的查詢時,向量相似度未必把它們排到前面。BM25 擅長精確與稀有詞匹配,與向量並行再用 RRF 或加權融合,企業語料上混合幾乎總優於純稠密檢索。

問:權限過濾應該放在檢索前還是檢索後?

答:必須檢索前。把 ACL 寫進 chunk metadata,在檢索階段就過濾。若檢索後再過濾,很可能 top 命中全是你無權存取的文件,過濾完剩零條,模型拿不到上下文、答案直接崩。這是企業級 RAG 最容易踩的坑之一。

問:RAG 該看哪些指標?

答:RAG 三元組——上下文相關性(用 recall@k 看檢索對不對)、Groundedness(答案論斷能否追溯到檢索片段,衡量幻覺)、答案相關性(是否真答了問題)。再疊加 p50/p95 延遲與單次成本。建議建 50–200 條黃金查詢集,每次改動都跑迴歸。

關於通智雲

RAG 的檢索底座正是企業級搜尋的核心能力。通智搜尋面向這類場景提供查詢理解、語義召回、混合檢索、重排與權限感知檢索能力,讓企業知識真正被檢索到、被引用。通智雲(TENGENCE)是 AI 時代的企業成長引擎,專注公域引流獲客與私域轉化成交;核心產品為通智 GEO(GEO + SEO 雙引擎)與通智搜尋。

相關閱讀

資料來源

  1. End-to-End RAG Workflow: How Retrieval Augmented Generation Works——Databricks:RAG 五階段流水線;嵌入模型入庫與查詢須一致;分塊策略與 HNSW 索引;混合檢索(向量+BM25,RRF)與 rerank;相似度閾值過濾。
  2. Retrieval-Augmented Generation: How It Works and When to Use It——Digital Fractal:512 token/10% overlap 起步與場景化調整;選模測 recall@10;召回 10–20 後 rerank 到 3–5;檢索指標 recall@k/precision 與生成指標 groundedness;增量索引與新鮮度 SLA。
  3. RAG Implementation Patterns——AI Solutions Wiki:語義分塊比定長提升精度 15–25%;混合檢索 BM25 權重 30–40%;rerank 單點收益最大;查詢改寫與指代消解;引用溯源 metadata;三類失敗模式診斷。
  4. Best Practices for Designing Enterprise RAG Systems——Alps Agility:語義分塊與 lineage;混合檢索+查詢改寫+重排;RBAC metadata 過濾須前置;RAG 三元組(上下文相關性/Groundedness/答案相關性);語義快取與模型分級降本。
  5. RAG Systems Complete Guide (2026): From Prototype to Production——Learnixo:生產流水線全鏈路;chunk 300–800/overlap 10–20%;混合加權融合(alpha 0.65);分層召回 30–80→重排 5–10;評估指標與護欄;30 天建設計畫。

立即行動

← 上一篇: 企微 SOP:從加好友到成交的自動化流程設計 下一篇: 怎麼讓品牌在 Wikidata/Wikipedia 被 AI 引用 →
諮詢
二維碼

企業微信