RAG 是什麼:檢索增強生成原理與企業落地
摘要:大模型的通病是——它不知道你的私有資料、不知道你上週更新的制度、不知道你組織裡的專有知識。RAG(Retrieval-Augmented Generation,檢索增強生成)就是解決這件事的主流架構:先檢索出相關文件,再把它連同問題一起交給模型生成答案。這讓答案有據可查、緩解幻覺、且知識可隨時更新而不需要重新訓練模型。本文講清 RAG 的五段鏈路、分塊與混合檢索、重排、引用溯源、評估三元組,以及企業從 Demo 走到生產最常見的六個失敗模式與 30 天節奏。
關鍵要點
- RAG 的本質:把「模型的通用推理能力」和「你的專有知識」在查詢時接起來——知識來自檢索,不來自參數。
- 五段鏈路:入庫清洗 → 分塊·嵌入·索引 → 檢索 → 提示增強 → 生成。每段都可度量,出問題時才能定位。
- 品質主線是三件事:分塊(語義分塊比定長切分精度高約 15–25%)+ 混合檢索(向量 + BM25)+ 重排(rerank 通常是單點收益最大的優化)。
- 引用溯源與權限前置:每塊帶 source metadata 供內聯引用;ACL 寫進 metadata 且先過濾再檢索,否則可能零文件進模型。
- 評估看 RAG 三元組:上下文相關性、Groundedness(答案是否有據)、答案相關性;大多數團隊只測生成不測檢索,導致無法排錯。
- 從 Demo 到生產:換嵌入模型=breaking change、上下文溢位、答案基於過期來源,是最常見的三類翻車。
RAG 到底解決什麼問題
大模型很強,但有三個硬傷:不知道你的私有資料(訓練時沒見過)、知識有時效(訓練截止後發生的它不知道)、會編造(幻覺,且說得自信)。
RAG 的解法很樸素:別讓模型憑記憶答,先去你的資料裡查,再讓它基於查到的內容答。這樣——
- 知識可以隨時更新(改文件即可,不用重訓模型);
- 每個答案都能溯源到具體文件片段,可驗證、可稽核;
- 幻覺顯著下降,因為模型被約束在「只依據給定上下文回答」。
它是目前企業落地最廣泛的 AI 架構,沒有之一。
五段鏈路:從入庫到生成
RAG 的完整流水線可以拆成五段,每段都要可度量:
① 入庫與清洗(Ingest & Normalize) → ② 分塊·嵌入·索引(Chunk/Embed/Index) → ③ 檢索(Retrieve) → ④ 提示增強(Augment) → ⑤ 生成(Generate)
- ① 入庫清洗:裝載原始文件,做 ETL 清洗——去樣板文字(頁首頁尾、導覽選單)、統一空白、抽取表格與程式碼裡的結構化內容。垃圾進、垃圾出,這一步偷懶後面全崩。
- ② 分塊嵌入索引:文件切成塊,每塊過嵌入模型轉成向量,連同原文與 metadata(文件標題、日期、來源 URL、權限)寫入向量庫。索引常用 HNSW 做近似最近鄰,把全量線性掃描降到亞毫秒級。
- ③ 檢索:使用者提問後,用同一個嵌入模型把問題轉成向量,在向量庫做相似度檢索取 top-k;再經混合檢索與重排得到最終上下文。
- ④ 提示增強:把檢索到的片段組裝進 prompt。典型結構是「系統指令(只依據上下文回答,找不到就說不知道)+ 檢索片段 + 使用者原問題」。
- ⑤ 生成:模型基於上下文生成答案,並按要求輸出引用。
分塊與嵌入:語義分塊優於定長切分
分塊(chunking)決定了檢索的粒度,影響極大:
- 定長切分(如 512 token、10% overlap)能用,但不是最優——一個 512-token 的塊若橫跨兩個小節,上下文混雜,檢索會被干擾。
- 語義分塊:按自然邊界切(段落、章節標題、清單項轉換)。對政策、合約、報告這類企業文件,語義分塊比定長切分的檢索精度高約 15–25%。
- 實務預設值:塊大小 300–800 token,overlap 10–20%;結構化文件先按標題塊切、再按 token 切;過短(<100 token)的塊與相鄰塊合併。
嵌入模型要注意兩點:入庫和查詢必須用同一個模型(換模型等於 breaking change,需整體重新嵌入);選模時在你自己的語料上跑 100–200 條代表性查詢測 recall@10,別看通用榜單。
檢索品質主線:混合檢索 + 重排
RAG 的品質瓶頸通常在檢索,不在生成。三個必做動作:
混合檢索(Hybrid Search):純向量檢索對精確匹配很弱——使用者搜「條款 14.3(b)」「錯誤碼 E-1024」「某產品型號」,向量表示未必和原文片段足夠接近。混合檢索把稠密向量檢索(語義)和 BM25(關鍵詞,擅長精確與稀有詞)並行跑,再做融合(RRF 倒數排序融合,或加權)。企業知識庫的 BM25 權重常在 30–40%。實務裡混合幾乎總優於純稠密檢索。
融合示意:
def hybrid_score(vector_score, lexical_score, alpha=0.65):
return alpha * vector_score + (1 - alpha) * lexical_score
重排(Rerank):先用快的向量/BM25 召回 top 20–80,再用 cross-encoder 交叉編碼器對「查詢-文件」逐一精排,取 top 3–5 進 prompt。cross-encoder 更慢更貴(要一起處理查詢和文件),但準得多——加重排通常是所有優化步驟裡單點收益最大的一步。
查詢改寫(Query Rewriting):使用者的問句常短、口語、帶指代(「我們跟供應商在支援上是怎麼約定的?」)。在檢索前用輕量模型改寫成檢索友好形式(「供應商 支援協議 SLA 回應時間」),多輪對話還要帶上前 2–3 輪消解指代,召回會明顯變好。
另外設相似度閾值兜底:低於閾值的文件直接過濾掉。傳無關上下文比不傳更糟——它佔用上下文窗口,還增加模型把對錯資訊混在一起的風險。
引用溯源與權限前置過濾
企業級 RAG 有兩項硬要求:
- 引用溯源:每個 chunk 存 source metadata(文件名、章節、頁碼、日期、權限層級),prompt 裡要求模型內聯引用,後處理把引用抽成結構化清單回傳。這既是使用者信任機制(能點開核對),也是工程師的除錯工具(答錯了能追到源頭 chunk)。
- 權限(RBAC)前置過濾:把使用者/角色的 ACL 直接寫進 chunk metadata,在檢索階段就過濾,不要檢索完再過濾。因為檢索後再過濾,很可能 top 命中全是受限文件,最終零文件進模型,答案直接崩。
評估:RAG 三元組
RAG 有兩個品質維度——檢索品質和生成品質。多數團隊只測後者,導致答錯時無法定位是「沒檢索到」還是「檢索到了但生成歪了」。
RAG 三元組(三個軸都要測):
- 上下文相關性(Context Relevance):檢索器找到對的文件了嗎?核心指標是 recall@k(正確片段是否出現在 top-k 裡)——這是調生成之前必須先看的指標。
- Groundedness / Faithfulness:答案的每個論斷都能追溯到檢索到的片段嗎?這是最直接的幻覺風險指標。
- 答案相關性(Answer Relevance):答案真的回應了使用者的問題嗎?
再疊加維運指標:latency p50/p95、cost per request。起步建議先建 50–200 條查詢的黃金評測集(含已知正確答案),每次改 prompt、改 reranker、換模型都跑一遍迴歸。
企業落地最常見的 6 個失敗模式
- 召回失敗:正確文件壓根沒進 top-10(嵌入離查詢太遠)。排查:跑測試查詢看正確來源是否在 top-10;修復:改進分塊、給關鍵事實補充語義更豐富的上下文、下調相似度閾值。
- 上下文窗口溢位:檢索塊 + 系統指令 + 查詢超過模型窗口。修復:限制到重排後的 top 3–5,並對塊大小設上限。
- 答案基於過期/錯誤來源:檢索到的內容本身已過時。修復:加文件新鮮度 metadata,檢索時按時間窗過濾。
- 換嵌入模型未重新嵌入:把換嵌入模型當無害升級,實際是 breaking change——新舊向量不在同一空間,必須全量重新嵌入。
- 多租戶漏 metadata 過濾:權限沒前置過濾,導致越權或零結果。
- 日誌全量記錄原始 prompt:含敏感資料,需去識別化(PII/金鑰)。
30 天上線節奏
- 第 1 週:入庫 + 清洗 + 分塊 + 向量索引。
- 第 2 週:混合檢索 + reranker + 引用溯源。
- 第 3 週:評測集 + 看板 + 失敗分析。
- 第 4 週:護欄 + 快取 + 上線 SLO。
護欄包括:攔截越域問題、拒絕違規輸出、日誌去識別化。降本靠語義快取(語義相同的問句直接回命中答案)和模型分級(小模型做改寫/摘要,最強的模型只做最終生成)。規模上向量庫易水平擴,LLM API 通常是瓶頸。
上手清單
- 入庫先清洗:去頁首頁尾/導覽樣板,統一格式與空白。
- 語義分塊優先,塊 300–800 token、overlap 10–20%,結構化文件先按標題塊。
- 入庫與查詢用同一嵌入模型;在自己語料上測 recall@10 選模。
- 必上混合檢索(向量 + BM25)與 cross-encoder 重排(召回 20–80 → 精排 3–5)。
- 加查詢改寫;設相似度閾值,寧缺勿濫。
- chunk 帶 source metadata + ACL,引用內聯輸出,權限前置過濾。
- 建 50–200 條黃金集,按 RAG 三元組 + recall@k + p95 延遲做迴歸。
- 上語義快取與模型分級;日誌去識別化;第 4 週定 SLO。
RAG 的檢索底座正是企業級搜尋的核心能力——查詢理解、語義召回、混合檢索、重排與權限感知檢索。
常見問題
問:RAG 和微調(fine-tuning)該怎麼選?
答:目標不同。微調是把「行為/風格/領域習慣」教給模型,改的是參數;RAG 是給模型「外掛可隨時更新的知識庫」,改的是輸入。要答私有、高頻變動、需溯源的問題,選 RAG;要統一輸出格式或灌輸穩定領域風格,才考慮微調。兩者也可疊加。
問:為什麼我加了 RAG 答案還是不準?
答:多數是檢索環節沒做好,而不是模型不行。按順序排查:正確文件是否在 top-10(recall@k)→ 分塊是否合理(語義分塊優於定長)→ 是否上了混合檢索(精確詞命中)→ 有沒有 rerank(單點收益最大)→ 查詢是否需要改寫。只調 prompt 通常解決不了召回失敗。
問:塊切多大合適?
答:實務預設 300–800 token、overlap 10–20%。事實型問答可偏小(256 左右)提精度,摘要類可偏大(1024)。結構化文件先按標題塊再按 token 切,過短(<100 token)的塊與相鄰塊合併。關鍵是別讓塊橫跨無關的語義邊界。
問:混合檢索為什麼一定要加關鍵詞(BM25)?
答:因為純向量檢索對精確匹配弱。使用者搜錯誤碼、版本號、條款號、產品型號這類字面精確的查詢時,向量相似度未必把它們排到前面。BM25 擅長精確與稀有詞匹配,與向量並行再用 RRF 或加權融合,企業語料上混合幾乎總優於純稠密檢索。
問:權限過濾應該放在檢索前還是檢索後?
答:必須檢索前。把 ACL 寫進 chunk metadata,在檢索階段就過濾。若檢索後再過濾,很可能 top 命中全是你無權存取的文件,過濾完剩零條,模型拿不到上下文、答案直接崩。這是企業級 RAG 最容易踩的坑之一。
問:RAG 該看哪些指標?
答:RAG 三元組——上下文相關性(用 recall@k 看檢索對不對)、Groundedness(答案論斷能否追溯到檢索片段,衡量幻覺)、答案相關性(是否真答了問題)。再疊加 p50/p95 延遲與單次成本。建議建 50–200 條黃金查詢集,每次改動都跑迴歸。
關於通智雲
RAG 的檢索底座正是企業級搜尋的核心能力。通智搜尋面向這類場景提供查詢理解、語義召回、混合檢索、重排與權限感知檢索能力,讓企業知識真正被檢索到、被引用。通智雲(TENGENCE)是 AI 時代的企業成長引擎,專注公域引流獲客與私域轉化成交;核心產品為通智 GEO(GEO + SEO 雙引擎)與通智搜尋。
相關閱讀
- 企業知識庫搜尋:文件檢索場景的落地方案
- 向量檢索落地實踐:語義召回從原理到部署
- 語義搜尋是什麼?向量檢索與關鍵字檢索全面對比
- 什麼是站內搜尋?原理、核心指標與能力框架
- 搜尋相關性排序怎麼優化?召回 + 排序雙階段方法
資料來源
- End-to-End RAG Workflow: How Retrieval Augmented Generation Works——Databricks:RAG 五階段流水線;嵌入模型入庫與查詢須一致;分塊策略與 HNSW 索引;混合檢索(向量+BM25,RRF)與 rerank;相似度閾值過濾。
- Retrieval-Augmented Generation: How It Works and When to Use It——Digital Fractal:512 token/10% overlap 起步與場景化調整;選模測 recall@10;召回 10–20 後 rerank 到 3–5;檢索指標 recall@k/precision 與生成指標 groundedness;增量索引與新鮮度 SLA。
- RAG Implementation Patterns——AI Solutions Wiki:語義分塊比定長提升精度 15–25%;混合檢索 BM25 權重 30–40%;rerank 單點收益最大;查詢改寫與指代消解;引用溯源 metadata;三類失敗模式診斷。
- Best Practices for Designing Enterprise RAG Systems——Alps Agility:語義分塊與 lineage;混合檢索+查詢改寫+重排;RBAC metadata 過濾須前置;RAG 三元組(上下文相關性/Groundedness/答案相關性);語義快取與模型分級降本。
- RAG Systems Complete Guide (2026): From Prototype to Production——Learnixo:生產流水線全鏈路;chunk 300–800/overlap 10–20%;混合加權融合(alpha 0.65);分層召回 30–80→重排 5–10;評估指標與護欄;30 天建設計畫。