2026 年私有化 AI 搜尋:架構與容量規劃
摘要:私有化 AI 搜尋最常見的失敗不是模型不夠強,而是容量算錯、檢索層缺位、治理層最後才補。本文按四層拆開,每層給出可以定量估算的口徑。
關鍵要點
- 先定檢索,再定模型。 沒有可靠的檢索層,再大的模型也只是在編答案。
- 混合檢索應當作為預設,不是可選項。 關鍵詞召回負責精確匹配,向量召回負責語義近似,兩者缺一都會在長尾上崩。
- 容量要按"併發問答"算,不是按"文件數"算。 文件規模決定索引成本,併發與上下文長度決定推理成本。
- 私有化的核心約束通常是資料出境與審計,不是效能。 架構要圍繞這兩點設計,而不是反過來。
- 上線前必須做五項評估。 缺任何一項,出問題時代價都遠高於評估成本。
一、四層架構各自要解決什麼
| 層級 | 職責 | 關鍵指標 | 常見缺口 |
|---|---|---|---|
| 檢索層 | 召回候選片段 | 召回率、延遲、索引新鮮度 | 只做向量,長尾精確詞失敗 |
| 模型服務層 | 生成與重排 | 首字延遲、吞吐、視訊記憶體佔用 | 只算文件量,不算併發 |
| 編排層 | 拆解問題、呼叫工具、拼接上下文 | 單問平均呼叫數、失敗重試率 | 無超時與降級策略 |
| 治理層 | 許可權、審計、留痕、脫敏 | 審計覆蓋率、越權攔截率 | 最後才做,導致返工 |
四層的建設順序有個經驗:檢索與治理先做,模型服務與編排隨後。原因是檢索決定上限,治理決定能不能上線;模型可以換,這兩層換起來代價最大。
編排層最容易被低估。真實使用者問題往往需要多步:先查是什麼,再查怎麼辦,再查具體流程。單輪問答表現不錯的產品,多輪就崩,通常問題在編排而不是模型。
想知道品牌在 ChatGPT、Perplexity 的答案裡佔多少份額?
了解通智 GEO二、檢索層:混合是預設
只用向量檢索,會在兩類查詢上明顯失手:精確識別符號(編號、型號、條款號)與稀有專有名詞。只用關鍵詞檢索,會在口語化、同義表達上失手。
所以預設做法是混合:兩路召回,再做融合。
融合方式常見三種。第一種是加權分數融合,簡單但需要調權,跨查詢不穩定。第二種是倒數排名融合(RRF),只看排名不看絕對分數,引數少、魯棒性好,適合起步。第三種是學習排序,效果上限高,但需要標註資料與持續維護。
實踐建議是先用 RRF 跑通,再視資料情況引入學習排序。RRF 的關鍵引數只有平滑常數,調起來成本低,也便於解釋。
索引新鮮度是另一件必須定量的事。文件更新到可檢索之間的延遲,直接決定"問今天的事"能不能答對。私有化環境裡常見的做法是增量索引加定時全量重建,兩者週期要明確寫進架構文件,而不是留給運維臨時決定。
三、模型服務層:容量怎麼算
容量估算要從三個量出發:併發問答數、平均上下文長度、輸出長度。
第一步估視訊記憶體。模型權重佔一部分,KV 快取佔另一部分。上下文越長、併發越高,KV 快取越大。很多方案只按權重估算視訊記憶體,上線後才發現併發上不去。
第二步估吞吐。單卡能承載的併發與首字延遲是一對矛盾:批處理能提高吞吐,但會增加首字等待。產品對"多快出第一個字"的要求,往往比"每秒多少字"更影響體驗,這一點要在容量規劃裡明確。
第三步估成本。私有化的成本不只在 GPU,還包括電力、機房、運維人力與模型更新。一個常見誤區是隻算硬體採購,忽略三年的運維投入。
還有一層:重排模型。生成之前的重排對答案質量影響很大,但它也佔視訊記憶體與延遲預算。規劃時要把重排與生成放在同一張資源表裡,否則會出現"生成很快但整體很慢"的情況。
四、混合部署與政策邊界
私有化不等於全部本地。常見形態是混合:敏感資料與檢索在本地,通用能力呼叫外部服務,或反之。
設計混合部署時,先回答三個問題。哪些資料絕對不能出境?哪些查詢可以脫敏後外發?審計需要留到什麼粒度?
這三個問題決定了架構的切分點。切分點通常不在"模型在哪",而在"資料在哪一步被聚合"。一旦聚合發生在外部,即使原文在本地,風險也已經產生。
審計粒度要提前定。只記錄"誰查了什麼"往往不夠,還需要記錄"返回了哪些片段、依據了哪些文件"。後兩項在爭議追溯時更有價值,但儲存成本也更高,需要在設計階段權衡保留週期。
五、承諾上線前的五項評估
第一項,召回評估。用真實問法構造測試集,測召回率與排序質量。沒有這一步,後面的生成質量無從判斷。
第二項,幻覺評估。構造"庫裡沒有答案"的問題,看系統是否承認不知道。這一項最能暴露編排層的問題。
第三項,許可權評估。構造越權查詢,驗證攔截是否生效,並檢查審計日誌是否完整。
第四項,容量評估。按峰值併發的 1.5 倍壓測,觀察首字延遲與錯誤率的變化拐點。
第五項,降級評估。模擬模型服務不可用、檢索超時、外部依賴失敗三種情況,驗證產品是否優雅降級而不是整體不可用。
五項評估的產出應該是一份可復現的報告,包含測試集、環境、結果與結論。它既是上線依據,也是後續迭代的基線。
還有一條經驗值得寫進決策文件:私有化專案的排期,通常被"最後一公里的接入"吃掉。檢索、模型、編排都跑通了,真正拖時間的是許可權體系對接、歷史資料清洗與前端互動改造。這三項應該在立項時就列入資源表,而不是留到上線前才發現沒有人力。
同樣要靠前的還有運維口徑。誰負責索引重建、誰負責模型版本切換、出現答案異常時第一聯絡人是誰。這些問題不解決,系統上線之後會長期處於"能用但不敢用"的狀態。
還有一項經常被跳過:驗收口徑的書面化。檢索命中率、首字延遲、答案正確率的判定標準,如果只存在於個別人的經驗裡,上線後每次爭議都要重新討論一遍。把判定方式寫成可執行的檢查項,是私有化專案從"能跑"走到"能交付"的分界點。
常見問題
問:小團隊適合做私有化 AI 搜尋嗎?
適合,但要縮範圍。先做一個領域、一個語言、少量文件,把檢索與治理跑通,再擴。全量鋪開的私有化專案,失敗率很高。
問:一定要用 GPU 嗎?
生成環節通常需要。但檢索、重排的一部分可以在 CPU 上完成。混合硬體配置往往比全 GPU 更經濟。
問:模型多久更新一次?
按業務需要,通常半年到一年。頻繁換模型會讓評估基線失效,也會增加回歸風險。
問:私有化之後還需要外部 API 嗎?
視場景。通用知識與長尾實體,外部服務往往更強;涉密與內部流程,必須本地。關鍵是切分點選在資料處理鏈路的哪一步。
問:怎麼證明它比原來好用?
用同一批真實任務對比:完成時間、人工返工率、使用者滿意度。只比"回答得像不像人"沒有決策價值。
相關閱讀
資料來源
- Microsoft Learn,《Azure AI 搜尋概述》——混合檢索、語義排序與索引更新的能力說明。
- Elastic,《kNN 檢索文件》——向量檢索的引數與近似演算法細節。
- Lewis 等,《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》——檢索增強生成的基礎論文。