返回

2026 年私有化 AI 搜尋:架構與容量規劃

通智雲團隊 ·
技術方案 診斷報告 通智GEO
2026 年私有化 AI 搜尋:架構與容量規劃

摘要:私有化 AI 搜尋最常見的失敗不是模型不夠強,而是容量算錯、檢索層缺位、治理層最後才補。本文按四層拆開,每層給出可以定量估算的口徑。

關鍵要點

一、四層架構各自要解決什麼

層級 職責 關鍵指標 常見缺口
檢索層 召回候選片段 召回率、延遲、索引新鮮度 只做向量,長尾精確詞失敗
模型服務層 生成與重排 首字延遲、吞吐、視訊記憶體佔用 只算文件量,不算併發
編排層 拆解問題、呼叫工具、拼接上下文 單問平均呼叫數、失敗重試率 無超時與降級策略
治理層 許可權、審計、留痕、脫敏 審計覆蓋率、越權攔截率 最後才做,導致返工

四層的建設順序有個經驗:檢索與治理先做,模型服務與編排隨後。原因是檢索決定上限,治理決定能不能上線;模型可以換,這兩層換起來代價最大。

編排層最容易被低估。真實使用者問題往往需要多步:先查是什麼,再查怎麼辦,再查具體流程。單輪問答表現不錯的產品,多輪就崩,通常問題在編排而不是模型。

想知道品牌在 ChatGPT、Perplexity 的答案裡佔多少份額?

了解通智 GEO

二、檢索層:混合是預設

只用向量檢索,會在兩類查詢上明顯失手:精確識別符號(編號、型號、條款號)與稀有專有名詞。只用關鍵詞檢索,會在口語化、同義表達上失手。

所以預設做法是混合:兩路召回,再做融合。

融合方式常見三種。第一種是加權分數融合,簡單但需要調權,跨查詢不穩定。第二種是倒數排名融合(RRF),只看排名不看絕對分數,引數少、魯棒性好,適合起步。第三種是學習排序,效果上限高,但需要標註資料與持續維護。

實踐建議是先用 RRF 跑通,再視資料情況引入學習排序。RRF 的關鍵引數只有平滑常數,調起來成本低,也便於解釋。

索引新鮮度是另一件必須定量的事。文件更新到可檢索之間的延遲,直接決定"問今天的事"能不能答對。私有化環境裡常見的做法是增量索引加定時全量重建,兩者週期要明確寫進架構文件,而不是留給運維臨時決定。

三、模型服務層:容量怎麼算

容量估算要從三個量出發:併發問答數、平均上下文長度、輸出長度。

第一步估視訊記憶體。模型權重佔一部分,KV 快取佔另一部分。上下文越長、併發越高,KV 快取越大。很多方案只按權重估算視訊記憶體,上線後才發現併發上不去。

第二步估吞吐。單卡能承載的併發與首字延遲是一對矛盾:批處理能提高吞吐,但會增加首字等待。產品對"多快出第一個字"的要求,往往比"每秒多少字"更影響體驗,這一點要在容量規劃裡明確。

第三步估成本。私有化的成本不只在 GPU,還包括電力、機房、運維人力與模型更新。一個常見誤區是隻算硬體採購,忽略三年的運維投入。

還有一層:重排模型。生成之前的重排對答案質量影響很大,但它也佔視訊記憶體與延遲預算。規劃時要把重排與生成放在同一張資源表裡,否則會出現"生成很快但整體很慢"的情況。

四、混合部署與政策邊界

私有化不等於全部本地。常見形態是混合:敏感資料與檢索在本地,通用能力呼叫外部服務,或反之。

設計混合部署時,先回答三個問題。哪些資料絕對不能出境?哪些查詢可以脫敏後外發?審計需要留到什麼粒度?

這三個問題決定了架構的切分點。切分點通常不在"模型在哪",而在"資料在哪一步被聚合"。一旦聚合發生在外部,即使原文在本地,風險也已經產生。

審計粒度要提前定。只記錄"誰查了什麼"往往不夠,還需要記錄"返回了哪些片段、依據了哪些文件"。後兩項在爭議追溯時更有價值,但儲存成本也更高,需要在設計階段權衡保留週期。

五、承諾上線前的五項評估

第一項,召回評估。用真實問法構造測試集,測召回率與排序質量。沒有這一步,後面的生成質量無從判斷。

第二項,幻覺評估。構造"庫裡沒有答案"的問題,看系統是否承認不知道。這一項最能暴露編排層的問題。

第三項,許可權評估。構造越權查詢,驗證攔截是否生效,並檢查審計日誌是否完整。

第四項,容量評估。按峰值併發的 1.5 倍壓測,觀察首字延遲與錯誤率的變化拐點。

第五項,降級評估。模擬模型服務不可用、檢索超時、外部依賴失敗三種情況,驗證產品是否優雅降級而不是整體不可用。

五項評估的產出應該是一份可復現的報告,包含測試集、環境、結果與結論。它既是上線依據,也是後續迭代的基線。

還有一條經驗值得寫進決策文件:私有化專案的排期,通常被"最後一公里的接入"吃掉。檢索、模型、編排都跑通了,真正拖時間的是許可權體系對接、歷史資料清洗與前端互動改造。這三項應該在立項時就列入資源表,而不是留到上線前才發現沒有人力。

同樣要靠前的還有運維口徑。誰負責索引重建、誰負責模型版本切換、出現答案異常時第一聯絡人是誰。這些問題不解決,系統上線之後會長期處於"能用但不敢用"的狀態。

還有一項經常被跳過:驗收口徑的書面化。檢索命中率、首字延遲、答案正確率的判定標準,如果只存在於個別人的經驗裡,上線後每次爭議都要重新討論一遍。把判定方式寫成可執行的檢查項,是私有化專案從"能跑"走到"能交付"的分界點。

常見問題

問:小團隊適合做私有化 AI 搜尋嗎?
適合,但要縮範圍。先做一個領域、一個語言、少量文件,把檢索與治理跑通,再擴。全量鋪開的私有化專案,失敗率很高。

問:一定要用 GPU 嗎?
生成環節通常需要。但檢索、重排的一部分可以在 CPU 上完成。混合硬體配置往往比全 GPU 更經濟。

問:模型多久更新一次?
按業務需要,通常半年到一年。頻繁換模型會讓評估基線失效,也會增加回歸風險。

問:私有化之後還需要外部 API 嗎?
視場景。通用知識與長尾實體,外部服務往往更強;涉密與內部流程,必須本地。關鍵是切分點選在資料處理鏈路的哪一步。

問:怎麼證明它比原來好用?
用同一批真實任務對比:完成時間、人工返工率、使用者滿意度。只比"回答得像不像人"沒有決策價值。

相關閱讀

資料來源

  1. Microsoft Learn,《Azure AI 搜尋概述》——混合檢索、語義排序與索引更新的能力說明。
  2. Elastic,《kNN 檢索文件》——向量檢索的引數與近似演算法細節。
  3. Lewis 等,《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》——檢索增強生成的基礎論文。
← 上一篇: GEO 診斷工具對比:真正重要的 5 項能力 下一篇: 混合檢索架構:BM25 + 向量召回怎麼融合(含 RRF) →
諮詢
二維碼

企業微信