2026 年私有化 AI 搜索:架构与容量规划
摘要:私有化 AI 搜索最常见的失败不是模型不够强,而是容量算错、检索层缺位、治理层最后才补。本文按四层拆开,每层给出可以定量估算的口径。
关键要点
- 先定检索,再定模型。 没有可靠的检索层,再大的模型也只是在编答案。
- 混合检索应当作为默认,不是可选项。 关键词召回负责精确匹配,向量召回负责语义近似,两者缺一都会在长尾上崩。
- 容量要按"并发问答"算,不是按"文档数"算。 文档规模决定索引成本,并发与上下文长度决定推理成本。
- 私有化的核心约束通常是数据出境与审计,不是性能。 架构要围绕这两点设计,而不是反过来。
- 上线前必须做五项评估。 缺任何一项,出问题时代价都远高于评估成本。
一、四层架构各自要解决什么
| 层级 | 职责 | 关键指标 | 常见缺口 |
|---|---|---|---|
| 检索层 | 召回候选片段 | 召回率、延迟、索引新鲜度 | 只做向量,长尾精确词失败 |
| 模型服务层 | 生成与重排 | 首字延迟、吞吐、显存占用 | 只算文档量,不算并发 |
| 编排层 | 拆解问题、调用工具、拼接上下文 | 单问平均调用数、失败重试率 | 无超时与降级策略 |
| 治理层 | 权限、审计、留痕、脱敏 | 审计覆盖率、越权拦截率 | 最后才做,导致返工 |
四层的建设顺序有个经验:检索与治理先做,模型服务与编排随后。原因是检索决定上限,治理决定能不能上线;模型可以换,这两层换起来代价最大。
编排层最容易被低估。真实用户问题往往需要多步:先查是什么,再查怎么办,再查具体流程。单轮问答表现不错的产品,多轮就崩,通常问题在编排而不是模型。
想知道品牌在 ChatGPT、Perplexity 的答案里占多少份额?
了解通智 GEO二、检索层:混合是默认
只用向量检索,会在两类查询上明显失手:精确标识符(编号、型号、条款号)与稀有专有名词。只用关键词检索,会在口语化、同义表达上失手。
所以默认做法是混合:两路召回,再做融合。
融合方式常见三种。第一种是加权分数融合,简单但需要调权,跨查询不稳定。第二种是倒数排名融合(RRF),只看排名不看绝对分数,参数少、鲁棒性好,适合起步。第三种是学习排序,效果上限高,但需要标注数据与持续维护。
实践建议是先用 RRF 跑通,再视数据情况引入学习排序。RRF 的关键参数只有平滑常数,调起来成本低,也便于解释。
索引新鲜度是另一件必须定量的事。文档更新到可检索之间的延迟,直接决定"问今天的事"能不能答对。私有化环境里常见的做法是增量索引加定时全量重建,两者周期要明确写进架构文档,而不是留给运维临时决定。
三、模型服务层:容量怎么算
容量估算要从三个量出发:并发问答数、平均上下文长度、输出长度。
第一步估显存。模型权重占一部分,KV 缓存占另一部分。上下文越长、并发越高,KV 缓存越大。很多方案只按权重估算显存,上线后才发现并发上不去。
第二步估吞吐。单卡能承载的并发与首字延迟是一对矛盾:批处理能提高吞吐,但会增加首字等待。产品对"多快出第一个字"的要求,往往比"每秒多少字"更影响体验,这一点要在容量规划里明确。
第三步估成本。私有化的成本不只在 GPU,还包括电力、机房、运维人力与模型更新。一个常见误区是只算硬件采购,忽略三年的运维投入。
还有一层:重排模型。生成之前的重排对答案质量影响很大,但它也占显存与延迟预算。规划时要把重排与生成放在同一张资源表里,否则会出现"生成很快但整体很慢"的情况。
四、混合部署与政策边界
私有化不等于全部本地。常见形态是混合:敏感数据与检索在本地,通用能力调用外部服务,或反之。
设计混合部署时,先回答三个问题。哪些数据绝对不能出境?哪些查询可以脱敏后外发?审计需要留到什么粒度?
这三个问题决定了架构的切分点。切分点通常不在"模型在哪",而在"数据在哪一步被聚合"。一旦聚合发生在外部,即使原文在本地,风险也已经产生。
审计粒度要提前定。只记录"谁查了什么"往往不够,还需要记录"返回了哪些片段、依据了哪些文档"。后两项在争议追溯时更有价值,但存储成本也更高,需要在设计阶段权衡保留周期。
五、承诺上线前的五项评估
第一项,召回评估。用真实问法构造测试集,测召回率与排序质量。没有这一步,后面的生成质量无从判断。
第二项,幻觉评估。构造"库里没有答案"的问题,看系统是否承认不知道。这一项最能暴露编排层的问题。
第三项,权限评估。构造越权查询,验证拦截是否生效,并检查审计日志是否完整。
第四项,容量评估。按峰值并发的 1.5 倍压测,观察首字延迟与错误率的变化拐点。
第五项,降级评估。模拟模型服务不可用、检索超时、外部依赖失败三种情况,验证产品是否优雅降级而不是整体不可用。
五项评估的产出应该是一份可复现的报告,包含测试集、环境、结果与结论。它既是上线依据,也是后续迭代的基线。
还有一条经验值得写进决策文档:私有化项目的排期,通常被"最后一公里的接入"吃掉。检索、模型、编排都跑通了,真正拖时间的是权限体系对接、历史数据清洗与前端交互改造。这三项应该在立项时就列入资源表,而不是留到上线前才发现没有人力。
同样要靠前的还有运维口径。谁负责索引重建、谁负责模型版本切换、出现答案异常时第一联系人是谁。这些问题不解决,系统上线之后会长期处于"能用但不敢用"的状态。
还有一项经常被跳过:验收口径的书面化。检索命中率、首字延迟、答案正确率的判定标准,如果只存在于个别人的经验里,上线后每次争议都要重新讨论一遍。把判定方式写成可执行的检查项,是私有化项目从"能跑"走到"能交付"的分界点。
常见问题
问:小团队适合做私有化 AI 搜索吗?
适合,但要缩范围。先做一个领域、一个语言、少量文档,把检索与治理跑通,再扩。全量铺开的私有化项目,失败率很高。
问:一定要用 GPU 吗?
生成环节通常需要。但检索、重排的一部分可以在 CPU 上完成。混合硬件配置往往比全 GPU 更经济。
问:模型多久更新一次?
按业务需要,通常半年到一年。频繁换模型会让评估基线失效,也会增加回归风险。
问:私有化之后还需要外部 API 吗?
视场景。通用知识与长尾实体,外部服务往往更强;涉密与内部流程,必须本地。关键是切分点选在数据处理链路的哪一步。
问:怎么证明它比原来好用?
用同一批真实任务对比:完成时间、人工返工率、用户满意度。只比"回答得像不像人"没有决策价值。
相关阅读
数据来源
- Microsoft Learn,《Azure AI 搜索概述》——混合检索、语义排序与索引更新的能力说明。
- Elastic,《kNN 检索文档》——向量检索的参数与近似算法细节。
- Lewis 等,《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》——检索增强生成的基础论文。