FREEAI
全部记录

本地部署 AI

当数据不能离开自有环境

在自有硬件上运行开源权重模型 —— 成本是多少、能力上限在哪里,以及如何证明数据确实没有出去过。

2026 年 8 月 5 日 · 7 分钟阅读

当数据不能离开自有环境

这个要求通常以别人合同里的一句话的形式出现:本数据不得在我方环境之外处理。有时来自监管,有时来自客户的安全审查,有时来自一个在提问之前就已经定了答案的董事会。它一般没有商量余地,而且往往在系统其余部分都设计完之后才出现。

三种满足方式

  • 使用在允许的地区或租户内有部署的商业供应商。工作量最小,质量上限也最高。需要确认的是推理实际发生在哪里,而不是账号注册在哪里 —— 这两者未必是同一个地方。
  • 在自有硬件上运行开源权重模型,放在自己的机房或自己的机柜里。对数据流向有完全控制,成本也不再随调用次数增长。代价是您从此拥有一块 GPU、它的电费、它的驱动栈和它的故障模式。
  • 拆分方案:只有触及受限数据的那一步在本地运行,其余交给商业模型。通常最经济,但在审计时最难解释 —— 必须能说清楚哪些字段跨过了哪条边界。

容易出乎意料的一点

自建开源模型与前沿商业模型之间的差距,不是一个单一数字。在约束明确的抽取任务上 —— 从这张表里取出这六个字段 —— 本地硬件上提示词写得好的开源模型往往已经够用,剩下的错误类型也与商业模型相同。但在长上下文、非结构化内容上的开放式推理任务上,差距很大,且靠调提示词补不回来。

这意味着该决策应逐个任务判断,而不是整套系统一刀切。我们会先在客户自己的文档上实测两者,再给建议。公开基准分数说明不了一家机构拍摄纸质材料的具体习惯会带来什么。

自建的真实成本

硬件是看得见的那部分,通常也是较小的那部分。其余都是运维:让推理服务保持可用、让驱动与运行时停留在彼此兼容的版本上、为高峰做容量规划,以及在下午四点批处理任务被一个卡住的请求堵住时,有人能诊断它。如果没有人会长期承担这件事,那么即便显得不够先进,合规的商业部署才是诚实的建议。

真正改变这笔账的是调用量。按次计费在流程每天只跑几十次时很便宜;自有硬件在达到那个量级之前都显得昂贵。我们会先按实际业务量算出临界点在哪里,再谈要不要买设备。

网关在这里的位置

自管网关在这个场景下比在任何其它场景下都更有价值。它提供了唯一一处可以强制执行「受限流量只能到达本地端点」的地方 —— 这条规则说起来容易,但当四个服务各自持有配置时,很容易在无意中被违反。它也是拿出审计所需记录的唯一可行方式。

要谨慎对待的说法是「我们的数据没有出去」。要能指出边界在哪、说清什么跨过了它、并拿得出记录。

正在做类似的事?

用几句话描述目前的做法。我们会说明哪一部分模型可以承担,哪一部分不能。

提交需求