
最初几个项目都是直接调用模型供应商的接口。这在起步阶段是对的——装个 SDK、环境变量里放一把 key,功能就跑起来了。问题是悄悄出现的,大约在第四个系统上线前后。
没有网关会发生什么
- 同一把 key 存在于四个仓库、三套部署环境,以及至少一台开发机上。轮换密钥从一条命令变成一次排期。
- 月度账单是一个总数。没有人说得出这笔钱花在哪个产品上,于是也没有人能判断值不值。
- 供应商一次故障会同时打掉所有功能——因为所有功能都指向同一个地址,没有任何备用路径。
- 重试行为取决于各个 SDK 的默认值。高负载时四个系统同时撞同一个限流,把情况变得更糟。
这些都不是模型问题,而是随模型一起到来的普通基础设施问题。解决方式也和所有基础设施问题一样:在它前面放一道门,让所有东西都从这道门过。
网关实际承担什么
- 按项目鉴权,而不是按供应商。每个服务持有的凭据标识的是它自己,它永远看不到供应商的 key。
- 按项目计量与限额,费用落到造成它的那个产品上。
- 重试与退避集中在一处,对限流状态有统一视图,而不是四份各自为政的猜测。
- 对「降级答案好过没有答案」的调用做多供应商故障切换。并非所有调用都适用,判断哪些适用本身就是设计的一部分。
- 完整的调用记录:模型、参数与结果。三个月后有人追问某个判断的依据时,需要的就是这份记录。
实际带来的变化
最有价值的变化不在技术上。当支出能按项目归属之后,关于成本的讨论变得具体:这个功能每处理一份文档花多少钱,它替代掉的是什么。在此之前,唯一能谈的只有总数——那是整栋楼里最没法拿来做决策的数字。
密钥轮换变成一次操作。更换供应商变成一次配置修改,而不是四个代码库同时发版。供应商真的出问题时,影响范围被限定在我们事先判定「不可切换」的那些调用上。
网关解决不了什么
它不会让一个写得差的提示词变好,也不会让模型胜任它本来就不胜任的任务。它还多了一跳,所以它必须足够无聊:如果网关成了整条链路里最不可靠的一环,那它是帮了倒忙。我们把它当基础设施对待——小、乏味、监控充分、极少改动。
当超过两个系统在调用模型,或第一次有人问「模型这笔钱到底花在什么上」时,就该建了。
下一篇
当数据不能离开自有环境