上个月底，CFO拿着一张账单找到我的时候，我正在给团队开周会。

数字很直白：我们团队上个月的AI API支出，从2万出头涨到了将近9万。三个月前还只是几千块。涨了四倍多，而我们的业务量只增长了30%。

我是技术负责人，这个问题我得解决。以下是我们排查问题、最终引入网关做成本治理的完整复盘。

一、问题定位：钱花在哪了？

第一件事是搞清楚钱到底花在了什么地方。但这步就花了整整两天。

我们团队二十多个人，各业务线自己对接了大模型API。客服系统用的Claude，内容团队用的GPT-4o，研发用的DeepSeek和Copilot。每个模型供应商的计费方式不同，账单格式不同，有的按Token，有的按请求次数，有的还有阶梯定价。

我让各业务线报各自的API用量，汇总之后发现两个问题：

问题一：大量调用浪费在简单任务上。 客服系统接的是市面最贵的模型之一，但拉了日志一看，80%的请求是"怎么改密码""发票怎么开"这类标准FAQ。这些问题用便宜的小模型甚至缓存就能解决，但我们一直在用最贵的模型回答。

问题二：没有调用上限。 有个实习生写了个数据清洗脚本，调了大模型API处理一批数据。脚本逻辑有bug导致无限重试，跑了整整一个周末。没人发现，因为没有告警，没有限额，没有任何熔断机制。光这一个脚本就烧了一万多。

二、分析：为什么成本会失控？

排查完之后，我把问题归纳了一下。本质上不是模型太贵，而是我们没有任何治理手段。

缺乏统一入口。 各业务线各买各的API，各管各的Key。作为技术负责人，我连团队到底用了多少个模型、有多少个API Key都数不清。这种情况下谈成本管控就是空话。

没有分账能力。 我没法回答"客服部上个月花了多少Token""研发部的AI编码助手花了多少钱"这种基本问题。没有分账就没有 accountability，各业务线自然没有节约动力。

没有配额和熔断。 任何调用方都可以无限调用，任何脚本bug都可能导致成本爆炸。这就像给每个员工一张不限额的信用卡，不出事才奇怪。

三、解决方案：引入网关做统一治理

研究了一圈方案后，我决定引入魔芋网关（MAI Gateway）（https://www.moyu.info/register?aff=uZut），核心逻辑就一条：所有大模型调用必须经过网关，不允许直连。

具体做了几件事：

第一步，统一接入。 所有业务线的模型调用改走网关的统一接口。好在网关兼容OpenAI格式，大部分业务代码只需要改base_url和api_key，迁移成本不高。一周内完成了全部业务线的接入。

第二步，配置智能路由。 把客服系统的FAQ类请求路由到便宜的小模型，只有复杂问题才走大模型。同时开启语义缓存，重复问题直接本地返回，不调API。光是这一项，客服系统的API成本就降了70%。

第三步，设置配额和熔断。 每个业务线、每个项目都设了月度Token预算。到达80%发预警通知到飞书群，到达95%发邮件给负责人，到达100%自动熔断。那个无限重试的脚本，以后最多烧到预算上限就会被拦住。

第四步，开启分账。 网关按消费者维度自动记录每次调用的Token消耗和成本。月底我能直接拉出一张报表：客服部花了多少、研发部花了多少、哪个项目超标了。一目了然。

四、效果：三个月后的数据

接入网关三个月后，我重新看了一组数据：

• 月度API支出从9万降到了3.2万，降幅64%

• 客服系统单次请求平均成本下降72%（智能路由+缓存）

• 没有再出现过因为脚本bug导致的成本爆炸事件

• 月底财务对账时间从两天缩短到半小时（网关自动生成报表）

• 意外收获：因为有了调用统计，我们发现有两个API Key已经半年没人用了，直接清理掉

五、几点经验教训

第一，AI成本失控不是"会不会"的问题，是"什么时候"的问题。 如果你团队有多个业务线在用大模型，且没有任何统一管控手段，成本爆炸只是时间问题。

第二，治理要趁早。 我们如果在月支出2万的时候就做这件事，就不至于到9万才被动应对。越往后接入，存量API Key和业务代码的迁移成本越高。

第三，技术方案不需要复杂，但必须统一入口。 网关本身不是什么高深技术，但"所有调用必须经过一个口子"这个约束，是成本治理能落地的前提。

最后说一句，引入网关这件事，技术上不难，难的是推动各业务线放弃自己手里的API Key，接受统一管控。这本质上是个管理问题，不是技术问题。但一旦过了这个坎，后面就顺畅了。