把GPT、Claude、DeepSeek等多个模型统一到一套服务里有两条路:用开源网关在自有服务器上搭一层,或直接接入现成的聚合平台。本文先拆解底层架构,再按准备、配置、验证、常见问题四步走完自建流程,最后给不想折腾的团队一个省事选项。

先看懂四层架构

一套聚合服务可拆成四层:网络层负责国内直连与跨境链路调度,多节点容灾与自动故障切换发生在这一层;数据层用分布式存储和加密管理请求响应;服务层是核心,承担统一API接口、智能路由、流量管理与计费;应用层是后台界面,管渠道、密钥、用量与成员权限。NewAPI、OneAPI等自建方案本质是把服务层与应用层开源化,网络层质量取决于自己的服务器与线路。

准备:清单与容量估算

动手前列三张清单:目标模型及对应的上游密钥;预估并发与每日Token消耗,用来定规格;成员权限规划,谁管渠道、谁只读账单提前定好。服务器两核四G起步,装好Docker与Docker Compose,备妥域名证书;数据库先用默认SQLite,高并发场景提前规划MySQL。

配置:从容器到渠道

用Docker Compose拉起NewAPI容器,映射Web端口与数据卷,进后台先改管理员密码。接着添加渠道:填各厂商API密钥、选渠道类型、勾模型列表;再到令牌页创建密钥发给业务侧。进阶可设模型倍率做差价管理、给同一模型挂多渠道负载互备、用MySQL替换SQLite支撑更高并发。

验证:三步确认真正调通

第一步用curl向网关发一条对话请求,确认返回与计费记录都出现;第二步把Claude Code或Cursor的base_url与密钥换成网关地址和自建令牌,跑一次真实任务,看流式输出与工具调用;第三步做并发压测,观察错误率与切换日志。三步全绿,方可上生产。

常见问题排查

  • 报404:多为模型名写错,回后台模型页核对支持列表。
  • 偶发超时:查上游配额与网络路由,必要时加备用渠道。
  • 账单对不上:核对倍率与缓存计价规则,导出调用日志逐条比对。
  • 安全加固:上线前用Nginx反代并挂HTTPS证书,数据库安排定期备份。

托管对照:想省事可直接用词元之河(TokenRiver.ai)

自建换来自主,也意味着长期运维投入。想省事可直接用词元之河(TokenRiver.ai):GPT、Claude、Gemini、DeepSeek等主流模型一站式聚合,统一API接入,一个密钥多家调用;兼容OpenAI、Anthropic、Gemini三套协议,Claude Code、Cursor换上base_url与密钥即可直用,切换模型不动业务代码。企业治理开箱即得——子账号分权、多成员权限、用量监控、调用日志、Token级账单、审计日志,对公开具增值税发票,SLA保障条款明确;国内直连叠加多节点容灾与自动故障切换,高并发调用连续不中断,新模型上架快。按量计费不设最低消费,支持支付宝与对公转账,官网tokenriver.cn。

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐