英国金融科技公司 Revolut 弃用 Claude 转向自托管，将 AI 编程成本削减 10 倍

中文精读

原文约 880 词 · 4 节

1. 导读：英国金融科技公司 Revolut 自托管模型把 AI 编程成本砍到十分之一

   • 副题点出核心：便宜的 token 让工程师敢把 AI 用在调试、处理 Jira 工单等省时的事情上。
   • 正文报道发布于 theregister.com 的 AI 与机器学习栏目，发布时间为 2026 年 11 月 3 日。
   • 文章围绕 Revolut 在不到一年内把 AI 编程的推理成本削减约 90% 展开，手段是把自托管模型设为其默认选择，而不再主要依赖 Claude 这类商业服务。

2. 从月费上千美元到自托管：Revolut 的成本削减与收益数据

   • Revolut 运维与基础设施负责人 David Abitbol 在上月于纽约举行的 AI Engineer 大会上介绍，公司向约 2000 名工程师铺开 AI 编程工具后，编程时间改善 60%，交付周期（lead time）改善 70%。
   • Revolut 最初采用 GLM-5.1，随后升级到 GLM-5.3，目前用 56 块 Nvidia B200 GPU 提供服务。此前它曾于 2025 年初部署 Gemini、2026 年初部署 Claude Code。
   • Abitbol 说公司一开始对 AI 成本高度怀疑：看到工程师每月花 1000 美元、甚至 1 万美元而回报有限，因此上线时就设了严格预算上限，工程师只能用有限 token，这促使公司研究自托管。
   • 自托管 GLM-5.1 的成本约为每百万输入/输出 token 0.3 美元，大约是使用 OpenAI Codex 或 Anthropic Claude Code 的十分之一。token 变便宜后，公司不再担心用量和用途。
   • Abitbol 指出最大的瓶颈其实不在写代码本身，最大收益来自让模型处理调试、Jira 与 Confluence 工单等事务。token 不限量后，不必再为季度末或最难的任务省着用。

3. 模型规模、服务调优与实测指标

   • GLM-5.1 由中国开放权重模型开发商 Z.ai 开发，总参数约 7540 亿（每生成一个 token 激活约 400 亿），仅存放权重就需约 380 GB 显存，另需每用户 6–26 GB 维持上下文，具体取决于精度。
   • 为大规模服务 GLM-5.3，Revolut 部署了 56 块 Nvidia B200 GPU，相当于 7 套八卡 DGX B200 系统。但 Abitbol 强调最大的性能提升不是靠加 GPU，而是调模型超参数、改用 NVFP4 量化、实现 prefill 与 decode 分离，以及调整上下文长度。
   • 关键经验之一是支持百万 token 上下文窗口并不代表这么大的窗口有用或高效。Abitbol 直言“长上下文是骗局”，即使能服务一百万 token，实际需要的是 25.6 万。
   • 经上述优化，在约 25.6 万 token 的上下文下首 token 时间（TTFT）低于 3 秒，生成速度约每秒 200 token，他认为这两项是其软件工程师的甜点区。
   • 他给的经验值是首 token 时间要压到 3 秒内，一旦超过 5 秒 Slack 收件箱就会被塞爆；吞吐量相对没那么重要，每秒 200 token 的交互速度人们就能接受，因为工程师已习惯并行跑任务、完成后回来看结果。
   • 若担心吞吐，他提到下午 5 点后登录的工程师能拿到接近每秒 800 token 的速度。

4. 模型规模、服务调优与实测指标（续）

   • GLM 并未完全取代 GPT 或 Claude：该中国模型只支持文本，不适合 UI 类工作，因此 Revolut 用模型路由器把视觉查询转给 Gemini 或 GPT Luna，代码生成仍留在 GLM 上。
   • Abitbol 表示开源现已是 Revolut 的优先事项，其经济性有利：账单是固定的，月底不会有账单惊吓，只有前沿能力才作为例外。他也承认中国开放权重模型可能引发隐私与安全顾虑，但主要风险在于通过部署在中国的 API 访问；在本地或区域云资源上运行则无需担心。