# 用一个 Hub Bucket 传输万亿参数：TRL 中的增量权重同步

- 原标题：Shipping a Trillion Parameters With a Hub Bucket: Delta Weight Sync in TRL
- 类型：博客
- 来源：Hugging Face
- 发布时间：2026-05-27
- 首次精选：2026-10-28 16:25
- 分级：值得看
- 学习层级：深入
- 主题：[reinforcement-alignment](<https://oplearnx.com/md/topics/reinforcement-alignment.md>)（第 22 位）、[model-serving-compute](<https://oplearnx.com/md/topics/model-serving-compute.md>)（第 37 位）
- 原文链接：[https://huggingface.co/blog/delta-weight-sync](<https://huggingface.co/blog/delta-weight-sync>)
- 本站页面：[https://oplearnx.com/resources/pk\_f2c8d7867eb0](<https://oplearnx.com/resources/pk_f2c8d7867eb0>)

## 摘要

文章介绍 TRL 中一项名为 Delta Weight Sync 的改动：异步强化学习中训练器每步需向推理引擎发送整个模型，而相邻两个优化步之间约 99% 的 bf16 权重完全相同，因此只把变化元素编码为稀疏 safetensors 文件，上传到 Hugging Face Bucket 并让 vLLM 拉取。文中称在 Qwen3-0.6B 上每步传输量从 1.2 GB 降至 20–35 MB，并演示了训练器、vLLM 与 Wordle 环境分处不同位置的分离式训练。

## 原文涉及

- [GitHub - huggingface/trl: Train transformer language models with reinforcement learning.](<https://github.com/huggingface/trl>)

---
来源：LearnMap · 学径（https://oplearnx.com）