跨 HF Jobs 的 LoRA 异步 GRPO：一个存储桶、一个代理，不用 NCCL

用一个 Hub Bucket 传输万亿参数：TRL 中的增量权重同步

Shipping a Trillion Parameters With a Hub Bucket: Delta Weight Sync in TRL

文章介绍 TRL 中一项名为 Delta Weight Sync 的改动：异步强化学习中训练器每步需向推理引擎发送整个模型，而相邻两个优化步之间约 99% 的 bf16 权重完全相同，因此只把变化元素编码为稀疏 safetensors 文件，上传到 Hugging Face Bucket 并让 vLLM 拉取。文中称在 Qwen3-0.6B 上每步传输量从 1.2 GB 降至 20–35 MB，并演示了训练器、vLLM 与 Wordle 环境分处不同位置的分离式训练。

用 100 步 GRPO 微调 350M 模型以改善结构化输出

Fine-tuning a 350M Model for Better Structured Outputs in 100 GRPO Steps

文章给出一份完全公开、成本低廉的配方，用 TRL 库的 Group Relative Policy Optimization 微调 LFM2.5-350M，并在 IFStruct 基准上评估其结构化输出遵循能力。整个训练约 500 个样本、100 步，可在免费层级的 Colab 或 Kaggle GPU 上完成，代码已在 GitHub 公开；结果显示 IFStruct 基准成绩从 22.6% 提升到 29.7%。文中说明该训练流程不同于 IFStruct 博客中训练 RL 模型所用的流程，目标不是复现该基准分数。适合想在小模型上试验 RL 微调的读者。

把数据库评分转化为强化学习奖励：用 ThinkingBox 对智能体进行后训练

Turning Database Grading into RL Rewards: Post-Training Agents with ThinkingBox

这是此前博客的后续，介绍已在 GitHub 上发布的 ThinkingBox-Training。作者用比较最终数据库状态与预期结果的方式评估智能体工作，并把同类的可执行信号用作 ThinkingBox-Bench 之外训练任务的奖励。文中报告对 Qwen3.8-27B 经 50 步 GRPO 后平均成功率从 51.70% 升至 60.78%，二十次尝试全部正确的任务数从 38 增至 107；ThinkingBox-Bench 包含 507 项任务。

2025 年大语言模型现状：进展、问题与预测

Sebastian Raschka 于 2025 年 12 月 30 日发布在个人杂志上的年度回顾文章，梳理 2025 年大语言模型的主要发展，包括被作者称为“推理、RLVR 和 GRPO 之年”的趋势、2025 年 1 月 DeepSeek R1 的发布及其影响，并讨论仍然存在的局限与开放问题以及对后续发展的看法。

斯坦福 CME295 Transformer 与大语言模型 | 2026 年秋季 | 第 3 讲 — LLM 训练

Stanford CME295 Transformers & LLMs | Autumn 2026 | Lecture 3 - LLM training

这是斯坦福课程 CME295 2026 年秋季学期的第三讲录像，由 Afshine Amidi 与 Shervine Amidi 讲授。内容涵盖预训练与交叉熵损失、数据配比、中期训练、长上下文训练、监督微调（SFT）、LoRA、偏好调优、Bradley-Terry 模型、RLHF、DPO、推理能力、GRPO、在线策略蒸馏（OPD）及一个端到端示例。