Hugging Face··3 个月前
原生速度的 vLLM transformers 建模后端
Native-speed vLLM transformers modeling backend
2026 年 7 月 8 日发布的博客，介绍 transformers 作为 vLLM 建模后端的效果：文中称对许多 LLM 架构，该后端速度已与定制 vLLM 实现相当或更快，模型作者可直接借用自己的 transformers 实现获得 vLLM 推理。文中还给出升级 vllm 包的 pip 命令，并说明 transformers 支持 450 多个架构、代码自包含易读，便于移植到 vLLM、SGLang、MLX、llama.cpp 等框架。
- 分级
- 值得看
- 所属主题
- 整理中
- 收录时间
- 2026-10-28
推荐阅读
我构建了一个能在廉价（尚可）硬件上以近 400 token/s 运行 Qwen-Flash-Next 的引擎：老 R740 中的 3 块 V100 32GB；最初从 strata 分叉，但引擎核心全部针对老 Volta 架构构建
I built an engine that runs Qwen-Flash-Next at nearly 400t/s on cheap(ish) hardware. 3x V100 32GB in an old R740. Originally forked from strata but the engine guts all built for the old Volta generation.
这是一个 GitHub 项目（sFNX）的介绍，作者称在约 1,800 美元的二手 GPU 上（3 块约 600 美元的 Tesla V100-32GB，PCIe Gen3、无 NVLink）以 382 token/s 运行 Qwen3.8-Flash-Next 的代码编辑任务，同时服务 6 个各持完整 262,144 token 上下文的会话，并提供 OpenAI 聊天与响应、Anthropic 消息、工具与图像前端。README 说明其把每一层都切分到三块卡上以避免按层切分时的轮流等待，自行实现跨卡求和，并给出专家层、Gated DeltaNet 循环层和注意力 K/V 的切分方式。
StartLuxLabs/StartLux-Decision
这是一个开源决策模型系列的项目仓库，模型规模从 0.8B 到 27B，一次推理即为每个选项给出校准概率，仅在不确定时输出简短思考。项目提供面向 vLLM、llama.cpp 和 MLX 的推理引擎，并提供 Hugging Face 模型页、arXiv 技术报告、API 文档与博客链接。
把 Spark 带到欧洲：本地智能驱动下一代智能体
Bringing the Spark to Europe: Local Intelligence Powers Next Wave of Agents
这是 NVIDIA 官方博客的一篇文章，汇总其在柏林 GTC 上公布的本地 AI 硬件与软件动态。文中提到面向 Windows PC 的 RTX Spark、面向 Linux 开发者的 DGX Spark 以及面向企业前沿负载的 DGX Station（Windows 版将于 12 月推出），并列出 DGX Spark 软件更新、NVIDIA Sync、开源机器人参考工作流、新模型支持与推理引擎加速等多项发布。
PyTorch 分布式概览
PyTorch Distributed Overview
PyTorch 官方教程中的 torch.distributed 包总览页，将相关文档按主题分类并作简要说明。正文介绍分布式库包含并行模块、通信层以及启动和调试大型训练任务的基础设施，并列出并行 API（DDP、FSDP2、张量并行、流水线并行）和 DTensor、DeviceMesh 等分片原语。页面注明首次构建 PyTorch 分布式训练应用的人可从该文档入手寻找适用的技术。
解锁连续批处理中的异步性
Unlocking asynchronicity in continuous batching
Hugging Face 博客于 2026 年 5 月 14 日发布的文章，作者为 Rémi Ouazan Reboul、Pedro Cuenca 和 Aritra Roy Gosthipaty，是高效 LLM 推理系列的第二篇。文章说明如何分离 CPU 与 GPU 工作负载以大幅提升推理性能：默认的同步连续批处理会导致 CPU 与 GPU 相互等待，停顿可能占近四分之一运行时间，因此采用异步批处理让 GPU 持续计算。文中提及 KV 缓存、FlashAttention、注意力掩码等概念，并以 H200 在 Inference Endpoints 上的价格为例说明成本考量。
用一个 Hub Bucket 传输万亿参数：TRL 中的增量权重同步
Shipping a Trillion Parameters With a Hub Bucket: Delta Weight Sync in TRL
文章介绍 TRL 中一项名为 Delta Weight Sync 的改动：异步强化学习中训练器每步需向推理引擎发送整个模型，而相邻两个优化步之间约 99% 的 bf16 权重完全相同，因此只把变化元素编码为稀疏 safetensors 文件，上传到 Hugging Face Bucket 并让 vLLM 拉取。文中称在 Qwen3-0.6B 上每步传输量从 1.2 GB 降至 20–35 MB，并演示了训练器、vLLM 与 Wordle 环境分处不同位置的分离式训练。