为服务逾 10 亿 ChatGPT 用户而快速扩展在线存储（第二部分）

我为一个面向大规模 GPU 工作负载的 PyTorch 优化器做了实现——希望获得反馈 [P]

I built a PyTorch optimizer for large GPU workloads — looking for feedback[P]

这是 r/MachineLearning 的一篇社区帖子（[P] 表示项目分享），作者介绍自己开发的 PyTorch 优化器 ApexW，目标是降低优化器状态显存占用并加快较大 GPU 工作负载上的优化器更新步骤，做法是紧凑的优化器状态加一条基于 Triton 的执行路径。作者称在只有几个大张量时的优化器单项基准中，Triton 加紧凑状态路径比 PyTorch 的 fused AdamW 快约 1.5 倍，优化器状态显存约减半；同时说明自动执行模式尚未稳定取得同样加速，含大量小张量的负载明显慢于 PyTorch fused 优化器（例如 1.28 亿参数分散在众多小张量时，PyTorch 原生为 16.1 ms/步），并强调这些数字来自优化器单项测试而非完整模型训练，希望有人在实现与基准测试上把关。适合从事 PyTorch 训练优化、关注优化器状态显存与 Triton 内核实现的人阅读。

incoai/Qwen3.8-Flash-Next-DFlash2

Hugging Face 仓库页面，内容为 Qwen/Qwen3.8-Flash-Next 的 DFlash 2 草稿模型，本身不是独立语言模型，需在推测解码服务器中为目标模型起草 token。DFlash 2 是块扩散式 drafter，一次预测一整块 token 并在每个位置保留最优候选，再由轻量选择器串成连贯路径；解码是无损的，贪心输出与目标模型完全一致。页面给出使用 SGLang 部署的快速开始步骤，需先应用仓库内附带的捕获补丁。附带说明中称并发为 1 时其速度约比 MTP 快 20%。

Deepity：一个手工调优的 C++/CUDA 预测编码库，在 MNIST 上超过 jpc（JAX）和 ngc-learn（含 CPU 基准与源码）[P]

Deepity: a hand-tuned C++/CUDA predictive coding library, beats jpc (JAX) and ngc-learn on MNIST (CPU benchmarks + source inside) [P]

这是一篇 [P] 类社区发布帖，作者用 C++20 从零实现预测编码（PC）引擎并配薄 Python 层，发布首个公开版本。帖中介绍了预测编码与反向传播的区别（各层本地信念对自上而下预测做误差最小化、需“settling”阶段、不保存反向计算图），以及库的组成：手写 AVX2/AVX-512 SIMD 内核、OpenBLAS/MKL 做 GEMM、仍在调优的 CUDA 后端（暂不可用）、基于 nanobind 的 Python 绑定（pip install pydeepity），并支持多种 PCN 变体；帖子称在 MNIST 上优于 jpc（JAX）与 ngc-learn，并附带 CPU 基准和源码。适合研究预测编码、非反向传播训练方法与底层内核优化的人阅读。

DeepInfer：DeepSeek 模型的高性能推理框架

DeepInfer: High-performance inference framework for DeepSeek models

DeepSeek 在 GitHub 上开源的推理框架仓库，称其为支撑 DeepSeek 大规模生产服务的高性能框架，此次开源版本提供面向规模化服务的离线推理能力。README 列出支持的模型为 DeepSeek-V4.1-Flash，并列出了优化内核、注意力 DP/CP 与 MoE EP+EPLB 并行、异步调度、批不变量推理、确定性采样、结构化输出等功能及配置细节。材料中还包含一条 Reddit 用户评论。

面向 LLM 的 CUDA

CUDA for LLMs

这是 Manning Publications 出版的书，作者 Elliot Arledge，出版日期 2026-10-15，408 页，ISBN 9781633434899，主题词为数据科学与深度学习。简介称其讲解在 CUDA 生态中从编写第一个 kernel 到实现 Flash Attention 等高级 LLM 特性，包括用 Nsight Compute 做性能剖析与瓶颈定位，并针对最新 NVIDIA 硬件讲解 CUDA 基础。适合想从 GPU 编程层面优化大模型、需要实操 kernel 开发的 AI 工程师阅读。

mw00/project-maya

Project Maya 是用于在自有 GPU 上私有运行 GLM-5.3-Flash（321B MoE）和 DeepSeek-V4.1-Flash-1017（748B MoE）的项目，支持单卡至 16 卡、NVIDIA 与 AMD、Linux 与 Windows（实验性）。包含推理引擎、服务器、仪表盘、OpenAI 与 Anthropic 兼容 API 以及量化工具，可处理并发请求并支持图片。