Cerebras 如何部署万亿参数前沿模型

datawhalechina/zero-to-sglang

SGLang 与 Datawhale 合作的 LLM 推理课程仓库，提供英文与简体中文版本。课程内容依次为理解 LLM 推理、从零实现一个 mini-sglang、阅读真实 SGLang 源码并提交第一个 PR，仓库标签包含 cuda、kv-cache、inference-engine 等。

我构建了一个能在廉价（尚可）硬件上以近 400 token/s 运行 Qwen-Flash-Next 的引擎：老 R740 中的 3 块 V100 32GB；最初从 strata 分叉，但引擎核心全部针对老 Volta 架构构建

I built an engine that runs Qwen-Flash-Next at nearly 400t/s on cheap(ish) hardware. 3x V100 32GB in an old R740. Originally forked from strata but the engine guts all built for the old Volta generation.

这是一个 GitHub 项目（sFNX）的介绍，作者称在约 1,800 美元的二手 GPU 上（3 块约 600 美元的 Tesla V100-32GB，PCIe Gen3、无 NVLink）以 382 token/s 运行 Qwen3.8-Flash-Next 的代码编辑任务，同时服务 6 个各持完整 262,144 token 上下文的会话，并提供 OpenAI 聊天与响应、Anthropic 消息、工具与图像前端。README 说明其把每一层都切分到三块卡上以避免按层切分时的轮流等待，自行实现跨卡求和，并给出专家层、Gated DeltaNet 循环层和注意力 K/V 的切分方式。

量化与快速推理

Quantization and Fast Inference

这是 Manning Publications 出版的图书，作者为 Vivek Kalyanarangan，共 339 页，预计 2026 年 12 月 15 日出版，目前尚未出版。简介称该书介绍在不重新设计架构、不做任务特定压缩的情况下优化 AI 模型的量化技术，涵盖量化基础、PTQ 与 QAT 生产流程及压缩部署，并讨论 LLM 激活异常值、KV 缓存压力和 NF4、FP4 等低于 8 位格式的权衡。