Hugging Face··4 个月前
GLM-5.2：为长时程任务而构建
GLM-5.2: Built for Long-Horizon Tasks
这是 Z.AI 团队于 2026 年 6 月 17 日在 Hugging Face 发布的模型介绍文章，推出面向长时程任务的旗舰模型 GLM-5.2，称其首次在稳定的 100 万 token 上下文上实现这一能力。文中列出的特性包括：稳定的 1M 上下文、带多种思考强度档位的编码能力、新提出的 IndexShare 架构（每四个稀疏注意力层复用同一索引器，1M 上下文下每 token FLOPs 降低 2.9 倍）、改进的 MTP 推测解码层（接受长度最高提升 20%），以及 MIT 开源许可。
- 所属主题
- 整理中
- 收录时间
- 2026-10-28
推荐阅读
GLM-5.2 与用于长上下文稀疏注意力的 IndexShare
GLM-5.2 and IndexShare for Long-Context Sparse Attention
Sebastian Raschka 的架构笔记，说明 GLM-5.2 如何在各层之间复用稀疏注意力的 token 选择（即 IndexShare），以减少长上下文下索引器的计算量。笔记介绍 GLM-5.2 是 Z.ai GLM-5 系列的长上下文更新，沿用大部分既有架构，该系列总参数 7440 亿、每 token 激活约 400 亿，配置为 78 层、隐藏维度 6144，前三个前馈块为稠密、其余使用 256 个路由专家（每 token 选 8 个）加一个共享专家，注意力结合多头潜在注意力与 DeepSeek 稀疏注意力；上下文长度由 20 万 token 扩展至 1,048,576 token。
Eagle-4 发布：比 DFlash2 和 DSpark 更快
Eagle-4 Released: Faster than DFlash2 & DSpark
GitHub 项目 EAGLE-4 的页面，定位为“适用于所有批大小和硬件的通用 drafter”，仓库提供论文、Qwen3.8-27B 的 EAGLE-4 草稿模型和文档，并有 PyPI 上的 eagle-harness。分享材料给出 Qwen 3.8 27B 上的加速对比数据：Vanilla 1×、MTP 2.22×、DSpark 2.57×、DFlash 2 2.80×、EAGLE-4 3.59×，并提到目前仅支持 Qwen3.8-27B，尚未进入 llama.cpp/vLLM。
在 NVIDIA DGX Spark 上提升 MoE 推理性能的 3 种方法
3 Ways to Boost MoE Inference on NVIDIA DGX Spark
这是 NVIDIA 技术博客的一篇文章，以 1240 亿参数、每 token 激活 51 亿参数的 Ling-3.0-flash 混合专家模型为例，在 NVIDIA DGX Spark、batch size 为 1 的条件下评测三项优化：Humming MXFP4 MoE 后端、在线 FP8 LM head 量化、以及结合 NEXTN 的 MTP 投机解码。文中给出配置对比数据：基线每输出 token 耗时 27.71 ms、解码吞吐 36.09 tok/s，逐项叠加后分别提升 9.3%、21.7%，三项全开时为 9.72 ms、102.88 tok/s、相对基线提升 185.1%。文中还提到性能剖析显示解码受内存带宽限制，MoE 计算与输出层投影占主要执行时间。
Qwen3.8-Flash-Next：Swift 1.5 与 Unsloth 在 Strix Halo 上的对比（Halogen、gufo、llama.cpp、UD-Q4_K_XL 与 IQ4_XS）
Qwen3.8-Flash-Next: Swift 1.5 vs Unsloth on Strix Halo (Halogen, gufo, llama.cpp, UD-Q4_K_XL and IQ4_XS)
这是 r/LocalLLaMA 的社区帖子，作者在 Asus ROG Flow Z13（128 GB、70 W）上对比 UkisAI 的 Qwen3.8-Flash-Next 微调版 Swift 1.5 与自己原有方案，涉及 Halogen、gufo、llama.cpp 三种引擎和多种量化格式，均启用 MTP。帖中记录了服务启动时间、32k prompt 下的 TTFT、预填充与解码速度、MTP 接受率、KLD，以及数学、LCB 和 11 项 Pi 代码任务的得分、耗时与 token 消耗，并说明结果仅来自单次运行。适合关注本地大模型推理性能、量化方案与编码智能体实测的人阅读。
MiniMax M2 技术报告笔记
MiniMax M2 Technical Report Notes
Sebastian Raschka 对 MiniMax M2 技术报告的笔记，涉及全注意力、细粒度 MoE 路由、智能体训练数据、速度奖励与自我进化等内容。文中给出架构要点：旗舰 M2 为 62 层 decoder-only Transformer，总参数 2299 亿、每 token 激活 98 亿，每个 MoE 层有 256 个细粒度专家、每 token 路由至其中 8 个并采用 sigmoid 门控，各层使用分组查询注意力（48 个查询头、8 个键值头），配备 QK-Norm 和部分 RoPE，上下文窗口为 196,608 token，预训练数据为 29.2 万亿 token。
Nemotron 3 Super 吞吐量笔记
Nemotron 3 Super Throughput Notes
Sebastian Raschka 的博客文章，基于 NVIDIA Nemotron 3 Super 120B-A12B 的技术报告和模型配置，介绍这款开放权重模型的面向吞吐量的设计：120.6B 总参数、每轮前向 12.7B 激活参数，88 层中 40 层 Mamba-2、40 层 Latent MoE、8 层分组查询注意力，并说明 Mamba-2、Latent MoE 与多 token 预测分别如何降低不同推理成本。