学习低精度格式、量化质量和部署方法，适合希望降低资源需求的开发者。
16 条精选 · 入门 2 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后
What Parameter Golf taught us about AI-assisted research
OpenAI 于 2026 年 5 月 12 日发布的研究文章，回顾名为 Parameter Golf 的开放机器学习挑战：该活动吸引 1000 多名参与者、2000 多份提交，在严格约束下探索 AI 辅助机器学习研究、编程智能体、量化与新型模型设计。文中还设有“技术印象”和“纪录赛道”等小节，分享相关经验。
From GPT-2 to gpt-oss: Analyzing the Architectural Advances
Sebastian Raschka 于 2025 年 8 月 9 日发布的文章，围绕 OpenAI 新发布的开权重模型 gpt-oss-120b 与 gpt-oss-20b，基于代码与技术报告总结架构细节。内容包括与 GPT-2 的架构对比、用于把模型放进单张 GPU 的 MXFP4 优化、宽度与深度的取舍（与 Qwen3 对比）、注意力偏置与 attention sinks、基准比较，文末简要讨论 GPT-5。
3 Ways to Boost MoE Inference on NVIDIA DGX Spark
这是 NVIDIA 技术博客的一篇文章，以 1240 亿参数、每 token 激活 51 亿参数的 Ling-3.0-flash 混合专家模型为例，在 NVIDIA DGX Spark、batch size 为 1 的条件下评测三项优化：Humming MXFP4 MoE 后端、在线 FP8 LM head 量化、以及结合 NEXTN 的 MTP 投机解码。文中给出配置对比数据：基线每输出 token 耗时 27.71 ms、解码吞吐 36.09 tok/s，逐项叠加后分别提升 9.3%、21.7%，三项全开时为 9.72 ms、102.88 tok/s、相对基线提升 185.1%。文中还提到性能剖析显示解码受内存带宽限制，MoE 计算与输出层投影占主要执行时间。
Unifying Edge AI: How Coral NPU’s open standard brings portable, energy-viable intelligence from model to silicon
Google Developers Blog 文章。介绍 Google Research 通过引入 Matrix Execution Unit 完成了 32 位开源 Coral NPU RISC-V 架构，边缘推理性能最高 1 TOPS、目标平均功耗 10 mW；同时发布 v1.0 开源 IREE/MLIR 编译器，使开发者可将 JAX、PyTorch、TensorFlow 模型直接部署到 Coral NPU 硬件而无需编写自定义汇编。文中还提到可借助 Synaptics Astra SR200 MCU 系列和 Coralboard 开发套件来原型验证和部署多模态边缘应用。适合做边缘 AI 推理、编译器或嵌入式硬件开发的开发者阅读。
DiffusionGemma: 4x faster text generation
Google DeepMind 发布实验性开放模型 DiffusionGemma，采用文本扩散方式一次性生成整块文本，而非逐 token 顺序生成，据称在专用 GPU 上推理速度最高提升 4 倍。该模型为 26B MoE 结构，以 Apache 2.0 许可证发布，面向研究速度敏感、交互式本地工作流（如行内编辑、快速迭代）的研究者和开发者。