# Muse Glimmer 30B 架构笔记

- 原标题：Muse Glimmer 30B Architecture Notes
- 类型：博客
- 来源：Sebastian Raschka
- 发布时间：2026-08-11
- 首次精选：2026-10-26 16:30
- 分级：值得看
- 原文链接：[https://sebastianraschka.com/blog/2026/muse-glimmer-30b-architecture-notes.html](<https://sebastianraschka.com/blog/2026/muse-glimmer-30b-architecture-notes.html>)
- 本站页面：[https://oplearnx.com/resources/pk\_6bdb0bbfc38c](<https://oplearnx.com/resources/pk_6bdb0bbfc38c>)

## 摘要

Sebastian Raschka 关于 Meta Muse Glimmer 30B 的简短架构笔记，涉及门控的局部与全局 GQA、KV 缓存效率以及发布时的基准对比。正文将其描述为一个 30B 多模态推理模型，采用类 Gemma 架构、131k 上下文窗口、稠密（非 MoE）结构，并使用 GQA 与滑动窗口注意力的混合注意力，局部与全局比例为 3:1，同时对两者都采用门控注意力。

---
来源：LearnMap · 学径（https://oplearnx.com）