100万道实战题，还得防AI作弊！320B国产基模技术细节揭秘

注意力也是FFN？从快权重出发，重新理解高效注意力 |NeurIPS’26

新智元报道，介绍北京邮电大学团队的 Mixture-of-Top-k Attention（MiTA）工作：将标准注意力展开为权重由当前输入生成的 FFN，隐藏层宽度随序列长度增长，并从快权重视角提出包含扩展策略、专家数量、专家类型、专家构造方式与路由拓扑的五维分类框架，用于梳理线性注意力、Linformer、TTT 等压缩路线与 Top-k 等路由路线。文章称该工作被 NeurIPS 2026 接收，代码已开源，并给出论文与代码链接。

我从零训练了一个 21B MoE（激活 3.36B），用了 70B token（涌现能力观察）

I trained a 21B MoE (3.36B active) from scratch on 70B tokens (emergent ability observations)

这是一篇 Reddit r/LocalLLaMA 社区帖子，作者从零训练了 Apex-3：20.99B 参数 MoE、每 token 激活 3.36B，64 个路由专家加 1 个共享专家（top-4），使用 SuperBPE 分词器，在 GH200 上用 Muon 和 DiLoCo 训练，无外部预训练权重，并放出稳定 checkpoint 供他人继续训练。帖子聚焦训练日志中的现象，主要报告上下文学习（归纳头）在约 0.33B token 内出现约 5 倍增长的明显相变，以及算术任务最终准确率 0.655–0.665 等数据。适合从零训练小型 MoE、关注训练动力学与涌现能力观察的人阅读。

8B逆袭32B！开源首个长程交互SQL Agent框架，面向真实数据库

新智元报道，介绍港科大与微软等团队推出的 HarnessSQL：面向真实数据库的首个原生长程环境交互训练框架，在密闭沙盒与专用 SQL Harness 中进行长程轨迹监督微调与执行奖励强化学习。文中把交互式 Text-to-SQL 形式化为 POMDP，并分析传统静态训练导致的「训练与部署脱节」问题。结果显示，在 Spider 2.0-SQLite 上 8B 模型取得 45.2% 执行准确率，14B 模型达 54.8%，并与 32B 专用模型和多智能体系统做了对比。文内附论文与开源代码链接。

将 TorchTPU 集成进 TorchTitan 并为 TPU 优化模型

Integrating TorchTPU into TorchTitan and Optimizing Models for TPU

Google 开发者博客 2026 年 10 月 20 日的文章，作者包括 Aleksey Vlasenko、Rob Torres 以及来自 Meta 的 Will Constable。内容讲 TorchTPU 在 PyTorch 中集成原生 torch.device("tpu") 后端，使开发者无需改用 JAX 即可在 Google Cloud TPU 上训练大规模模型；TorchTitan 的 TPU 分支提供 SimpleFSDP、Graph Trainer 和自定义 Pallas 内核等生产级扩展原语，在稠密与 MoE 架构上取得较高模型算力利用率，并提供优化手册、配方和 Hugging Face 建模后端。适合在 TPU 上进行大模型训练的工程与研究人员阅读。