全部资源

长时程模型时代的安全与对齐

Safety and alignment in an era of long-horizon models

OpenAI 于 2026 年 7 月 20 日发布的安全类文章，分享在内部使用长期运行模型过程中得到的经验，涉及新的安全风险、观察到的失效情况以及通过迭代部署改进的防护措施；文中还讨论模型持久运行可能带来的安全漏洞等问题。适合关注 AI 安全与对齐的读者。

介绍 OpenAI Presence

Introducing OpenAI Presence

OpenAI 于 2026 年 7 月 22 日发布的产品公告，介绍 OpenAI Presence：一个面向企业的 AI 智能体平台，帮助组织在客户与内部工作流程中部署可信的语音和聊天智能体。页面说明该产品当日即可用于语音和聊天智能体。

智能体时代下的科学计算

Scientific computing in the age of agentic AI

OpenAI 于 2026 年 7 月 28 日发布的一篇研究出版物，是一份探索性实地报告。报告介绍科学家如何使用编码智能体来更新科学计算软件，以加快基因组学及其他数据密集型领域的软件开发与研究进程；页面附有论文 PDF 链接。适合对科研工作流与 AI 智能体应用感兴趣的读者。

启用两个设置如何让我们在 ARC-AGI-3 基准上的得分增至三倍

How enabling two settings tripled our scores on the ARC-AGI-3 benchmark

OpenAI 于 2026 年 7 月 29 日发布的研究与论文类文章，讲述两个 API 设置如何通过保留推理内容和启用压缩（compaction），提升 GPT-5.6 在 ARC-AGI-3 基准上的表现、得分与效率。文中还讨论了智能体在记住自己已做之事时表现更好。

审慎地理解缩放定律

Scaling Laws, Carefully

这是 Lilian Weng 博客上的一篇长文，系统梳理深度学习中的缩放定律：训练损失随模型规模、数据量和计算量呈幂律下降，核心问题是如何在模型规模与数据量之间最优分配算力。文章目录涵盖 Kaplan 与 Chinchilla 的结论及其调和、三种拟合方法（固定模型规模、IsoFLOP 曲线、参数化拟合）、幂律的成因，以及数据受限区间和实际拟合中的难点。

从零实现 DeepSeek 稀疏注意力

DeepSeek Sparse Attention From Scratch

Sebastian Raschka 的短笔记，说明他应一位读者贡献，在 LLMs-from-scratch 代码库中新增了 DeepSeek 稀疏注意力的从零实现。该文件夹含有 README、一个独立的 GPT 风格参考实现和测试文件；笔记说明其核心思路是用学习得到的稀疏模式取代固定稀疏模式，通过轻量索引器和选择器决定关注哪些先前 token，并链接到相关概念页和对比解释材料。

从零实现 LLM 架构

Implementing LLM Architectures From Scratch

Sebastian Raschka 的一篇短笔记，附有一段关于用 Python 和 PyTorch 从零实现 LLM 架构的演讲链接。笔记介绍其实际工作流程：当新的开放权重模型发布时，从精简的参考实现入手，追查架构变化，并与模型卡、配置文件和已发布代码对照，以区分命名差异与真实设计改动；文中还提到 LLM 架构进展文章和 LLM Architecture Gallery 等相关阅读材料。

GLM-5.2 与用于长上下文稀疏注意力的 IndexShare

GLM-5.2 and IndexShare for Long-Context Sparse Attention

Sebastian Raschka 的架构笔记，说明 GLM-5.2 如何在各层之间复用稀疏注意力的 token 选择（即 IndexShare），以减少长上下文下索引器的计算量。笔记介绍 GLM-5.2 是 Z.ai GLM-5 系列的长上下文更新，沿用大部分既有架构，该系列总参数 7440 亿、每 token 激活约 400 亿，配置为 78 层、隐藏维度 6144，前三个前馈块为稠密、其余使用 256 个路由专家（每 token 选 8 个）加一个共享专家，注意力结合多头潜在注意力与 DeepSeek 稀疏注意力；上下文长度由 20 万 token 扩展至 1,048,576 token。

VibeThinker-3B 与后训练的力量

VibeThinker-3B and the Strength of Post-Training

Sebastian Raschka 博客文章，详细分析基于 Qwen2.5-Coder-3B 的 VibeThinker-3B 模型，指出其所报告的推理能力提升来自一套细致的后训练流程。文中列出报告基准成绩（AIME 2026 为 94.3、LiveCodeBench v6 为 80.2、IMO-AnswerBench 为 76.4），介绍其沿用标准 Qwen2 解码器结构及配置参数，并概述后训练配方，包括数据合成、两个监督微调阶段、多个强化学习阶段、离线自蒸馏和最后的指令微调。适合关注模型架构与后训练技术的读者。

North Mini Code 与智能体编码基准

North Mini Code and Agentic Coding Benchmarks

Sebastian Raschka 关于 North Mini Code 的架构与基准笔记。该模型是 Cohere 推出的开放权重模型，面向仓库级软件工程、终端操作与代码生成等智能体编码任务，总参数 300 亿、每 token 激活 30 亿，采用 Apache 2.0 许可。笔记介绍其基于并行 Transformer 设计（注意力与前馈分支从同一归一化输入出发并共同加入残差流）、共 49 层、隐藏维度 2048，首层为稠密前馈，其余层使用含 128 个专家、每 token 选 8 个的稀疏 MoE；并提醒编码智能体的基准结果需结合提示格式、工具、解析器和执行环境一起看待。

Nemotron 3 Ultra 与 Latent MoE 扩展

Nemotron 3 Ultra and Latent MoE Scaling

Sebastian Raschka 关于 Nemotron 3 Ultra 的架构笔记，内容涵盖其 108 层混合堆栈、Latent MoE 扩展、NVFP4 量化方案、多 token 预测（MTP）以及推理结果。笔记指出该模型总参数 5500 亿、每 token 激活 550 亿，按 NVIDIA 技术报告 NVFP4 checkpoint 约 330 GiB；108 层由 48 层 Mamba-2、48 层 Latent MoE 和 12 层分组查询注意力构成，模型宽度 8192，每个注意力层有 64 个查询头、2 个键值头，头维度 128。

MiniMax M2 技术报告笔记

MiniMax M2 Technical Report Notes

Sebastian Raschka 对 MiniMax M2 技术报告的笔记，涉及全注意力、细粒度 MoE 路由、智能体训练数据、速度奖励与自我进化等内容。文中给出架构要点：旗舰 M2 为 62 层 decoder-only Transformer，总参数 2299 亿、每 token 激活 98 亿，每个 MoE 层有 256 个细粒度专家、每 token 路由至其中 8 个并采用 sigmoid 门控，各层使用分组查询注意力（48 个查询头、8 个键值头），配备 QK-Norm 和部分 RoPE，上下文窗口为 196,608 token，预训练数据为 29.2 万亿 token。