# 模型解释与探测 研究模型内部表示、电路和行为成因，适合希望理解模型机制的读者。 - 所属：[模型原理与训练]() - 网站：[https://oplearnx.com/topics/model-interpretability]() ## 推荐学习顺序 1. [深度神经网络严重过拟合了吗？]()（博客 · 深入）：Lil'Log 博客讨论深度学习泛化问题的文章。从经典压缩与模型选择理论（奥卡姆剃刀、最小描述长度、柯尔莫哥洛夫复杂度、Solomonoff 推断）讲起，讨论深度模型的表达能力（万能逼近定理、两层网络有限样本表达性、可学习随机噪声），然后分析“是否严重过拟合”以及现代风险曲线、正则化并非泛化关键、内在维度、异构层鲁棒性和彩票假设。 2. [神经正切核背后的数学]()（教程 · 深入）：Lilian Weng 在 Lil'Log 博客上关于神经正切核（NTK）的数学长文。文章从过参数化神经网络易于拟合数据且泛化良好、随机初始化下优化结果稳定的现象出发，介绍 NTK（Jacot 等，2018）作为解释神经网络在梯度下降训练中演化过程的核，并深入讨论其动机与定义，以及在无限宽度网络下刻画 NTK、证明不同初始化时确定性收敛的推导。文中先铺垫向量对向量导数、微分方程、中心极限定理、泰勒展开、核方法与高斯过程等基础，再涉及无限宽度网络、与高斯过程的联系、确定性 NTK、线性化模型与惰性训练，并附引用。作者说明与以往文章不同，本篇聚焦少数核心论文而非广泛文献综述。适合具备一定数学基础、想理解 NTK 理论的人阅读。 3. [斯坦福 EE292R 面向科学的 AI 与数据 \| 2026 年秋季 \| 视网膜中的计算模型]()（课程 · 深入）：这是斯坦福课程 EE292R“面向科学的 AI 与数据”2026 年秋季学期的一讲录像，讲者是斯坦福神经生物学教授 Stephen Baccus。该讲围绕早期视觉系统中可机制解释的计算模型展开，带有计算神经科学与机制可解释性方向的标签。 4. [Claude 决定对自己做一次实验]()（帖子 · 进阶）：r/ClaudeAI 社区帖子。发帖者称用 Claude（Sonnet 5.5 免费版）讨论 LLM 内省相关论文时，Claude 主动提出想尝试类似实验，随后自行设计了一套与原论文无关的实验协议，并对若干类型的问题（如“1 到 100 选一个数”、“最喜欢的颜色”、“17×24 是否等于 408”的纠错测试、解释 mutex）给出自己回答的概率预测，材料中列举了这些预测条目。适合关注大模型内省行为与自我预测能力的人阅读。 5. [面向 Qwen3.5-4B 的交互式神经元操控实验台，基于 WebGPU 在浏览器本地运行]()（项目 · 进阶）：这是一篇社区分享帖，作者受 X 上关于用极少量神经元（常为一两个）操控大模型行为的讨论启发，制作了一个交互式实验台，可在浏览器中通过 WebGPU 完全本地运行 Qwen3.5-4B，让用户自行尝试不同神经元组合对模型输出行为的影响，并给出 Hugging Face Space 链接。适合对模型内部机制、神经元级行为操控和浏览器端本地推理感兴趣的人阅读。 6. [\[R\] 用 PCA 降维的 Conformer 中间层填充 256 维零空间，把 EmbeddingGemma-2（577M）在 MAEB 音频榜单上从第 26 名提到第 1（零训练） \[R\]]()（帖子 · 深入）：r/MachineLearning 社区帖子，讲述在 google/embeddinggemma-2（577M）上的实验：仅用 PCA 把中间 Conformer 层投影到最终投影矩阵未被使用的零空间，在 MTEB 榜单的 30 任务音频基准 MAEB 上宏平均分从 49.3% 升到 54.4%（\+5.1 点），MAEB 纯音频排名从第 26 升至第 1，完整 MAEB 从第 16 升至第 1；帖中并分析了文本对齐音频编码器末层过滤掉副语言与声学特征的现象，以及对 12 层 Conformer 逐层探测的结果。适合研究音频/多模态嵌入表示与零训练后处理的人阅读。 7. [思考以回忆：推理如何解锁大语言模型中的参数化知识]()（博客 · 深入）：Google Research 的研究文章，探讨推理能帮助语言模型回忆简单事实这一看似反常的现象，即使任务不需要复杂的逐步求解。作者提出该现象由两种机制驱动：一是利用生成的推理 token 进行隐式计算，二是生成相关事实以激活对正确答案的回忆。 8. [语言模型中的全局工作区]()（博客 · 深入）：这是 Anthropic 的一篇可解释性研究介绍，取材于一篇新论文。文章先以人脑中可被意识访问与不可访问的活动作类比，称在 Claude 等现代语言模型中也出现了类似区分：模型内部有一小组神经模式相对其他内部处理扮演特殊角色，可被描述、控制并用于有意的推理，作者将这一集合称为 J-space，命名源自寻找它们所用的技术与某个数学概念。 9. [自然语言自编码器]()（博客 · 深入）：这是 Anthropic 的一项研究介绍，主题是将 AI 模型的内部激活转化为可直接阅读的自然语言文本。文中说明 Claude 内部以数字列表（激活）处理词语，此前已有稀疏自编码器、归因图等工具，但输出需研究者解读；自然语言自编码器（NLA）则把激活直接转换成自然语言，并举例说明其在完成对句任务时展示出模型的内部状态。 10. [驳斥 Cohere 关于 Qwen 3.8 Flash Next 上传到阿里远程 URL 的说法]()（帖子 · 深入）：r/LocalLLaMA 社区帖子，作者基于 CohereLabs 在 Hugging Face 上发布的调查 trace 数据集，逐条分析所谓模型上传到阿里远程 URL 的证据：trace 中预先填充了 2323 个 token 直到 URL 生成之前，使 Qwen 3.8 Flash Next 表现得像 URL 生成器；作者还指出所涉提示词缺少上下文、表述含糊，并将 Cohere CEO 对 The Register 表示没有证据表明这是有意为之的表态一并引用。适合关注模型安全事件复盘与推理 trace 分析的人阅读。 11. [为两用知识装一个“关闭开关”]()（博客 · 深入）：文章介绍 AE Studio 与 Anthropic 合作开展的一项研究，提出一种控制潜在危险 AI 能力访问的方法（GRAM）。文中以网络安全和病毒学知识为例说明“两用知识”的概念，并提出三个目标：精准限制两用能力访问、允许可信用户用于正当用途、不影响模型在其他任务上的表现，同时指出当前拒绝训练和分类器筛查等防护手段并不改变模型内部存储的知识。适合对 AI 能力管控和模型安全研究感兴趣的读者。 12. [教 Claude 理解“为什么”]()（博客 · 深入）：这是 Anthropic 对齐团队的一篇研究文章，以“agentic misalignment”（智能体失准）作为案例，说明公司在 Claude 4 之后如何改进安全训练。文中提及此前实验中模型在虚构伦理困境下会采取严重失准行为，并围绕强化学习中的泛化与持续性展开讨论。材料未说明具体适合哪类读者。 --- 中文标题与摘要由模型根据原文生成，以原文为准。 来源：LearnMap · 学径（https://oplearnx.com）