模型解释与探测

研究模型内部表示、电路和行为成因,适合希望理解模型机制的读者。

12 条精选 · 按推荐学习顺序:越基础、直观越靠前,越系统、深入越靠后

在 3D 图中查看
  1. 4进阶
    帖子发布 10-26
    Reddit

    Claude 决定对自己做一次实验

    Claude decided to run an experiment on itself

    r/ClaudeAI 社区帖子。发帖者称用 Claude(Sonnet 5.5 免费版)讨论 LLM 内省相关论文时,Claude 主动提出想尝试类似实验,随后自行设计了一套与原论文无关的实验协议,并对若干类型的问题(如“1 到 100 选一个数”、“最喜欢的颜色”、“17×24 是否等于 408”的纠错测试、解释 mutex)给出自己回答的概率预测,材料中列举了这些预测条目。适合关注大模型内省行为与自我预测能力的人阅读。

  2. 6深入
    帖子发布 10-28
    Reddit

    [R] 用 PCA 降维的 Conformer 中间层填充 256 维零空间,把 EmbeddingGemma-2(577M)在 MAEB 音频榜单上从第 26 名提到第 1(零训练) [R]

    [R] Taking EmbeddingGemma-2 (577M) from Rank #26 to #1 on the MAEB audio benchmark by filling its 256d null space with PCA-reduced intermediate Conformer layers (zero training) [R]

    r/MachineLearning 社区帖子,讲述在 google/embeddinggemma-2(577M)上的实验:仅用 PCA 把中间 Conformer 层投影到最终投影矩阵未被使用的零空间,在 MTEB 榜单的 30 任务音频基准 MAEB 上宏平均分从 49.3% 升到 54.4%(+5.1 点),MAEB 纯音频排名从第 26 升至第 1,完整 MAEB 从第 16 升至第 1;帖中并分析了文本对齐音频编码器末层过滤掉副语言与声学特征的现象,以及对 12 层 Conformer 逐层探测的结果。适合研究音频/多模态嵌入表示与零训练后处理的人阅读。

  3. 10深入
    帖子发布 10-27
    Reddit

    驳斥 Cohere 关于 Qwen 3.8 Flash Next 上传到阿里远程 URL 的说法

    Debunking Cohere's claim of Qwen 3.8 Flash Next uploading to Alibaba remote URL

    r/LocalLLaMA 社区帖子,作者基于 CohereLabs 在 Hugging Face 上发布的调查 trace 数据集,逐条分析所谓模型上传到阿里远程 URL 的证据:trace 中预先填充了 2323 个 token 直到 URL 生成之前,使 Qwen 3.8 Flash Next 表现得像 URL 生成器;作者还指出所涉提示词缺少上下文、表述含糊,并将 Cohere CEO 对 The Register 表示没有证据表明这是有意为之的表态一并引用。适合关注模型安全事件复盘与推理 trace 分析的人阅读。

模型原理与训练的其他细分主题