[R] 用 PCA 降维的 Conformer 中间层填充 256 维零空间，把 EmbeddingGemma-2（577M）在 MAEB 音频榜单上从第 26 名提到第 1（零训练） [R]
[R] Taking EmbeddingGemma-2 (577M) from Rank #26 to #1 on the MAEB audio benchmark by filling its 256d null space with PCA-reduced intermediate Conformer layers (zero training) [R]
r/MachineLearning 社区帖子，讲述在 google/embeddinggemma-2（577M）上的实验：仅用 PCA 把中间 Conformer 层投影到最终投影矩阵未被使用的零空间，在 MTEB 榜单的 30 任务音频基准 MAEB 上宏平均分从 49.3% 升到 54.4%（+5.1 点），MAEB 纯音频排名从第 26 升至第 1，完整 MAEB 从第 16 升至第 1；帖中并分析了文本对齐音频编码器末层过滤掉副语言与声学特征的现象，以及对 12 层 Conformer 逐层探测的结果。适合研究音频/多模态嵌入表示与零训练后处理的人阅读。
- 分级
- 值得看
- 收录时间
- 2026-10-29
原帖
[R] Taking EmbeddingGemma-2 (577M) from Rank #26 to #1 on the MAEB audio benchmark by filling its 256d null space with PCA-reduced intermediate Conformer layers (zero training) [R] Model & weights: BrunoHays/embeddinggemma-2-nullspace-audio I wanted to share an experiment on google/embeddinggemma-2…
中文大意
发帖人在 google/embeddinggemma-2（577M）上做零训练实验：把中间 Conformer 层（Layer 2、Layer 6）用 PCA 压到 256 维，注入模型末端投影矩阵 W（768x512）的 256 维零空间中，再归一化。MAEB 音频基准宏平均从 49.3% 升到 54.4%（+5.1），音频单项从第 26 名升到第 1，全 MAEB 从第 16 名升到第 1，超过 8B–9B 多模态模型。数据上：Layer 2/3 的 VoxPopuli 性别聚类从 0.05% 升到 63%左右，Layer 6 的 CREMA-D 情感从 19.7% 到 39.5%；注入后性别聚类 63.1%、艺术家检索 55.2%→93.8%、情感 19.7%→40.2%、环境音 38.8%→56.3%，文本嵌入逐位不变、跨语言文本-音频检索变动在 0.05 分内。作者列出局限：音…
讨论区核心观点
依据 5 条评论
- 有人追问是否在其他基准上验证过，以及是否与“注入随机向量”做过对照；作者答 MAEB 本身已覆盖很广，但承认没做随机向量对照，并认为随机向量不可能带来接近的增益。 出处（新标签页打开）
- 提问者称自己在文本领域做过类似尝试，随机向量也达到了类似效果，因此建议实际测一下随机基线；作者仍持怀疑。 出处（新标签页打开）
- 有评论从线性代数角度确认：正因为映射把维度从 512 升到 768，零空间维度才是 256。 出处（新标签页打开）
- 有评论只简短表示这很酷，未提出具体问题。 出处（新标签页打开）