我把 EmbeddingGemma-2（577M）从 MTEB 音频榜（MAEB）第 26 名带到第 1 名，零训练加一个 2.4MB 的 PCA 头，击败 9B 模型
I took EmbeddingGemma-2 (577M) from Rank #26 to #1 on the MTEB Audio leaderboard (MAEB), beating 9B models by adding a 2.4 MB PCA head with zero training
这是一篇 Reddit r/LocalLLaMA 社区帖子，作者在 Google 的 577M 参数、768 维向量模型 embeddinggemma-2 上加入一个 2.37MB 的冻结 PCA 矩阵文件，未训练任何权重，就把 MAEB 音频榜得分从 49.3% 提升到 54.4%，音频榜从第 26 名升至第 1 名（完整 MAEB 从第 16 名升至第 1 名）。帖子解释了原理：从冻结音频编码器较早层提取特征以保留音色、情绪等声学信息，并列出无监督语音/性别聚类、歌曲音频检索、人声情绪分类等任务上的提升数字，权重发布在 Hugging Face。适合在笔记本或边缘设备上做音频/文本嵌入检索、关注小模型与嵌入模型改进的人阅读。
- 分级
- 值得看
- 收录时间
- 2026-10-29
原帖
I took EmbeddingGemma-2 (577M) from Rank #26 to #1 on the MTEB Audio leaderboard (MAEB), beating 9B models by adding a 2.4 MB PCA head with zero training Model & weights: BrunoHays/embeddinggemma-2-nullspace-audio MAEB (Massive Audio Embedding Benchmark) is the main MTEB leaderboard benchmark for a…
中文大意
发帖人把 Google 的 577M 参数、768 维的 embeddinggemma-2 用到音频嵌入基准 MAEB 上，只加了一个 2.37 MB 的冻结 PCA 矩阵文件、不训练任何权重，就把音频率得分从 49.3% 提到 54.4%，音频榜从第 26 名升到第 1，超过 8B–9B 的多模态模型。做法：一是从冻结音频编码器的早期层取特征（第 2 层留说话人/音高，第 6 层留情绪）；二是发现 EmbeddingGemma-2 文本骨干其实只有 512 维，最后被 768×512 矩阵升到 768 维，剩 256 个与文本子空间垂直的“零空间”方向；用 1,400 段外部音频拟合 PCA，把第 2、6 层各压到 128 维注入这 256 个方向。效果包括语音/性别聚类 0.05%→63.1%、歌曲音音频互搜 55.2%→93.8%、人声情绪分类 19.7%→40.2%。代价：音频嵌…
讨论区核心观点
依据 13 条评论
- “零训练”说法不严谨：PCA 头在 1,400 段外部音频上拟合，本身算一种轻量训练/拟合。 出处（新标签页打开）
- 对 512→768 升维后仍存在“未使用的 256 维零空间”提出疑问，怀疑解释含糊，并要求说清注入方式与为何选第 2、6 层。 出处（新标签页打开）
- 0.05%→63.1%、55.2%→93.8% 的提升幅度太大，怀疑是否在 MAEB 上过拟合或数据泄漏。 出处（新标签页打开）
- 发帖人回应：投影矩阵是纯线性无激活，SVD 可得 256 个垂直方向；PCA 只用 4 个外部数据集、不含 MAEB 音频，唯一选择偏差是约 8 组配置的小网格调参。 出处（新标签页打开）
- 若文本向量只落在 512 维子空间，是否说明模型可直接降到 512 维而无损；同时质疑选层本身即为对基准的挑选式过拟合，不算真正的域外验证。 出处（新标签页打开）
- 讨论中途查证了 EmbeddingGemma 技术报告，确认确有 512→768 投影（另加 rmsnorm），认为发帖人关于零空间的说法属实。 出处（新标签页打开）