# 我把 EmbeddingGemma-2（577M）从 MTEB 音频榜（MAEB）第 26 名带到第 1 名，零训练加一个 2.4MB 的 PCA 头，击败 9B 模型 - 原标题：I took EmbeddingGemma-2 \(577M\) from Rank \#26 to \#1 on the MTEB Audio leaderboard \(MAEB\), beating 9B models by adding a 2.4 MB PCA head with zero training - 类型：帖子 - 来源：Reddit - 发布时间：2026-10-28 - 首次精选：2026-10-29 09:33 - 分级：值得看 - 学习层级：深入 - 主题：[speech-audio-agents]()（第 25 位）、[model-benchmarks]()（第 54 位） - 原文链接：[https://reddit.com/r/LocalLLaMA/comments/1xhny7x/i\_took\_embeddinggemma2\_577m\_from\_rank\_26\_to\_1\_on]() - 本站页面：[https://oplearnx.com/resources/pk\_2791489eefd7]() ## 摘要 这是一篇 Reddit r/LocalLLaMA 社区帖子，作者在 Google 的 577M 参数、768 维向量模型 embeddinggemma-2 上加入一个 2.37MB 的冻结 PCA 矩阵文件，未训练任何权重，就把 MAEB 音频榜得分从 49.3% 提升到 54.4%，音频榜从第 26 名升至第 1 名（完整 MAEB 从第 16 名升至第 1 名）。帖子解释了原理：从冻结音频编码器较早层提取特征以保留音色、情绪等声学信息，并列出无监督语音/性别聚类、歌曲音频检索、人声情绪分类等任务上的提升数字，权重发布在 Hugging Face。适合在笔记本或边缘设备上做音频/文本嵌入检索、关注小模型与嵌入模型改进的人阅读。 ## 原帖 > I took EmbeddingGemma-2 \(577M\) from Rank \#26 to \#1 on the MTEB Audio leaderboard \(MAEB\), beating 9B models by adding a 2.4 MB PCA head with zero training Model & weights: BrunoHays/embeddinggemma-2-nullspace-audio MAEB \(Massive Audio Embedding Benchmark\) is the main MTEB leaderboard benchmark for a… — JeanMichelRanu · 2026-10-28 · [原帖]() ## 中文大意 发帖人把 Google 的 577M 参数、768 维的 embeddinggemma-2 用到音频嵌入基准 MAEB 上，只加了一个 2.37 MB 的冻结 PCA 矩阵文件、不训练任何权重，就把音频率得分从 49.3% 提到 54.4%，音频榜从第 26 名升到第 1，超过 8B–9B 的多模态模型。做法：一是从冻结音频编码器的早期层取特征（第 2 层留说话人/音高，第 6 层留情绪）；二是发现 EmbeddingGemma-2 文本骨干其实只有 512 维，最后被 768×512 矩阵升到 768 维，剩 256 个与文本子空间垂直的“零空间”方向；用 1,400 段外部音频拟合 PCA，把第 2、6 层各压到 128 维注入这 256 个方向。效果包括语音/性别聚类 0.05%→63.1%、歌曲音音频互搜 55.2%→93.8%、人声情绪分类 19.7%→40.2%。代价：音频嵌… ## 讨论区核心观点 依据 13 条评论。 - “零训练”说法不严谨：PCA 头在 1,400 段外部音频上拟合，本身算一种轻量训练/拟合。（[出处]()） - 对 512→768 升维后仍存在“未使用的 256 维零空间”提出疑问，怀疑解释含糊，并要求说清注入方式与为何选第 2、6 层。（[出处]()） - 0.05%→63.1%、55.2%→93.8% 的提升幅度太大，怀疑是否在 MAEB 上过拟合或数据泄漏。（[出处]()） - 发帖人回应：投影矩阵是纯线性无激活，SVD 可得 256 个垂直方向；PCA 只用 4 个外部数据集、不含 MAEB 音频，唯一选择偏差是约 8 组配置的小网格调参。（[出处]()） - 若文本向量只落在 512 维子空间，是否说明模型可直接降到 512 维而无损；同时质疑选层本身即为对基准的挑选式过拟合，不算真正的域外验证。（[出处]()） - 讨论中途查证了 EmbeddingGemma 技术报告，确认确有 512→768 投影（另加 rmsnorm），认为发帖人关于零空间的说法属实。（[出处]()） ## 原文涉及 - [BrunoHays/embeddinggemma-2-nullspace-audio · Hugging Face]() --- 来源：LearnMap · 学径（https://oplearnx.com）