我把 EmbeddingGemma-2(577M)从 MTEB 音频榜(MAEB)第 26 名带到第 1 名,零训练加一个 2.4MB 的 PCA 头,击败 9B 模型
I took EmbeddingGemma-2 (577M) from Rank #26 to #1 on the MTEB Audio leaderboard (MAEB), beating 9B models by adding a 2.4 MB PCA head with zero training
这是一篇 Reddit r/LocalLLaMA 社区帖子,作者在 Google 的 577M 参数、768 维向量模型 embeddinggemma-2 上加入一个 2.37MB 的冻结 PCA 矩阵文件,未训练任何权重,就把 MAEB 音频榜得分从 49.3% 提升到 54.4%,音频榜从第 26 名升至第 1 名(完整 MAEB 从第 16 名升至第 1 名)。帖子解释了原理:从冻结音频编码器较早层提取特征以保留音色、情绪等声学信息,并列出无监督语音/性别聚类、歌曲音频检索、人声情绪分类等任务上的提升数字,权重发布在 Hugging Face。适合在笔记本或边缘设备上做音频/文本嵌入检索、关注小模型与嵌入模型改进的人阅读。