学习基准设计、模型比较和实验可信度，适合阅读评测或设计实验的读者。
39 条精选 · 入门 5 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后
Alternatives to Artificial Analysis
这是一篇 Reddit r/LocalLLaMA 社区帖子，作者表示自己认同版内一种看法，即 Artificial Analysis 在有好的开源模型出现或 IPO 临近时改动其指标令人生疑，并向其他人询问有哪些替代的评测榜单。评论中有人提出替代者至少应与 Artificial Analysis 一样公开方法论，也有人讨论其资金来源与 OpenAI 董事会成员的关联，以及 OpenAI 目前排名第三等反驳意见。适合关注模型评测榜单可信度与评测方法论透明度的人阅读。
Artificial Analysis Intelligence Index v5 (major update)
r/LocalLLaMA 社区帖子，介绍 Artificial Analysis 智能指数更新到 v5 版本，该版本据其发布方称是重大升级；帖子指出此次更新拉大了开放权重模型与闭源模型之间的差距，v5 中 60% 的指数基于私有测试集或留出答案，导致结果无法复现，并引用了官方公告中关于开放权重差距从 3 分扩大到 12 分的说法，同时提到有人根据实际使用体验质疑其准确性。适合关注模型评测榜单、开放权重与闭源模型能力对比的人阅读。
Cocktail-party audio as a reverse Turing test: humans beat speech models, but not by enough [P]
一篇 r/MachineLearning 社区帖子，作者用 40 段合成音频（一条目标语句混在多人声背景中）搭建了一个类似音频验证码的小实验，收集 18 场会话共 146 份人工转写，并与 Whisper base/small、Vosk、Wav2Vec2、Qwen3-ASR、Parakeet CTC、Gemini 等 8 种模型配置对比词准确率。结论是人类的平均词准确率为 0.71、通过率 77%，明显高于模型，但差距不足以做成可靠的 CAPTCHA；作者还说明指令提示可将 Gemini 从 0.34 提升到 0.54，并列出小样本、单一合成音色等局限。适合关注语音识别评测与音频人机区分方法的人阅读。
Opus 5.5 writes slop code, but succeeds anyways. A research project inspired by SlopCodeBench
r/ClaudeAI 社区帖子。发帖者受 SlopCodeBench 基准（把问题拆成多个检查点，要求 agent 在自有旧代码上不断加功能，并用结构侵蚀和冗余度衡量代码变“脏”的程度）启发，把 Opus 5.5 跑完 196 个检查点（API 花费 266 美元），检验代码变脏是否预示表现变差。结论包括：35 个问题中有 22 个的侵蚀度与冗余度都上升；在同一问题内比较检查点后，脏乱程度并不预示下一个检查点是否做对；原先通过的测试仅约 0.3% 回归，且更脏的仓库并不更多回归；代码规模翻倍时下一个检查点成本约增 19%。适合关注 agentic coding 评测与代码质量控制的人阅读。
Using compute to verify paper results [D]
这是一条 Reddit r/MachineLearning 社区帖子。发帖人说自己尚未成为审稿人但明年可能会担任，提问审稿人如何决定分配算力去验证论文结果，以及所审论文的代码通常是否易于运行。评论中有人认为可以随机抽查几个结果、只在数值差异明显时深入，也有人指出现实中几乎没有审稿人在评审期间跑实验，原因包括评审时限、复现成本、可用算力，以及评审阶段常不提供代码（GitHub 会破坏匿名性）。适合关注机器学习论文评审流程与复现实践的人阅读。
Qwen3.8-Flash-Next: Swift 1.5 vs Unsloth on Strix Halo (Halogen, gufo, llama.cpp, UD-Q4_K_XL and IQ4_XS)
这是 r/LocalLLaMA 的社区帖子，作者在 Asus ROG Flow Z13（128 GB、70 W）上对比 UkisAI 的 Qwen3.8-Flash-Next 微调版 Swift 1.5 与自己原有方案，涉及 Halogen、gufo、llama.cpp 三种引擎和多种量化格式，均启用 MTP。帖中记录了服务启动时间、32k prompt 下的 TTFT、预填充与解码速度、MTP 接受率、KLD，以及数学、LCB 和 11 项 Pi 代码任务的得分、耗时与 token 消耗，并说明结果仅来自单次运行。适合关注本地大模型推理性能、量化方案与编码智能体实测的人阅读。
[R] Taking EmbeddingGemma-2 (577M) from Rank #26 to #1 on the MAEB audio benchmark by filling its 256d null space with PCA-reduced intermediate Conformer layers (zero training) [R]
r/MachineLearning 社区帖子，讲述在 google/embeddinggemma-2（577M）上的实验：仅用 PCA 把中间 Conformer 层投影到最终投影矩阵未被使用的零空间，在 MTEB 榜单的 30 任务音频基准 MAEB 上宏平均分从 49.3% 升到 54.4%（+5.1 点），MAEB 纯音频排名从第 26 升至第 1，完整 MAEB 从第 16 升至第 1；帖中并分析了文本对齐音频编码器末层过滤掉副语言与声学特征的现象，以及对 12 层 Conformer 逐层探测的结果。适合研究音频/多模态嵌入表示与零训练后处理的人阅读。
I took EmbeddingGemma-2 (577M) from Rank #26 to #1 on the MTEB Audio leaderboard (MAEB), beating 9B models by adding a 2.4 MB PCA head with zero training
这是一篇 Reddit r/LocalLLaMA 社区帖子，作者在 Google 的 577M 参数、768 维向量模型 embeddinggemma-2 上加入一个 2.37MB 的冻结 PCA 矩阵文件，未训练任何权重，就把 MAEB 音频榜得分从 49.3% 提升到 54.4%，音频榜从第 26 名升至第 1 名（完整 MAEB 从第 16 名升至第 1 名）。帖子解释了原理：从冻结音频编码器较早层提取特征以保留音色、情绪等声学信息，并列出无监督语音/性别聚类、歌曲音频检索、人声情绪分类等任务上的提升数字，权重发布在 Hugging Face。适合在笔记本或边缘设备上做音频/文本嵌入检索、关注小模型与嵌入模型改进的人阅读。
Too good to be true? ISTA's GSQ-RCO 2-bit DeepSeek-V4.1-Flash scoring the same as the base model
r/LocalLLaMA 的一篇社区帖子。作者询问是否有人试过 ISTA 为 DeepSeek-V4.1-Flash 发布的 GSQ-RCO GGUF 量化模型，以及实际质量是否与榜单成绩相符（IQ2_XXS 与基座持平）。作者指出其基准已饱和（90% 以上，AIME25 各版本均为 100），可能无法体现性能退化，也找不到 GSQ-RCO 模型的 KLD 数据，因此询问是否有人测过 KLD 或 PPL，以及在约 2 bpw 下预期的 KLD 是多少，并附上 Hugging Face 模型页链接。适合在本地部署低比特量化大模型、关注量化后质量评估的人阅读。