用算力验证论文结果 [D]
Using compute to verify paper results [D]
这是一条 Reddit r/MachineLearning 社区帖子。发帖人说自己尚未成为审稿人但明年可能会担任，提问审稿人如何决定分配算力去验证论文结果，以及所审论文的代码通常是否易于运行。评论中有人认为可以随机抽查几个结果、只在数值差异明显时深入，也有人指出现实中几乎没有审稿人在评审期间跑实验，原因包括评审时限、复现成本、可用算力，以及评审阶段常不提供代码（GitHub 会破坏匿名性）。适合关注机器学习论文评审流程与复现实践的人阅读。
- 分级
- 值得看
- 所属主题
- 模型基准与比较
- 收录时间
- 2026-10-29
原帖
Using compute to verify paper results [D] I’m not a reviewer yet, but I likely will be by next year. As a reviewer, how do you decide to allocate compute to verify paper results?
中文大意
发帖人是尚未开始审稿、但预计明年会成为审稿人的研究者，问同行在评审中如何决定分配多少算力去复现论文结果，以及所审论文的代码通常是否容易跑起来。评论区几乎一致认为现实中极少有人真的运行论文代码：审稿时间、复现难度和可用算力都不允许，而且很多论文评审期不公开代码（GitHub 会破坏匿名性），只能凭描述复现。建议的做法是：靠直觉判断结果是否合理、抽查少量数字、只在发现明显偏差时深入；把主要时间放在读懂论文本身；审稿人的职责是看方法是否合规、表述是否达标，而非验证结果。也有回复提到匿名仓库值得整理并共享，可能小幅加分，有人建议只随机测几个结果，还有人指出复现失败也不能直接判定论文有错。适合即将或刚开始担任审稿人、关心评审中是否该动手跑代码的 ML/NLP 研究者阅读。
讨论区核心观点
依据 9 条评论
- 几乎没有审稿人会在评审期间真正跑论文实验：时间、复现成本和可用算力都不够，而且不少论文评审期不提供代码（GitHub 会破坏匿名），只能按正文描述复现。 出处（新标签页打开）
- 审稿人的职责是检查是否遵循科学方法、表述与基线质量是否达标，验证结果不在职责范围内。 出处（新标签页打开）
- 更有效的做法是培养对合理结果的直觉、留意常见错误；或先抽查少量结果，只有出现明显偏差才继续深挖。 出处（新标签页打开）
- 时间应主要花在通读并深入理解论文上；可自问“如果性能差 3% 我会拒吗”，以此判断论文本身是否有趣、结果是否可信。 出处（新标签页打开）
- 即使真的去跑，也很难得到相同数字，复现失败不能据此断言论文结果错误（作者可归因于复现方式或精简代码），后续可在 arXiv/OpenReview 上公开质疑。 出处（新标签页打开）
- 共享匿名仓库是常见做法，可能让部分审稿人略微加分，但基本没人会去运行。 出处（新标签页打开）