复现2200篇ICML论文的经验总结
2026-08-20 · Hugging Face
复现2200篇ICML论文的经验总结
论文数量激增与评审压力
ICML 2026收到23,918份投稿,接收6,352篇论文,数量约为前一年的两倍。这一指数级增长部分由AI代理加速实验和论文撰写所驱动。
同行评审能力并未同步增长。审稿人多为志愿者,常常没有足够时间或专业知识进行完整审查。一篇最终获得spotlight的ICML 2026论文,其审稿人坦言:“我的低置信分数是因为我没有仔细检查所有证明。”
具有讽刺意味的是,制造论文洪流的同一技术也为解决可复现性问题提供了工具。Claude Code、Codex、Cursor、Pi等编码代理如今能够阅读论文、编写代码、运行实验并反馈结果。过去审稿人需要花费一个周末的工作,代理可在下午完成,且可并行运行数千次。
因此核心问题是:如果真正大规模重新审查一场顶级会议并尝试复现每一篇论文,我们会发现什么?
黑客马拉松组织方式(7月15日-8月2日)
本次活动未由内部团队审计,而是向全球社区开放,汇聚了不同代理框架、计算资源和科学偏好。
具体流程
- 选择论文:所有6,341篇接收论文均被索引,提供了摘要并提取核心科学声明,让代理有明确可验证目标,而非面对40页PDF。鼓励多人复现同一论文。
- 自带代理:参与者可使用Claude Code、Codex、Cursor、OpenResearch orx等任意工具。平台提供简化接口,代理通过一条命令即可获取论文、声明和任务说明。
- 复现并完全公开:每次运行生成一个Trackio日志簿,即静态Hugging Face Space,包含撰写报告、运行代码、实验产物及可选的完整代理执行轨迹(上传为Hugging Face Dataset)。审计过程本身必须可被审计。
- 自动裁判:使用开源权重模型GLM-5.2驱动的Logbook Judge重新阅读每个日志簿,对每条声明给出“verified”“falsified”“toy”或“inconclusive”判决,并明确将日志簿的自我评估视为不可信。
参与者获得20美元Hugging Face计算积分,共启动2,962个云任务。对于因数据集私有或检查点未发布而无法完整复现的论文,参与者使用模拟原始属性的合成数据进行玩具规模复现。
活动规模数据
- 1,221名社区成员参与
- 发布6,816个复现日志簿
- 尝试复现2,226篇论文(占会议34%,多篇由多个独立团队完成)
- 共判断35,908条声明,所有判决冻结在公开数据集中
- 启动2,962个HF Jobs,发布274个完整代理轨迹数据集
主要发现
按论文汇总声明级别判决结果:
- 51%的考察论文(1,103篇) 至少有一项声明被独立验证。其中266篇所有声明均被验证(完全复现),632篇部分复现且无任何声明被证伪。总计3,978条声明通过真实实验得到确认。
- 23%的考察论文(496篇) 至少有一项声明被证伪或争议。其中49篇所有声明均被证伪,242篇由不同独立团队对相同声明得出完全相反的结论。这表明可复现性不是简单的二元结果,而是具有对抗性。
其余论文处于中间状态:502篇仅获得玩具规模证据,280篇因缺少必要工件等原因无法得出任何明确结论。
复现成功的案例
部分论文在多团队复现中表现优异:
- 《Flat Minima and Generalization: Insights from Stochastic Convex Optimization》被20个独立团队复现,其中12个团队验证了全部声明,其中一个日志簿完整公开了代理执行轨迹。
- 《A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness》在17个日志簿中有14个验证了所有声明。一篇讨论LLM裁判不可靠的论文,在LLM代理的严格审查下依然成立。
证伪情况
有35名参与者正式声称发现了被证伪的内容。活动组织者随后开始对其进行对抗性重新验证。