復現2200篇ICML論文的經驗總結
2026-08-20 · Hugging Face
復現2200篇ICML論文的經驗總結
論文數量激增與評審壓力
ICML 2026收到23,918份投稿,接收6,352篇論文,數量約為前一年的兩倍。這一指數級增長部分由AI代理加速實驗和論文撰寫所驅動。
同行評審能力並未同步增長。審稿人多為志願者,常常沒有足夠時間或專業知識進行完整審查。一篇最終獲得spotlight的ICML 2026論文,其審稿人坦言:“我的低置信分數是因為我沒有仔細檢查所有證明。”
具有諷刺意味的是,製造論文洪流的同一技術也為解決可復現性問題提供了工具。Claude Code、Codex、Cursor、Pi等編碼代理如今能夠閱讀論文、編寫程式碼、執行實驗並反饋結果。過去審稿人需要花費一個週末的工作,代理可在下午完成,且可並行執行數千次。
因此核心問題是:如果真正大規模重新審查一場頂級會議並嘗試復現每一篇論文,我們會發現什麼?
駭客馬拉松組織方式(7月15日-8月2日)
本次活動未由內部團隊審計,而是向全球社群開放,匯聚了不同代理框架、計算資源和科學偏好。
具體流程
- 選擇論文:所有6,341篇接收論文均被索引,提供了摘要並提取核心科學宣告,讓代理有明確可驗證目標,而非面對40頁PDF。鼓勵多人復現同一論文。
- 自帶代理:參與者可使用Claude Code、Codex、Cursor、OpenResearch orx等任意工具。平臺提供簡化介面,代理透過一條命令即可獲取論文、宣告和任務說明。
- 復現並完全公開:每次執行生成一個Trackio日誌簿,即靜態Hugging Face Space,包含撰寫報告、執行程式碼、實驗產物及可選的完整代理執行軌跡(上傳為Hugging Face Dataset)。審計過程本身必須可被審計。
- 自動裁判:使用開源權重模型GLM-5.2驅動的Logbook Judge重新閱讀每個日誌簿,對每條宣告給出“verified”“falsified”“toy”或“inconclusive”判決,並明確將日誌簿的自我評估視為不可信。
參與者獲得20美元Hugging Face計算積分,共啟動2,962個雲任務。對於因資料集私有或檢查點未釋出而無法完整復現的論文,參與者使用模擬原始屬性的合成資料進行玩具規模復現。
活動規模資料
- 1,221名社群成員參與
- 釋出6,816個復現日誌簿
- 嘗試復現2,226篇論文(佔會議34%,多篇由多個獨立團隊完成)
- 共判斷35,908條宣告,所有判決凍結在公開資料集中
- 啟動2,962個HF Jobs,釋出274個完整代理軌跡資料集
主要發現
按論文彙總宣告級別判決結果:
- 51%的考察論文(1,103篇) 至少有一項宣告被獨立驗證。其中266篇所有宣告均被驗證(完全復現),632篇部分復現且無任何宣告被證偽。總計3,978條宣告透過真實實驗得到確認。
- 23%的考察論文(496篇) 至少有一項宣告被證偽或爭議。其中49篇所有宣告均被證偽,242篇由不同獨立團隊對相同宣告得出完全相反的結論。這表明可復現性不是簡單的二元結果,而是具有對抗性。
其餘論文處於中間狀態:502篇僅獲得玩具規模證據,280篇因缺少必要工件等原因無法得出任何明確結論。
復現成功的案例
部分論文在多團隊復現中表現優異:
- 《Flat Minima and Generalization: Insights from Stochastic Convex Optimization》被20個獨立團隊復現,其中12個團隊驗證了全部宣告,其中一個日誌簿完整公開了代理執行軌跡。
- 《A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness》在17個日誌簿中有14個驗證了所有宣告。一篇討論LLM裁判不可靠的論文,在LLM代理的嚴格審查下依然成立。
證偽情況
有35名參與者正式聲稱發現了被證偽的內容。活動組織者隨後開始對其進行對抗性重新驗證。