AI的遞迴自我改進或許並不會很快實現
2026-08-20 · MIT Technology Review
AI的遞迴自我改進或許並不會很快實現
研究背景與核心結論
當前AI行業最引人注目的承諾之一,是AI即將實現幾乎無需人類監督的自我改進。大型語言模型已經能夠編寫程式碼、生成合成訓練資料,並最佳化自身執行的計算機晶片。許多預測認為,研究者所稱的“遞迴自我改進”(recursive self-improvement)已近在眼前。
然而,由普林斯頓大學Peter Kirgis和Sayash Kapoor領導的一項新研究表明,這一目標的實現可能還需要更長時間。研究發現,現有的AI Agent雖然能夠解決AI研究中的工程問題,但尚不具備開展開放式AI研究所需的判斷力、創造力和品味。這些開放式研究的特點是問題沒有明確答案,需要研究者做出戰略選擇。
影子評估方法
現有關於AI Agent自動化研究的評估,大多聚焦於具有明確可檢驗答案的狹窄任務,例如解決特定工程問題或針對基準測試微調小型語言模型。但真正的AI研究進展還需要開放式思考,包括選擇假設集、判斷何種證據能解決疑問,以及知道何時應該從頭開始。
為測試AI在這些能力上的表現,研究團隊提出了一種名為“影子評估”(shadow evaluation)的全新評估方法:要求AI回答來自高質量、尚未公開發表的論文中的研究問題。由於論文未公開,AI無法透過訓練資料記憶或線上搜尋獲取答案。
實驗設定
研究者讓執行在開源框架OpenClaw上的Anthropic Claude Opus 4.8模型,嘗試解決兩篇提交至NeurIPS 2026(頂級機器學習會議)的論文中的核心問題:
- 問題一:大型語言模型的“persona”(決定其行為風格的機制)是否可以透過編輯模型權重(訓練過程中學到的數十億引數)來控制?
- 問題二:如何設計一個檢測器,用於判斷基於電子表格資料進行預測的模型何時變得不可靠?
AI代理獲得了以下資源:
- 6天時間
- 3000美元Anthropic API額度
- GPU算力預算
- 獨立的虛擬計算機
- 開放網際網路訪問許可權
目標是產出一篇質量足以被頂級AI會議接收的論文。兩篇原論文的作者按照會議審稿標準對AI生成的論文進行了評審。
實驗結果
兩篇AI生成的論文均被原作者拒絕。
研究者發現:
AI代理在工程層面表現良好:
- 能夠有效回顧文獻
- 執行了數百次實驗
- 整理並呈現實驗結果
但在研究本身上表現極差:
- 進行了奇特的實驗(有時在極小的人造資料集上測試假設)
- 論文寫作條理不清
- 未能對各自領域做出任何新穎貢獻
- 論文質量遠未達到頂級AI會議的要求
失敗的具體表現
研究者指出,AI代理在以下開放式研究能力上存在明顯不足:
1. 探索不足:沒有充分探索不同想法,過快地鎖定前景不佳的研究路徑。
2. 假設判斷失誤:雖然提出了與原作者初始想法相似的新穎且有野心的假設,但僅基於非常有限的資料就將其否定。
3. 無法徹底轉向:當研究路徑失敗時,代理只能進行微小的調整,無法從根本上重新思考或從零開始嘗試全新方法。
4. 反饋利用能力弱:未能有效整合子代理或外部AI評審工具的反饋,而是透過縮小結論範圍和增加免責宣告來掩蓋問題。
5. 資源管理不當:無法有效利用token、算力和時間資源,也不能嚴格遵循關於各研究階段時間分配和論文長度等指令。
值得注意的是,儘管子代理偶爾出現幻覺或歪曲結果,但主代理(orchestrator)能夠發現並糾正這些問題,整體並未出現研究者擔憂的“reward hacking”(透過隱藏或偽造實驗資料來欺騙評估系統)行為。
原因分析與訓練正規化
Sayash Kapoor表示,AI模型在研究工程方面表現良好,但在開放式研究上表現不佳,可能與當前的訓練方式有關。模型透過強化學習(reinforcement learning)在可自動檢驗的任務上表現優異,但為開放式任務建立有效的訓練環境要困難得多。
研究團隊目前正在使用Anthropic最新發布的先進模型Mythos重複該實驗。Mythos因需滿足特朗普政府的安全限制,目前僅向獲批組織開放。
研究侷限性
該研究存在以下侷限:
- 僅測試了兩篇論文,樣本量較小。
- 原作者知道他們評審的是AI生成的論文,這可能影響其評價標準。
- 研究者在實驗設計和執行上擁有較大自由度,其 preexisting 信念和偏見可能對結果產生影響。
這項研究表明,儘管AI在自動化工程任務上進步顯著,但在實現真正具備判斷力和創造力的開放式AI研究、進而達成遞迴自我改進的目標之前,仍有相當長的距離需要跨越。