AI的遞迴自我改進或許並不會很快實現

2026-08-20 · MIT Technology Review

AI的遞迴自我改進或許並不會很快實現

研究背景與核心結論

當前AI行業最引人注目的承諾之一,是AI即將實現幾乎無需人類監督的自我改進。大型語言模型已經能夠編寫程式碼、生成合成訓練資料,並最佳化自身執行的計算機晶片。許多預測認為,研究者所稱的“遞迴自我改進”(recursive self-improvement)已近在眼前。

然而,由普林斯頓大學Peter Kirgis和Sayash Kapoor領導的一項新研究表明,這一目標的實現可能還需要更長時間。研究發現,現有的AI Agent雖然能夠解決AI研究中的工程問題,但尚不具備開展開放式AI研究所需的判斷力、創造力和品味。這些開放式研究的特點是問題沒有明確答案,需要研究者做出戰略選擇。

影子評估方法

現有關於AI Agent自動化研究的評估,大多聚焦於具有明確可檢驗答案的狹窄任務,例如解決特定工程問題或針對基準測試微調小型語言模型。但真正的AI研究進展還需要開放式思考,包括選擇假設集、判斷何種證據能解決疑問,以及知道何時應該從頭開始。

為測試AI在這些能力上的表現,研究團隊提出了一種名為“影子評估”(shadow evaluation)的全新評估方法:要求AI回答來自高質量、尚未公開發表的論文中的研究問題。由於論文未公開,AI無法透過訓練資料記憶或線上搜尋獲取答案。

實驗設定

研究者讓執行在開源框架OpenClaw上的Anthropic Claude Opus 4.8模型,嘗試解決兩篇提交至NeurIPS 2026(頂級機器學習會議)的論文中的核心問題:

  • 問題一:大型語言模型的“persona”(決定其行為風格的機制)是否可以透過編輯模型權重(訓練過程中學到的數十億引數)來控制?
  • 問題二:如何設計一個檢測器,用於判斷基於電子表格資料進行預測的模型何時變得不可靠?

AI代理獲得了以下資源:

  • 6天時間
  • 3000美元Anthropic API額度
  • GPU算力預算
  • 獨立的虛擬計算機
  • 開放網際網路訪問許可權

目標是產出一篇質量足以被頂級AI會議接收的論文。兩篇原論文的作者按照會議審稿標準對AI生成的論文進行了評審。

實驗結果

兩篇AI生成的論文均被原作者拒絕。

研究者發現:

AI代理在工程層面表現良好:

  • 能夠有效回顧文獻
  • 執行了數百次實驗
  • 整理並呈現實驗結果

但在研究本身上表現極差:

  • 進行了奇特的實驗(有時在極小的人造資料集上測試假設)
  • 論文寫作條理不清
  • 未能對各自領域做出任何新穎貢獻
  • 論文質量遠未達到頂級AI會議的要求

失敗的具體表現

研究者指出,AI代理在以下開放式研究能力上存在明顯不足:

1. 探索不足:沒有充分探索不同想法,過快地鎖定前景不佳的研究路徑。

2. 假設判斷失誤:雖然提出了與原作者初始想法相似的新穎且有野心的假設,但僅基於非常有限的資料就將其否定。

3. 無法徹底轉向:當研究路徑失敗時,代理只能進行微小的調整,無法從根本上重新思考或從零開始嘗試全新方法。

4. 反饋利用能力弱:未能有效整合子代理或外部AI評審工具的反饋,而是透過縮小結論範圍和增加免責宣告來掩蓋問題。

5. 資源管理不當:無法有效利用token、算力和時間資源,也不能嚴格遵循關於各研究階段時間分配和論文長度等指令。

值得注意的是,儘管子代理偶爾出現幻覺或歪曲結果,但主代理(orchestrator)能夠發現並糾正這些問題,整體並未出現研究者擔憂的“reward hacking”(透過隱藏或偽造實驗資料來欺騙評估系統)行為。

原因分析與訓練正規化

Sayash Kapoor表示,AI模型在研究工程方面表現良好,但在開放式研究上表現不佳,可能與當前的訓練方式有關。模型透過強化學習(reinforcement learning)在可自動檢驗的任務上表現優異,但為開放式任務建立有效的訓練環境要困難得多。

研究團隊目前正在使用Anthropic最新發布的先進模型Mythos重複該實驗。Mythos因需滿足特朗普政府的安全限制,目前僅向獲批組織開放。

研究侷限性

該研究存在以下侷限:

  • 僅測試了兩篇論文,樣本量較小。
  • 原作者知道他們評審的是AI生成的論文,這可能影響其評價標準。
  • 研究者在實驗設計和執行上擁有較大自由度,其 preexisting 信念和偏見可能對結果產生影響。

這項研究表明,儘管AI在自動化工程任務上進步顯著,但在實現真正具備判斷力和創造力的開放式AI研究、進而達成遞迴自我改進的目標之前,仍有相當長的距離需要跨越。

原文連結