AI的递归自我改进或许并不会很快实现
2026-08-20 · MIT Technology Review
AI的递归自我改进或许并不会很快实现
研究背景与核心结论
当前AI行业最引人注目的承诺之一,是AI即将实现几乎无需人类监督的自我改进。大型语言模型已经能够编写代码、生成合成训练数据,并优化自身运行的计算机芯片。许多预测认为,研究者所称的“递归自我改进”(recursive self-improvement)已近在眼前。
然而,由普林斯顿大学Peter Kirgis和Sayash Kapoor领导的一项新研究表明,这一目标的实现可能还需要更长时间。研究发现,现有的AI Agent虽然能够解决AI研究中的工程问题,但尚不具备开展开放式AI研究所需的判断力、创造力和品味。这些开放式研究的特点是问题没有明确答案,需要研究者做出战略选择。
影子评估方法
现有关于AI Agent自动化研究的评估,大多聚焦于具有明确可检验答案的狭窄任务,例如解决特定工程问题或针对基准测试微调小型语言模型。但真正的AI研究进展还需要开放式思考,包括选择假设集、判断何种证据能解决疑问,以及知道何时应该从头开始。
为测试AI在这些能力上的表现,研究团队提出了一种名为“影子评估”(shadow evaluation)的全新评估方法:要求AI回答来自高质量、尚未公开发表的论文中的研究问题。由于论文未公开,AI无法通过训练数据记忆或在线搜索获取答案。
实验设置
研究者让运行在开源框架OpenClaw上的Anthropic Claude Opus 4.8模型,尝试解决两篇提交至NeurIPS 2026(顶级机器学习会议)的论文中的核心问题:
- 问题一:大型语言模型的“persona”(决定其行为风格的机制)是否可以通过编辑模型权重(训练过程中学到的数十亿参数)来控制?
- 问题二:如何设计一个检测器,用于判断基于电子表格数据进行预测的模型何时变得不可靠?
AI代理获得了以下资源:
- 6天时间
- 3000美元Anthropic API额度
- GPU算力预算
- 独立的虚拟计算机
- 开放互联网访问权限
目标是产出一篇质量足以被顶级AI会议接收的论文。两篇原论文的作者按照会议审稿标准对AI生成的论文进行了评审。
实验结果
两篇AI生成的论文均被原作者拒绝。
研究者发现:
AI代理在工程层面表现良好:
- 能够有效回顾文献
- 运行了数百次实验
- 整理并呈现实验结果
但在研究本身上表现极差:
- 进行了奇特的实验(有时在极小的人造数据集上测试假设)
- 论文写作条理不清
- 未能对各自领域做出任何新颖贡献
- 论文质量远未达到顶级AI会议的要求
失败的具体表现
研究者指出,AI代理在以下开放式研究能力上存在明显不足:
1. 探索不足:没有充分探索不同想法,过快地锁定前景不佳的研究路径。
2. 假设判断失误:虽然提出了与原作者初始想法相似的新颖且有野心的假设,但仅基于非常有限的数据就将其否定。
3. 无法彻底转向:当研究路径失败时,代理只能进行微小的调整,无法从根本上重新思考或从零开始尝试全新方法。
4. 反馈利用能力弱:未能有效整合子代理或外部AI评审工具的反馈,而是通过缩小结论范围和增加免责声明来掩盖问题。
5. 资源管理不当:无法有效利用token、算力和时间资源,也不能严格遵循关于各研究阶段时间分配和论文长度等指令。
值得注意的是,尽管子代理偶尔出现幻觉或歪曲结果,但主代理(orchestrator)能够发现并纠正这些问题,整体并未出现研究者担忧的“reward hacking”(通过隐藏或伪造实验数据来欺骗评估系统)行为。
原因分析与训练范式
Sayash Kapoor表示,AI模型在研究工程方面表现良好,但在开放式研究上表现不佳,可能与当前的训练方式有关。模型通过强化学习(reinforcement learning)在可自动检验的任务上表现优异,但为开放式任务创建有效的训练环境要困难得多。
研究团队目前正在使用Anthropic最新发布的先进模型Mythos重复该实验。Mythos因需满足特朗普政府的安全限制,目前仅向获批组织开放。
研究局限性
该研究存在以下局限:
- 仅测试了两篇论文,样本量较小。
- 原作者知道他们评审的是AI生成的论文,这可能影响其评价标准。
- 研究者在实验设计和执行上拥有较大自由度,其 preexisting 信念和偏见可能对结果产生影响。
这项研究表明,尽管AI在自动化工程任务上进步显著,但在实现真正具备判断力和创造力的开放式AI研究、进而达成递归自我改进的目标之前,仍有相当长的距离需要跨越。