你的Agent实际上需要多少内存?

2026-08-20 · Hugging Face

你的Agent实际上需要多少内存?

引言

在之前的研究中,团队对比了ALTK-Evolve与ACE,重点分析了Agent自我提炼的指南交付方式——每个任务检索少量指南还是注入整套指南——对准确率和成本的影响。本文则聚焦一个更基础的问题:你的Agent实际上需要多少内存?

为Agent配备代理记忆(agentic memory)听起来直观:从过去执行轨迹中提炼经验教训,放回上下文,更多经验理应带来更好性能。然而实际效果并非线性。当评估扩展到八个不同模型(从30B稠密模型到前沿专有系统)时,最突出的结论是:代理记忆不是一个可以简单开启的功能,而是一种需要根据模型进行校准的剂量。

TL;DR 核心结论

  • ALTK-Evolve让Agent从自身过去轨迹中学习:提炼可复用指南,并在推理时注入,无需更新权重、无需人工标注。
  • 最佳剂量随模型能力 tier 显著不同:有余力的强模型适合完整指南集,较弱模型适合紧凑核心+按任务检索,饱和模型则无明显收益。
  • 精心设计的检索方式可同时实现最高准确率和最低成本:gpt-oss-120b在使用精选检索时任务完成率提升16.1个百分点,仅增加5% tokens;提示缓存进一步使完整指南集在生产环境中可负担。

关键洞见:剂量取决于模型能力

并非所有模型都适合相同数量的记忆。在能力谱系上的八个模型中,研究观察到三种稳定模式:

1. 具有性能余地的强模型 适合接收完整指南集,包括罕见的边缘案例。它们有容量吸收并应用全部信息。DeepSeek-V3.2(671B MoE)在使用完整自我挖掘指南集后,任务完成率提升9.5个百分点。

2. 较小或较弱的模型 容易被大型指南集淹没。对这类模型,最优方案是固定高置信度核心指南,加上每个任务检索少量相关指南。gpt-oss-120b(117B MoE)通过此选择性方法获得+16.1pp提升,而完整指南集效果较差且token消耗高约50%。

3. 已饱和的模型 无法从额外记忆中获得可衡量收益,研究称之为“饱和模式”。GLM-5(745B MoE)属于此类。可能原因包括模型已在任务上接近上限、指南未针对剩余失败模式,或模型未能有效应用指导。

决定模型落入哪一模式的因素并非单纯参数量。基准测试余地、上下文窗口大小、模型架构、指南质量和任务分布均有影响。实际意义在于:记忆剂量必须针对具体模型进行校准。

学习发生在模型周围,而非内部

本文中的“记忆”并非简单回放历史对话记录,而是指从Agent自身先前轨迹中提炼的行为指南集合,包括有效策略、应避免的错误和边缘案例。

ALTK-Evolve的学习循环清晰明确:

  • Agent执行任务并产生轨迹;
  • 从成功和失败运行中提取行为指南;
  • 将指南整合为可复用集合;
  • 推理时向Agent提供完整集合或任务相关子集。

整个过程不更新任何模型权重。学习通过改变提供给Agent的指导内容实现,而非修改底层模型,因此成本低廉且易于迁移至不同模型。

评估设置与三种配置

实验使用AppWorld基准,该基准包含585个多步任务(168个test_normal + 417个test_challenge),涉及9个模拟应用(日历、消息传递、支付等)。评估指标包括:

  • TGC(Task Goal Completion):Agent是否完整完成任务;
  • SGC(Scenario Goal Completion):更严格的“所有变体均通过”指标。

为明确上下文窗口内容,研究定义了三种配置,所有指南均仅从AppWorld训练集挖掘,测试集数据从未用于构建指南:

  • Baseline(基线):无任何记忆,即原始Agent;
  • Full guideline set(完整指南集):在每个ReAct步骤注入所有挖掘到的指南;
  • Curated retrieval(精选检索):固定高置信核心指南 + 为当前任务检索的少量相关指南(固定部分+可变部分)。

由于不同模型挖掘出的指南数量差异很大,研究按交付策略而非绝对数量报告结果。

实际意义

实验表明,精选检索方式在多个模型上同时实现了最佳准确率和最低成本开销。提示缓存技术进一步降低了完整指南集的生产部署成本。

核心 takeaway 是:Agentic Memory的最佳“剂量”高度依赖于具体模型,必须经过仔细校准。一刀切的方法无法取得最优效果。

原文链接