你的Agent實際上需要多少記憶體?

2026-08-20 · Hugging Face

你的Agent實際上需要多少記憶體?

引言

在之前的研究中,團隊對比了ALTK-Evolve與ACE,重點分析了Agent自我提煉的指南交付方式——每個任務檢索少量指南還是注入整套指南——對準確率和成本的影響。本文則聚焦一個更基礎的問題:你的Agent實際上需要多少記憶體?

為Agent配備代理記憶(agentic memory)聽起來直觀:從過去執行軌跡中提煉經驗教訓,放回上下文,更多經驗理應帶來更好效能。然而實際效果並非線性。當評估擴充套件到八個不同模型(從30B稠密模型到前沿專有系統)時,最突出的結論是:代理記憶不是一個可以簡單開啟的功能,而是一種需要根據模型進行校準的劑量。

TL;DR 核心結論

  • ALTK-Evolve讓Agent從自身過去軌跡中學習:提煉可複用指南,並在推理時注入,無需更新權重、無需人工標註。
  • 最佳劑量隨模型能力 tier 顯著不同:有餘力的強模型適合完整指南集,較弱模型適合緊湊核心+按任務檢索,飽和模型則無明顯收益。
  • 精心設計的檢索方式可同時實現最高準確率和最低成本:gpt-oss-120b在使用精選檢索時任務完成率提升16.1個百分點,僅增加5% tokens;提示快取進一步使完整指南集在生產環境中可負擔。

關鍵洞見:劑量取決於模型能力

並非所有模型都適合相同數量的記憶。在能力譜系上的八個模型中,研究觀察到三種穩定模式:

1. 具有效能餘地的強模型 適合接收完整指南集,包括罕見的邊緣案例。它們有容量吸收並應用全部資訊。DeepSeek-V3.2(671B MoE)在使用完整自我挖掘指南集後,任務完成率提升9.5個百分點。

2. 較小或較弱的模型 容易被大型指南集淹沒。對這類模型,最優方案是固定高置信度核心指南,加上每個任務檢索少量相關指南。gpt-oss-120b(117B MoE)透過此選擇性方法獲得+16.1pp提升,而完整指南集效果較差且token消耗高約50%。

3. 已飽和的模型 無法從額外記憶中獲得可衡量收益,研究稱之為“飽和模式”。GLM-5(745B MoE)屬於此類。可能原因包括模型已在任務上接近上限、指南未針對剩餘失敗模式,或模型未能有效應用指導。

決定模型落入哪一模式的因素並非單純引數量。基準測試餘地、上下文視窗大小、模型架構、指南質量和任務分佈均有影響。實際意義在於:記憶劑量必須針對具體模型進行校準。

學習發生在模型周圍,而非內部

本文中的“記憶”並非簡單回放歷史對話記錄,而是指從Agent自身先前軌跡中提煉的行為指南集合,包括有效策略、應避免的錯誤和邊緣案例。

ALTK-Evolve的學習迴圈清晰明確:

  • Agent執行任務併產生軌跡;
  • 從成功和失敗執行中提取行為指南;
  • 將指南整合為可複用集合;
  • 推理時向Agent提供完整集合或任務相關子集。

整個過程不更新任何模型權重。學習透過改變提供給Agent的指導內容實現,而非修改底層模型,因此成本低廉且易於遷移至不同模型。

評估設定與三種配置

實驗使用AppWorld基準,該基準包含585個多步任務(168個test_normal + 417個test_challenge),涉及9個模擬應用(日曆、訊息傳遞、支付等)。評估指標包括:

  • TGC(Task Goal Completion):Agent是否完整完成任務;
  • SGC(Scenario Goal Completion):更嚴格的“所有變體均透過”指標。

為明確上下文視窗內容,研究定義了三種配置,所有指南均僅從AppWorld訓練集挖掘,測試集資料從未用於構建指南:

  • Baseline(基線):無任何記憶,即原始Agent;
  • Full guideline set(完整指南集):在每個ReAct步驟注入所有挖掘到的指南;
  • Curated retrieval(精選檢索):固定高置信核心指南 + 為當前任務檢索的少量相關指南(固定部分+可變部分)。

由於不同模型挖掘出的指南數量差異很大,研究按交付策略而非絕對數量報告結果。

實際意義

實驗表明,精選檢索方式在多個模型上同時實現了最佳準確率和最低成本開銷。提示快取技術進一步降低了完整指南集的生產部署成本。

核心 takeaway 是:Agentic Memory的最佳“劑量”高度依賴於具體模型,必須經過仔細校準。一刀切的方法無法取得最優效果。

原文連結