想要 ACE?我們可以更少 token 實現
2026-08-20 · Hugging Face
想要 ACE?我們可以更少 token 實現
背景與核心問題
當給大型語言模型(LLM)代理分配現實的多步任務(如分賬、找歌、在九個模擬應用間協調訂單)時,失敗通常並非因為缺乏API知識,而是因為無法可靠地使用這些知識。模型知道API的規格,卻沒有內化“如何可靠使用”的模式。這些模式可以從代理自身的過往軌跡中學習。
近期兩個系統——ACE(Agentic Context Engineering)和IBM Research提出的ALTK-Evolve——都在同一類代理上實現了這一目標。兩者均屬於agentic memory,將代理過去的行為軌跡轉化為可複用的教訓(lessons),在推理時反饋給模型,無需更新權重,也無需人工標註。
兩者達成的共識
儘管命名不同,但兩個系統在核心理念上高度一致:拒絕壓縮。
- ACE 明確指出了兩個風險:brevity bias(最佳化過程傾向於生成簡短、泛化的指令)和context collapse(模型在每步重寫整個上下文時會丟失細節)。其解決方案是維護一個豐富、條目化的playbook,每個bullet都帶有helpful/harmful計數器,讓模型在讀取時自行提煉相關資訊。
- ALTK-Evolve 從另一角度得出相同結論:每條獨立guideline都保留support count(有多少獨立episode產生了它),絕不將記憶庫坍縮為少量規則。一條被五個不同任務驗證的教訓與僅出現一次的教訓是不同物件,兩者都值得保留。
因此,在“是否應該將代理辛苦獲得的教訓壓縮成整潔摘要”這一核心問題上,ACE和ALTK-Evolve給出了相同答案:不應該。應當計數,而非坍縮。ACE的per-bullet計數器與我們的support count是同一理念的不同表述。
兩者的關鍵差異
兩者主要在兩個維度存在差異:記憶的構建方式(Consolidation)和交付方式(Delivery)。而真正影響token消耗的是交付方式。
1. 構建方式(Consolidation)
ACE採用Generator → Reflector → Curator迴圈,透過增量delta更新和embedding去重來生長單一playbook。它會對近似教訓進行聚類並在簇內合併,合併時會繼承所有教訓的累計support count,從而在縮小儲存規模的同時保留經驗強度。
ALTK-Evolve同樣提取型別化的guideline(strategy、recovery、optimization),並提供因果歸因和指向源軌跡的provenance,且粒度細化到subtask級別,使在某個應用上學到的教訓能夠遷移到其他應用。
2. 交付方式(Delivery)——決定token賬單的關鍵
ACE的策略是在每個推理步驟都注入完整的、不斷演化的playbook,對模型和任務不做區分。
ALTK-Evolve則將交付視為一個可調節的“旋鈕”而非常量:
- 使用少量固定高支援度的核心guideline;
- 針對當前任務,透過餘弦相似度或LLM引導的方式檢索少量相關guideline(按優先順序加權);
- 當模型有足夠能力時,也可使用完整合並後的集合。
相同的教訓對兩個系統都可用,區別在於ACE始終傳送全部內容,而ALTK-Evolve只傳送當前模型實際能有效利用的數量。
實驗結果(AppWorld基準)
使用相同的ReAct代理,在相同實驗設定下對比兩者表現:
DeepSeek-V3.2
- ACE:TGC 80.4 / SGC 73.2,Tokens/task 634K
- ALTK-Evolve:TGC 89.3 / SGC 80.4,Tokens/task 263K
gpt-oss-120b
- ACE:TGC 54.8 / SGC 35.7,Tokens/task 777K
- ALTK-Evolve:TGC 56.0 / SGC 37.5,Tokens/task 116K
在較強模型上,ALTK-Evolve以約40%的推理成本實現了更優效能;在較弱模型上,準確率接近(甚至在重複實驗中完全持平在54.8),但token成本僅為ACE的約七分之一。
不同難度任務下的表現差異
按任務難度拆分的結果顯示,不同模型呈現不同規律:
- 在較弱的gpt-oss-120b上,ACE的完整playbook在Easy和Medium任務上更有優勢,因為這些任務更多依賴通用指令遵循,全面提示幫助大於干擾。但在Hard任務上,需要模型從大量資訊中精準挑選合適教訓時,精選檢索(curated retrieval)反而領先,而Hard任務往往決定整體得分。
- 在較強的DeepSeek-V3.2上,規律有所不同:強模型能更好地吸收ACE的完整playbook,但在整體指標上ALTK-Evolve仍保持領先。
成本視角的差異
ACE在構建上下文時注重效率,而ALTK-Evolve的效率優勢體現在服務階段——即推理時的token消耗。透過“每次僅檢索少量相關guideline”而非“每步注入整個playbook”,顯著降低了實際部署成本。這正是交付策略差異帶來的直接結果。
兩者均證明了從自身軌跡中學習的重要性,但ALTK-Evolve在保持相當或更優效能的同時,顯著降低了token開銷,為agentic memory的實用化提供了另一種高效路徑。