想要 ACE?我们可以更少 token 实现

2026-08-20 · Hugging Face

想要 ACE?我们可以更少 token 实现

背景与核心问题

当给大型语言模型(LLM)代理分配现实的多步任务(如分账、找歌、在九个模拟应用间协调订单)时,失败通常并非因为缺乏API知识,而是因为无法可靠地使用这些知识。模型知道API的规格,却没有内化“如何可靠使用”的模式。这些模式可以从代理自身的过往轨迹中学习。

近期两个系统——ACE(Agentic Context Engineering)和IBM Research提出的ALTK-Evolve——都在同一类代理上实现了这一目标。两者均属于agentic memory,将代理过去的行为轨迹转化为可复用的教训(lessons),在推理时反馈给模型,无需更新权重,也无需人工标注。

两者达成的共识

尽管命名不同,但两个系统在核心理念上高度一致:拒绝压缩。

  • ACE 明确指出了两个风险:brevity bias(优化过程倾向于生成简短、泛化的指令)和context collapse(模型在每步重写整个上下文时会丢失细节)。其解决方案是维护一个丰富、条目化的playbook,每个bullet都带有helpful/harmful计数器,让模型在读取时自行提炼相关信息。
  • ALTK-Evolve 从另一角度得出相同结论:每条独立guideline都保留support count(有多少独立episode产生了它),绝不将记忆库坍缩为少量规则。一条被五个不同任务验证的教训与仅出现一次的教训是不同对象,两者都值得保留。

因此,在“是否应该将代理辛苦获得的教训压缩成整洁摘要”这一核心问题上,ACE和ALTK-Evolve给出了相同答案:不应该。应当计数,而非坍缩。ACE的per-bullet计数器与我们的support count是同一理念的不同表述。

两者的关键差异

两者主要在两个维度存在差异:记忆的构建方式(Consolidation)和交付方式(Delivery)。而真正影响token消耗的是交付方式。

1. 构建方式(Consolidation)

ACE采用Generator → Reflector → Curator循环,通过增量delta更新和embedding去重来生长单一playbook。它会对近似教训进行聚类并在簇内合并,合并时会继承所有教训的累计support count,从而在缩小存储规模的同时保留经验强度。

ALTK-Evolve同样提取类型化的guideline(strategy、recovery、optimization),并提供因果归因和指向源轨迹的provenance,且粒度细化到subtask级别,使在某个应用上学到的教训能够迁移到其他应用。

2. 交付方式(Delivery)——决定token账单的关键

ACE的策略是在每个推理步骤都注入完整的、不断演化的playbook,对模型和任务不做区分。

ALTK-Evolve则将交付视为一个可调节的“旋钮”而非常量:

  • 使用少量固定高支持度的核心guideline;
  • 针对当前任务,通过余弦相似度或LLM引导的方式检索少量相关guideline(按优先级加权);
  • 当模型有足够能力时,也可使用完整合并后的集合。

相同的教训对两个系统都可用,区别在于ACE始终发送全部内容,而ALTK-Evolve只发送当前模型实际能有效利用的数量。

实验结果(AppWorld基准)

使用相同的ReAct代理,在相同实验设置下对比两者表现:

DeepSeek-V3.2

  • ACE:TGC 80.4 / SGC 73.2,Tokens/task 634K
  • ALTK-Evolve:TGC 89.3 / SGC 80.4,Tokens/task 263K

gpt-oss-120b

  • ACE:TGC 54.8 / SGC 35.7,Tokens/task 777K
  • ALTK-Evolve:TGC 56.0 / SGC 37.5,Tokens/task 116K

在较强模型上,ALTK-Evolve以约40%的推理成本实现了更优性能;在较弱模型上,准确率接近(甚至在重复实验中完全持平在54.8),但token成本仅为ACE的约七分之一。

不同难度任务下的表现差异

按任务难度拆分的结果显示,不同模型呈现不同规律:

  • 在较弱的gpt-oss-120b上,ACE的完整playbook在Easy和Medium任务上更有优势,因为这些任务更多依赖通用指令遵循,全面提示帮助大于干扰。但在Hard任务上,需要模型从大量信息中精准挑选合适教训时,精选检索(curated retrieval)反而领先,而Hard任务往往决定整体得分。
  • 在较强的DeepSeek-V3.2上,规律有所不同:强模型能更好地吸收ACE的完整playbook,但在整体指标上ALTK-Evolve仍保持领先。

成本视角的差异

ACE在构建上下文时注重效率,而ALTK-Evolve的效率优势体现在服务阶段——即推理时的token消耗。通过“每次仅检索少量相关guideline”而非“每步注入整个playbook”,显著降低了实际部署成本。这正是交付策略差异带来的直接结果。

两者均证明了从自身轨迹中学习的重要性,但ALTK-Evolve在保持相当或更优性能的同时,显著降低了token开销,为agentic memory的实用化提供了另一种高效路径。

原文链接