AutoSynthData:为企业智能体生成训练数据
2026-10-03 · Hugging Face
AutoSynthData:为企业智能体生成训练数据
企业需要能够在其自身环境中良好运行的智能体。即使模型具备广泛的能力,也可能在特定环境中遇到困难,例如处理不佳的工作流、误用工具组合或未能遵守约束。将这些弱点转化为训练数据是提升模型能力的关键。为此,ServiceNow CoreAI 团队开发了 AutoSynthData,旨在将能力缺口转化为训练数据。
什么是有效的智能体任务?
智能体环境定义了智能体运行的世界,包括可观察和修改的状态、可调用的工具和 API 以及动作产生的状态转换。在此环境中实例化的任务可以用以下抽象表示:`任务 = (系统规范, 用户提示, 验证器)`。
系统规范
系统规范定义了智能体运行的约束条件,包括系统指令、环境策略以及特定任务的初始化(如数据库状态或知识文章)。规范必须与环境兼容,指令应清晰,避免人为制造难度的任意约束。
面向智能体的任务
用户提示指定了用户希望智能体完成的目标及用户级约束。生成的任务需满足三个属性:
- 可行性:在当前环境中至少存在一条满足用户提示且遵守系统规范的轨迹。这排除了依赖不可用工具或违反策略的任务。
- 真实性:用户提示应类似于用户在目标环境中实际可能提出的要求。
- 难度:任务应暴露当前智能体的弱点。已经能可靠解决的任务提供的训练信号较少。
验证器
验证器用于判断轨迹是否成功完成任务,需满足三个属性:
- 一致性:应与用户提示、系统规范和任务特定环境状态保持一致。
- 可靠性:应拒绝未满足任务或违反约束的轨迹。
- 完整性:应接受有效解决方案,而不是仅编码某一种参考轨迹。
AutoSynthData 概述
给定环境和目标模型,AutoSynthData 会生成由系统规范、用户提示和验证器组成的训练任务。这些任务基于环境,旨在为当前模型提供有用的训练信号。
AutoSynthData 首先使用诊断任务评估目标模型,识别其难以完成的任务模式。更强的教师模型帮助判断哪些任务可解决以及成功行为的样子。AutoSynthData 将这些能力缺口转化为新的可执行任务,在环境中检查每个任务,并使用通过的样本进行后训练。评估更新后的模型可揭示剩余缺口,指导下一轮生成。
从模型失败到课程学习
AutoSynthData 利用目标环境中的评估运行来识别模型下一步需要学习的内容。在 EnterpriseOps Gym 实验中,团队在评估任务上运行目标模型和教师模型,以识别:
- 正在测试的能力
- 涉及的工具和工作流结构
- 目标模型失败及教师模型成功的原因
- 正确最终状态必须满足的属性
- 在保持测试能力不变的情况下可变化的维度
这些发现被提炼为“净化能力规范卡”。生成器不接收原始评估任务的提示、实体或轨迹,而是根据这些卡片创建具有不同提示、状态和解决路径的新任务。
生成和扩展任务
识别能力缺口告诉我们“教什么”,但训练需要大量多样化的任务来练习该能力。AutoSynthData 使用规范卡来生成这些任务,从而实现规模化训练。随着模型的改进,课程会转向模型仍然觉得困难的部分,形成持续优化的闭环。