AutoSynthData:為企業智慧體生成訓練資料
2026-10-03 · Hugging Face
AutoSynthData:為企業智慧體生成訓練資料
企業需要能夠在其自身環境中良好執行的智慧體。即使模型具備廣泛的能力,也可能在特定環境中遇到困難,例如處理不佳的工作流、誤用工具組合或未能遵守約束。將這些弱點轉化為訓練資料是提升模型能力的關鍵。為此,ServiceNow CoreAI 團隊開發了 AutoSynthData,旨在將能力缺口轉化為訓練資料。
什麼是有效的智慧體任務?
智慧體環境定義了智慧體執行的世界,包括可觀察和修改的狀態、可呼叫的工具和 API 以及動作產生的狀態轉換。在此環境中例項化的任務可以用以下抽象表示:`任務 = (系統規範, 使用者提示, 驗證器)`。
系統規範
系統規範定義了智慧體執行的約束條件,包括系統指令、環境策略以及特定任務的初始化(如資料庫狀態或知識文章)。規範必須與環境相容,指令應清晰,避免人為製造難度的任意約束。
面向智慧體的任務
使用者提示指定了使用者希望智慧體完成的目標及使用者級約束。生成的任務需滿足三個屬性:
- 可行性:在當前環境中至少存在一條滿足使用者提示且遵守系統規範的軌跡。這排除了依賴不可用工具或違反策略的任務。
- 真實性:使用者提示應類似於使用者在目標環境中實際可能提出的要求。
- 難度:任務應暴露當前智慧體的弱點。已經能可靠解決的任務提供的訓練訊號較少。
驗證器
驗證器用於判斷軌跡是否成功完成任務,需滿足三個屬性:
- 一致性:應與使用者提示、系統規範和任務特定環境狀態保持一致。
- 可靠性:應拒絕未滿足任務或違反約束的軌跡。
- 完整性:應接受有效解決方案,而不是僅編碼某一種參考軌跡。
AutoSynthData 概述
給定環境和目標模型,AutoSynthData 會生成由系統規範、使用者提示和驗證器組成的訓練任務。這些任務基於環境,旨在為當前模型提供有用的訓練訊號。
AutoSynthData 首先使用診斷任務評估目標模型,識別其難以完成的任務模式。更強的教師模型幫助判斷哪些任務可解決以及成功行為的樣子。AutoSynthData 將這些能力缺口轉化為新的可執行任務,在環境中檢查每個任務,並使用透過的樣本進行後訓練。評估更新後的模型可揭示剩餘缺口,指導下一輪生成。
從模型失敗到課程學習
AutoSynthData 利用目標環境中的評估執行來識別模型下一步需要學習的內容。在 EnterpriseOps Gym 實驗中,團隊在評估任務上執行目標模型和教師模型,以識別:
- 正在測試的能力
- 涉及的工具和工作流結構
- 目標模型失敗及教師模型成功的原因
- 正確最終狀態必須滿足的屬性
- 在保持測試能力不變的情況下可變化的維度
這些發現被提煉為“淨化能力規範卡”。生成器不接收原始評估任務的提示、實體或軌跡,而是根據這些卡片建立具有不同提示、狀態和解決路徑的新任務。
生成和擴充套件任務
識別能力缺口告訴我們“教什麼”,但訓練需要大量多樣化的任務來練習該能力。AutoSynthData 使用規範卡來生成這些任務,從而實現規模化訓練。隨著模型的改進,課程會轉向模型仍然覺得困難的部分,形成持續最佳化的閉環。