智慧體說任務已完成,資料庫卻表示反對
2026-10-05 · Hugging Face
智慧體說任務已完成,資料庫卻表示反對
微軟 ThinkingBox 與 Hugging Face 聯合推出了一項新的 AI 智慧體基準測試。該基準測試的核心主張是:評估 AI 智慧體不應僅看其生成的句子或工具呼叫是否格式正確,而應檢查其在後端資料庫中留下的最終狀態和副作用,並驗證其能否連續 20 次穩定完成任務。目前該工具已透過 Hugging Face 開放。
工具呼叫不等於最終結果
文章透過一個零售客戶服務案例說明了這種評估差距。一位客戶的 745 美元廚房電器在快遞中心滯留 15 天,處於“異常”狀態。AI 智慧體進行了 9 次看似完美的工具呼叫:拉取訂單、檢視追蹤資訊、檢索退款政策、確認無現有工單並建立新工單等。然而,智慧體最終將工單狀態設為“已解決”,而實際要求的狀態應為“掛起”。客戶也沒有得到關於其問題的真正答覆。
ThinkingBox 測量的正是這種表面成功與實際後端狀態之間的鴻溝。在涵蓋 12 個大模型的 121,680 次有效試驗中,有 79,853 次未透過可執行檢查。其中 67.24% 的失敗案例在表面上乾淨終止且無報錯。但檢查發現:
- 77.61% 的案例存在錯誤欄位值
- 43.30% 的案例產生了意外的額外副作用
- 25.36% 的案例缺失必需的效果
軌跡只是宣告,資料庫狀態才是證據。
一次成功不等於可靠性
一個智慧體如果只正確處理了一次退款,而在接下來的四次中處理不當,就不能算作可用的退款智慧體。為了衡量真正的可靠性,ThinkingBox 對每個任務在相同的乾淨後端環境中獨立執行 20 次,並報告三個不同的指標:
- pass@1:所有嘗試的成功比例,回答“通常表現如何”。
- pass@20:在 20 次嘗試中至少成功一次的任務比例,回答“是否具備完成能力”。
- Observed 20/20:在 20 次記錄嘗試中全部透過的任務數量,回答“是否能始終保持正確”。
基準測試結果
ThinkingBox-Bench 在零售、汽車保險、旅行、新銀行和諮詢五個領域對 507 個有狀態業務工作流進行了評估。在 pass@1 指標下,結果呈現出明顯的層級:
- 專有模型:Claude Opus 5.5 以 67.16% 的綜合任務加權得分領先,略高於 Claude Opus 5(66.50%)和 GPT-5.4(65.36%)。
- 開源模型:Kimi-K3 表現最強,綜合得分 57.37%,接近 GPT-6 Astra 等專有模型。
結果表明,不同領域的表現差異顯著。重複測試是檢驗 AI 智慧體信任度的最終標準。使用者可透過 OpenEnv 執行該基準測試以評估自己的模型。