智能体说任务已完成,数据库却表示反对
2026-10-05 · Hugging Face
智能体说任务已完成,数据库却表示反对
微软 ThinkingBox 与 Hugging Face 联合推出了一项新的 AI 智能体基准测试。该基准测试的核心主张是:评估 AI 智能体不应仅看其生成的句子或工具调用是否格式正确,而应检查其在后端数据库中留下的最终状态和副作用,并验证其能否连续 20 次稳定完成任务。目前该工具已通过 Hugging Face 开放。
工具调用不等于最终结果
文章通过一个零售客户服务案例说明了这种评估差距。一位客户的 745 美元厨房电器在快递中心滞留 15 天,处于“异常”状态。AI 智能体进行了 9 次看似完美的工具调用:拉取订单、查看追踪信息、检索退款政策、确认无现有工单并创建新工单等。然而,智能体最终将工单状态设为“已解决”,而实际要求的状态应为“挂起”。客户也没有得到关于其问题的真正答复。
ThinkingBox 测量的正是这种表面成功与实际后端状态之间的鸿沟。在涵盖 12 个大模型的 121,680 次有效试验中,有 79,853 次未通过可执行检查。其中 67.24% 的失败案例在表面上干净终止且无报错。但检查发现:
- 77.61% 的案例存在错误字段值
- 43.30% 的案例产生了意外的额外副作用
- 25.36% 的案例缺失必需的效果
轨迹只是声明,数据库状态才是证据。
一次成功不等于可靠性
一个智能体如果只正确处理了一次退款,而在接下来的四次中处理不当,就不能算作可用的退款智能体。为了衡量真正的可靠性,ThinkingBox 对每个任务在相同的干净后端环境中独立运行 20 次,并报告三个不同的指标:
- pass@1:所有尝试的成功比例,回答“通常表现如何”。
- pass@20:在 20 次尝试中至少成功一次的任务比例,回答“是否具备完成能力”。
- Observed 20/20:在 20 次记录尝试中全部通过的任务数量,回答“是否能始终保持正确”。
基准测试结果
ThinkingBox-Bench 在零售、汽车保险、旅行、新银行和咨询五个领域对 507 个有状态业务工作流进行了评估。在 pass@1 指标下,结果呈现出明显的层级:
- 专有模型:Claude Opus 5.5 以 67.16% 的综合任务加权得分领先,略高于 Claude Opus 5(66.50%)和 GPT-5.4(65.36%)。
- 开源模型:Kimi-K3 表现最强,综合得分 57.37%,接近 GPT-6 Astra 等专有模型。
结果表明,不同领域的表现差异显著。重复测试是检验 AI 智能体信任度的最终标准。用户可通过 OpenEnv 运行该基准测试以评估自己的模型。