Hugging Face Blog·· 8 天前精选AI 评分73
Microsoft ThinkingBox 评测：智能体称已完成，数据库记录却不符
The Agent Said It Was Done. The Database Disagreed.
AI 导读
Microsoft ThinkingBox 在 507 个有状态业务工作流中各运行 20 次，以后端最终状态和副作用评估 AI 智能体的成功率与一致性。共同任务集消融实验中，67.24% 的失败尝试仍正常结束、调用了修改状态的工具且未报告最终工具错误；Claude Opus 5.5 与 Claude Opus 5 均有 241 个任务通过全部 20 次尝试。
推荐理由
通过核验数据库终态并重复运行同一任务，这项评测提供了区分智能体单次成功与持续可靠的方法，可用于设计业务工作流评估。
来源：Hugging Face Blog · huggingface.co