热点事件历史事件
微软推出ThinkingBox智能体评测基准
1 篇报道1 个报道来源8 天前更新
先了解这件事
报道摘要
Microsoft ThinkingBox 在 507 个有状态业务工作流中各运行 20 次，以后端最终状态和副作用评估 AI 智能体的成功率与一致性。共同任务集消融实验中，67.24% 的失败尝试仍正常结束、调用了修改状态的工具且未报告最终工具错误；Claude Opus 5.5 与 Claude Opus 5 均有 241 个任务通过全部 20 次尝试。
摘自 Hugging Face Blog
报道时间线
沿着报道，了解事件的不同侧面。
10月4日
- Hugging Face Blog精选Microsoft ThinkingBox 评测：智能体称已完成，数据库记录却不符
Microsoft ThinkingBox 在 507 个有状态业务工作流中各运行 20 次，以后端最终状态和副作用评估 AI 智能体的成功率与一致性。共同任务集消融实验中，67.24% 的失败尝试仍正常结束、调用了修改状态的工具且未报告最终工具错误；Claude Opus 5.5 与 Claude Opus 5 均有 241 个任务通过全部 20 次尝试。