给 Agent 建一套能力评测:先把「不会」和「没时间」分开
搭一套能力评测的完整过程:axis A 用 2× / 4× 预算把 16 道 0 分题拆成 time-bound、环境和能力三类;三层评测(L1 契约 / TB2 外部基准 / A–H 能力阶梯)各回答一个问题;场景是数据(scenario.json + fixture + verify + prepare 钩子),执行可换后端(host / docker / harbor),验证器跑完才注入隐藏测试,失败按 harness → environment → product_bug → time_bound → verification_strictness → capability_gap 的顺序归因;以及踩过的几个坑(workflow 异步启动、全过时 L50 不可拟合、docker 只读挂载冲突、goal 只能走 TUI)。附录是八条轴在 v0.5.14 上的实测结果。
阅读文章