要公平比较，各 Agent 拿到的代码、上下文和工具权限得一致，测试项目里也不能留下答案。图表是否好用、布局是否合理，则还需要打开页面检查。
做成了什么
平台已能准备独立的测试项目、运行 Agent、记录过程，并输出自动检查结果、浏览器截图和匿名评审材料。目前的模型样本还少，结论需要继续验证。
允许修改和重试
Agent 可以像日常开发一样诊断、修改、测试。评测记录整个过程，包括修复花掉的时间。
返回代表作品评测工程 / AI 研发效能2026
Case 062026
用可视化项目评测 AI 编码工具
Vis Agent Bench
给不同 Agent 同一道可视化开发任务，记录完成质量、耗时和需要人工介入的地方，看看它们究竟能帮上多少忙。
成果画面待补
除了能不能做出来，我们也想知道中间需要人帮多少忙。
- 6 signals
- 观察指标
- 3 cases
- 首批开发任务
01 / Context
要解决的问题
02 / System
系统怎样工作
- 01
准备测试项目
从真实项目里裁出最小的 Fixture，去掉答案、历史补丁，以及各 Agent 拿到的不一样的上下文。
- 02
记录运行过程
记录耗时、工具调用、Token 用量、失败恢复和人工介入，保留每次运行的产物。
- 03
检查结果
自动检查代码和页面行为，保存浏览器截图，再由人工匿名评审视觉效果与使用体验。
03 / Decisions
设计中的取舍
让报告可以回查
每份报告附带版本、运行记录、截图和评审结果，方便回查结论是怎样得出的。
04 / Our work
我们的职责
角色：我们负责评测方法和平台开发，包括任务选择、运行器、结果检查和报告。
- 01制定评测指标，选择任务并检查是否泄漏答案
- 02设计运行器、评测器接口和运行记录格式
- 03开发主要功能，组织模型试跑并分析结果
AI EvaluationAgent HarnessPlaywrightTelemetryHuman Review