要公平比较,各 Agent 拿到的代码、上下文和工具权限得一致,测试项目里也不能留下答案。图表是否好用、布局是否合理,则还需要打开页面检查。
实现与进展
平台已能准备独立的测试项目、运行 Agent、记录过程,并输出自动检查结果、浏览器截图和匿名评审材料。目前的模型样本还少,结论需要继续验证。
用可视化项目评测 AI 编码工具
通过统一的可视化开发任务,评估 AI 编码 Agent 的完成质量、耗时和人工介入成本。
暂无公开成果画面,下方提供系统架构示意。
同时评估交付结果与完成过程中的人工介入成本。
01 / Context
要公平比较,各 Agent 拿到的代码、上下文和工具权限得一致,测试项目里也不能留下答案。图表是否好用、布局是否合理,则还需要打开页面检查。
实现与进展
平台已能准备独立的测试项目、运行 Agent、记录过程,并输出自动检查结果、浏览器截图和匿名评审材料。目前的模型样本还少,结论需要继续验证。
02 / System
从真实项目里裁出最小的 Fixture,去掉答案、历史补丁,以及各 Agent 拿到的不一样的上下文。
记录耗时、工具调用、Token 用量、失败恢复和人工介入,保留每次运行的产物。
自动检查代码和页面行为,保存浏览器截图,再由人工匿名评审视觉效果与使用体验。
03 / Decisions
Agent 可以像日常开发一样诊断、修改、测试。评测记录整个过程,包括修复花掉的时间。
每份报告附带版本、运行记录、截图和评审结果,方便回查结论是怎样得出的。
04 / My work