搜索文章

输入关键词开始搜索
返回代表作品
Case 062026

用可视化项目评测 AI 编码工具

Vis Agent Bench

通过统一的可视化开发任务,评估 AI 编码 Agent 的完成质量、耗时和人工介入成本。

暂无公开成果画面,下方提供系统架构示意。

同时评估交付结果与完成过程中的人工介入成本。
6 signals
观察指标
3 cases
首批开发任务
Vis Agent Bench 评测工作方式示意,非实测结果
系统架构示意,非成果画面

01 / Context

要解决的问题

要公平比较,各 Agent 拿到的代码、上下文和工具权限得一致,测试项目里也不能留下答案。图表是否好用、布局是否合理,则还需要打开页面检查。

实现与进展

平台已能准备独立的测试项目、运行 Agent、记录过程,并输出自动检查结果、浏览器截图和匿名评审材料。目前的模型样本还少,结论需要继续验证。

02 / System

系统怎样工作

  1. 01

    准备测试项目

    从真实项目里裁出最小的 Fixture,去掉答案、历史补丁,以及各 Agent 拿到的不一样的上下文。

  2. 02

    记录运行过程

    记录耗时、工具调用、Token 用量、失败恢复和人工介入,保留每次运行的产物。

  3. 03

    检查结果

    自动检查代码和页面行为,保存浏览器截图,再由人工匿名评审视觉效果与使用体验。

03 / Decisions

设计中的取舍

01

允许修改和重试

Agent 可以像日常开发一样诊断、修改、测试。评测记录整个过程,包括修复花掉的时间。

02

让报告可以回查

每份报告附带版本、运行记录、截图和评审结果,方便回查结论是怎样得出的。

04 / My work

本人职责

  • 01制定评测指标,选择任务并检查是否泄漏答案
  • 02设计运行器、评测器接口和运行记录格式
  • 03开发主要功能,组织模型试跑并分析结果
AI EvaluationAgent HarnessPlaywrightTelemetryHuman Review