评测基准即将发布
Karpo BrowserBench
面向浏览器 agent 的评测基准:给定一个真实网页和一项任务,模型下一步的判断做得有多好?
- 真实网站
- 任务来自人们真正在用的网站,而不是为测试专门搭的页面。
- 逐步评分
- 既看任务最后有没有做成,也给过程中的每一步判断打分。
- 面向决策模型和 agent
- 它是我们衡量 Karpo 浏览器 agent 和 Karpo Decision 模型的那把尺子。
任务、方法和第一批结果会发布在这里。
评测基准即将发布
面向浏览器 agent 的评测基准:给定一个真实网页和一项任务,模型下一步的判断做得有多好?
任务、方法和第一批结果会发布在这里。