评测基准即将发布

Karpo BrowserBench

面向浏览器 agent 的评测基准:给定一个真实网页和一项任务,模型下一步的判断做得有多好?

真实网站
任务来自人们真正在用的网站,而不是为测试专门搭的页面。
逐步评分
既看任务最后有没有做成,也给过程中的每一步判断打分。
面向决策模型和 agent
它是我们衡量 Karpo 浏览器 agent 和 Karpo Decision 模型的那把尺子。

任务、方法和第一批结果会发布在这里。

先去看看博客