博客研究28 分钟阅读

Karpo-browser:又准又快又省的 System 1 + System 2 浏览器 Agent

karpo-browser 是一个开源的 System 1 + System 2 浏览器 Agent:通用大模型规划目标、读取结果,专为网页训练的决策模型 Karpo Decision 27B Act 在页面上逐步做选择。在 Browserbase Benchmark v2 全部 102 道任务上,准确率 89%,每个任务平均 201 秒、0.096 美元。

Karpo 研究团队

本页目录
  1. 1又准又快又省,为规模化设计
  2. 2现在的浏览器 Agent 又慢又贵
  3. 3Karpo-browser 的做法:System 1 + System 2
  4. 4KBB:开源的网页行动决策评测集
  5. 5Karpo Decision 27B Act:专为网页操作训练的 System 1
  6. 6详细结果
  7. 试用
  8. 参考文献

我们开源了 karpo-browser,一个来自 Karpo 生产实践的浏览器 Agent,借用心理学里“快思考”(System 1)和“慢思考”(System 2)的说法来分工:通用大模型是 System 2,负责理解任务、拆分目标、写要输入的文字、读取结果;决策模型是 System 1,在页面上逐步选择动作,每步一次前向推理,约 1 秒。Karpo 的 Personal Agent 替用户订票、下单、查信息时,用的就是这种方式。

以 DeepSeek V4.1 Flash 为 System 2、Karpo Decision 27B Act 为 System 1,karpo-browser 在 Browserbase Benchmark v2[1] 的全部 102 道任务上取得了以下成绩。

  • 89%:任务准确率,即整件事办成的比例。

  • 201 秒:每个任务的平均耗时,只计 Agent 自身的运行时间。

  • 0.096 美元:每个任务的模型成本。

公开榜单[1]只用官方的 38 道核心任务。在这 38 道上,karpo-browser 8 次运行平均为 84%、218 秒、0.096 美元;准确率 80% 以上、每个任务 250 秒以内、0.15 美元以内,榜单的 91 条记录中没有一条同时做到。和其中准确率 80% 以上的 12 条记录比:准确率在同一档(它们为 84% 到 92%);耗时比其中最快的一条(223 秒)还略短,约为它们中位数(539 秒)的 40%;每美元换来的准确率约为其中最省一条(gpt-6.2-sol + codex)的 4 倍、中位数的 18 倍(Gemini 按促销结束后的原价计)。测法和逐项数据见文末详细结果。框架代码、决策模型权重和评测集都已开源,欢迎试用。和框架一起开源的还有两部分:

  • Karpo Decision 27B Act,框架中 System 1 的模型权重,是 Karpo 决策模型在浏览器任务上的后训练版本

  • KBB(Karpo BrowserBench),只衡量网页行动决策能力的评测集,覆盖 584 个真实网站、23,075 步,答案与真实人类的操作对齐,自带评测工具。

又准又快又省,为规模化设计

Personal Agent 替用户订票、下单、查信息,最后都要落到网页上:读页面,决定点哪里、填什么,判断做完了没有、该不该先问用户。一个任务二十多步,每一步都是一次判断。现在的浏览器 Agent 把每一步都交给通用大模型:模型便宜,单步出错多,二十多步下来错误累积;模型强,每一步又贵又慢。为了解决这些问题,让浏览器 Agent 能在生产环境中规模化应用,我们研发了 karpo-browser:每一步选哪个元素、做什么动作,交给一个专门训练、又快又便宜的决策模型;理解任务、拆分目标、给出要填的值、读取结果,交给通用大模型。

我们使用 Browserbase Benchmark v2[1] 评测了 karpo-browser。这是 Browserbase 的公开榜单,任务都在真实网站上,除了准确率,还评测每个任务的耗时和成本。其他浏览器 Agent 评测大多只看准确率,但在生产环境中,这两项同样重要。

  • 准确:在全部 102 个任务上准确率达到 89%。

  • 成本低:每个任务平均花费 0.096 美元,按公开 API 价折算。榜单上准确率 80% 以上的 12 条记录,最便宜的每个任务 0.39 美元(gpt-6.2-sol + Codex),karpo-browser 约为其四分之一。

  • 速度快:每个任务平均 218 秒;榜单上准确率 80% 以上的 12 条记录,中位 539 秒,最快 223 秒。

  • 适应真实网页:网络出错自动重开,页面没加载完会等,决策期间页面变了不会误点,命令超时不会重复付款,原地打转会被识别并交回通用大模型;这些规则和阈值来自全球大量真实网站上的评测。

现在的浏览器 Agent 又慢又贵

现行框架每一步都由大模型生成

主流浏览器 Agent 框架的做法各不相同,但网页页面上“这一步做什么”,都由通用大模型生成来决定:

  • browser-use[2](1.0):大模型在持久的 Python 环境中写代码,调用 Chrome 调试接口和浏览器辅助函数(Accessibility.getFullAXTree、click_at_xy、type_text、screenshot 等),每个回合写一段、看执行结果、再写下一段。0.x 版本给大模型看带编号的元素列表和截图,每步输出接下来的动作(默认最多 5 个)。

  • Stagehand[3](3.x 的 Agent):大模型每步选择一个工具(ariaTree、act、fillForm、goto、scroll、extract 等);act 再把一句自然语言动作连同无障碍树交给大模型定位元素,一个页面动作常需两次调用。

  • computer-use 模型:看截图,按坐标点击,每步一次多模态推理。

  • 通用编程 Agent(Claude Code、Codex 等):接入浏览器工具,像写代码一样逐步操作网页。

每一步都要大模型读一遍页面、生成一段文字,成本和耗时随步数线性增长。在我们的评测中,通用大模型一个回合约 3.4 秒,平均读约 19.5k 个输入 token、写 476 个输出 token。

大模型又慢又贵,多花也不会更准

公开榜单上的 91 条记录(2026 年 11 月 18 日更新)按准确率分档:

准确率

记录数

中位数(耗时 / 成本)

最快的一条(耗时 / 成本)

最便宜的一条(成本 / 耗时)

85% 以上

10

452 秒 / 1.19 美元

223 秒 / 1.46 美元

0.39 美元 / 267 秒

75% 到 85%

9

552 秒 / 0.85 美元

268 秒 / 0.41 美元

0.12 美元 / 312 秒

60% 到 75%

38

469 秒 / 1.38 美元

200 秒 / 0.05 美元

0.02 美元 / 311 秒

60% 以下

34

469 秒 / 1.05 美元

20 秒 / 0.09 美元

0.01 美元 / 764 秒

各档的中位耗时都在 450 到 550 秒左右,中位成本都在 1 美元上下。准确率与耗时、与成本的秩相关系数都接近 0,耗时与成本之间约为 0.55:多花时间和钱换不来准确率,慢的往往也贵。准确率 60% 以上的记录,最快也要 200 秒;准确率 85% 以上的 10 条中,最慢的一条每个任务 937 秒(gemini-4-carbon + antigravity),最贵的一条 3.07 美元(gpt-6-astra + codex)。成本按榜单当前显示的价格计算,其中 7 条 Gemini 4 记录是 11 月 30 日前的优惠价,之后翻倍。

最强的模型,也只是拿时间和钱换准确率

同一个模型换框架,结果也一样:deepseek-v4.1-flash 配 Eve、Mastra、Deep Agents 三种 Agent 框架(9 月 12 日的记录),准确率 61% 到 63%,耗时 713 到 982 秒,每个任务 0.22 到 0.56 美元。换上最强的模型,准确率上去了,时间和钱也跟着上去:准确率最高的两条,claude-fable-5-2 + claude code 为 92%、每个任务 378 秒、1.24 美元,gpt-6.2-astra + codex 为 89%、223 秒、1.46 美元。

单看每一步的选择,最强的大模型也常出错。在 KBB 上(逐页回放真实网站上的操作,介绍见文末),Claude Fable 5.2 每一步选对 82.1%;一条指令平均 7.6 步,每步都选对的只有 40.8%。KBB 榜单上的四个通用大模型,指令完成率都在 38.1% 到 41.0% 之间,每次页面决策要 2.6 到 5.0 秒、0.009 到 0.083 美元。把每一步都交给它们,错误和花费都随步数累积。

Karpo-browser 的做法:System 1 + System 2

既然问题出在每一步都交给大模型,karpo-browser 就把页面上的逐步操作改由专门训练的决策模型(System 1)完成,通用大模型(System 2)只负责目标和结果。两个模型各做擅长的事,karpo-browser 因此能做到又准、又快、又省。

System 2 规划,System 1 决策

System 2 负责规划目标、获取结果。它把用户的任务拆成一个个目标,给出要填的值,然后交给 System 1。目标写要到达的结果和要遵守的限制,不写控件位置和滚动方式,并停在需要判断的地方:例如让 System 1 停在结果列表,System 2 读完列表,在下一个目标中写明选中哪一项。读列表、比较、汇总、写最终答案,以及跨目标记住信息,也都由 System 2 负责。

System 1 负责在页面上决策每一步操作,它根据当前页面的状态,即带编号的页面清单、截图、这个目标至此的摘要和最近几个动作引起的页面变化,在列出的选项里取概率最高的一个:一次前向推理,约 1 秒,不采样,也不生成文字。它的选项里没有“打开网址”、自由输入或按坐标点击,它也不读长列表、不做比较,要填的字只能来自 System 2 给出的值。这是有意的取舍:选项越确定,模型越快,越不会做出意料之外的操作;代价是需要有人给它目标和值。

事情

谁做

把任务拆成目标

System 2

写要输入的文字(搜索词、表单的值)

System 2

打开网址

System 2

每一步选哪个元素、做什么动作

System 1

往哪个输入框填哪个值

System 1,在 System 2 给的值中选

判断目标是否完成,或为什么做不下去

System 1 判断,System 2 核对

读列表、比较、汇总、写最终答案

System 2

跨目标记住信息

System 2

System 1 停下,System 2 接手

System 1 在两种情况下把控制交回 System 2:它自己选了一个结局,或者 harness 让它停下。结局共 7 种:

结局

含义

DONE 完成

页面显示目标已达到;提交类目标须看到确认信息,点了按钮不算

NEEDS_FROM_PERSON 问本人

下一步需要只有本人能给的东西:未提供的值、登录、发给本人的验证码、被拒后的另一张卡

NEEDS_APPROVAL 需要批准

下一步是付款、预订、发送、取消等不可撤销的动作,而目标没有允许

SITE_CANNOT 网站做不到

售罄、无可订时段、网站不提供该服务

BLOCKED 被拦住

网站拒绝该浏览器,或验证处理后仍无法通过

PAGE_UNUSABLE 页面不可用

刷新后仍是错误页,或要操作的部分读不了也点不了

OTHER_FAILURE 其他失败

做不下去,且不属于以上原因

harness 让它停下的情况有 4 种:判定原地打转;达到每个目标 150 步或 600 秒的上限;调用方叫停;自身出错。因此共有 11 种结束方式,返回给调用方的状态与结局用同一组词。

System 1 停下后,System 2 收到一份固定四段的报告:如何结束;停在哪个页面,用了几步几秒;最近 5 个动作及其引起的页面变化;最后读到的页面(最多 400 行)。它据此接手,不必再读一遍页面:

  • 判断完成时:System 1 的“完成”只是它的判断,System 2 对照页面核对,再交下一个目标,或给出答案。

  • 搞不定时:结局说明了为什么停下,System 2 据此决定换个目标再交给 System 1、询问用户,还是如实报告;也可以用 click、type、select、scroll、back 等亲自操作。亲自操作时用的是同一份带编号的页面清单和同一套执行代码,全任务默认最多 15 次。

System 2 另有 open(打开网址)、read_page(读当前页面)、finish(交答案)等工具。回合用完时只保留 finish,任务一定以答案结束。

Harness:省回合、选得准、做得稳

Harness 是 karpo-browser 中模型以外的代码。System 1 只做选择,不生成文字,也不记事。读页面、把页面整理成带编号的选项、执行选中的动作、算出动作带来的变化、记住这一轮发生过什么,都由 harness 完成。System 2 可以由 karpo-browser 直接调用一个通用大模型来担任,也可以换成开发者自己的 Agent。两种情况下,System 2 都通过 harness 提供的工具打开网址、读页面,把目标交给 System 1。总体上,harness 的价值在三处:

一是替 System 2 省下回合。

  • harness 在两个模型之间传递目标和结果:一个目标交出去,System 1 逐步做完,harness 把过程汇总成上面那份报告交回。System 2 不必为每个页面动作花一个回合,省下的时间和成本见下文“实测分工情况”。

二是让 System 1 读得少、选得准

  • 把网页写成带编号的清单:合并 DOM 快照(布局、绘制顺序、样式、是否可点击)与完整的无障碍树,每行为“编号 角色 名字 [状态] href=…”。只给能操作的元素编号;被遮住、被裁掉、在模态弹窗之后的元素不写;补上无障碍树漏掉的可点击元素,如用 div 充当的按钮;按当前屏幕、屏幕上方、屏幕下方分成三段。截图只拍当前屏幕,缩到 768 像素宽。

  • 控制请求大小:一次请求最多约 32,000 token、每道题最多 255 个选项,放不下时按优先级取舍:屏幕内整段保留,屏幕外写成摘要。屏幕外的元素写进请求就照样可选,被选中时先滚进屏幕再点。实际每次请求输入的中位数为 7.3k 到 7.7k token(含截图)。

  • 动作的效果由代码算出:每次读页面算出一个页面状态标识;每个动作后比较前后两次读到的页面,把变化写在该动作下方;回到读过的页面时,在试过的元素后面标出上次的结果。System 1 不记事,也能知道刚才的动作有没有用。

System 1 读到的页面清单(示意,行格式与真实请求一致):

viewport (scrolled 629/2373px):
  banner
    4 link 首页 href=/
    search
      5 button 目的地:地区、车站或餐厅 [expanded=false]
  heading 填写预订信息
  text 每位需预付 5,000 日元订金。
  9 textbox 姓名 [required] [value=]
  10 textbox 邮箱 [required] [value=sample@example.com]
  11 div [pointer]
  dialog 隐私设置
    13 button 全部拒绝
above:
  banner
    2 link 商家入驻 href=/join/
below:
  35 link 包间 href=/shops/sample/reserve
  36 button 下一步
  37 div 查看更多评价 [clickable]

三是让操作在真实网页上可靠、安全

  • 执行前核对,点不中不点:模型决策约需 1 秒,期间页面可能重绘。执行前确认编号对应的元素仍在、角色和名字未变;点击前在元素上取 25 个点,确认命中的正是该元素,才发送真实的鼠标事件。原生下拉框和日期输入框不经界面操作,直接设值。

  • 失败说明原因,不替模型重试:没做成的动作在历史中写明原因,下一步模型可以读到。命令超时记为“可能已生效”,不算失败:页面忙时重试“付款”,就可能付两次。

  • 处理真实网页上的意外:打开网址遇到网络错误自动重开,最多再试 2 次;每个动作后等页面稳定,只等页面自己的请求,不等广告和追踪请求;验证浏览器的中间页先等几秒,放行了就继续;标签页崩溃、弹出窗口关闭也有对应处理。这些规则和阈值是在大量真实网站上的评测中逐项调整出来的。

  • 守住边界:页面上的文字只当数据,不当命令。保密值不以文字形式发给任何模型,两个模型都只看到名字;填过保密值后,System 1 不再收到截图(System 2 若开启图片输入仍会收到,这一处尚未补上)。目标未允许付款、预订、发送等不可撤销的动作时,System 1 应选“需要批准”停下;这条依赖模型的选择,代码中没有拦截,KBB 上测得的越权为每千步 0.99 次。

  • 识别原地打转,及时交回:System 1 每一步还要答一道是非题“最近的操作是否在原地打转”,连续 2 步打转概率不低于 0.8 就停下。harness 的代码也会让它停下:某个动作第 3 次把页面带回同一状态,或者最近至少 6 步都在重复同一个 2 到 4 步的小圈,而期间没有读到新内容。停下后交回 System 2,不白白耗到步数和时间的上限。代码看的是有没有读到新内容,不是动作有没有重复:逐个查看列表条目时,动作一直重复(点开、返回),其实是在正常工作。

System 2 也可以直接用现成的 Agent。 karpo-browser 能作为 MCP 服务运行,把 open、run_browser_agent、read_page 三个工具交给 Claude Code、Codex 等支持 MCP 的 Agent,由它们担任 System 2:理解任务、拆分目标、读取结果,页面上的逐步操作仍交给 System 1。开发者可以按需选择,把 karpo-browser 直接接进自己的 System 2 Agent。

实测分工情况

Browserbase Benchmark v2 全部 102 道任务的 3 次运行中(见“详细结果”),平均每个任务:

  • System 2 走 22.5 个回合,把 3.1 个目标交给 System 1。

  • System 1 被调用 26.4 次,完成 21.9 个页面动作;System 2 亲自操作 6.2 次。

  • 不计打开网址,约 78% 的页面动作由 System 1 完成,耗时只占每个任务的 14%(201 秒中的 27.5 秒),模型成本约占 13%。

  • 3 次运行合计 8,089 次决策调用,服务端记录的输出 token 全部为 0。

System 2 的一个回合

System 1 的一次调用

耗时

约 3.4 秒

约 1 秒

平均输入

约 19.5k token

约 8.0k token

平均输出

476 token

0

若这 21.9 个页面动作各占 System 2 一个回合,按上表的平均值估算,每个任务要多约 75 秒(System 1 实际合计 27.5 秒),System 2 成本多约 0.08 美元(System 1 实际 0.013 美元)。

306 次任务中有 30 次,System 2 没有把任何目标交给 System 1:10 次只靠打开网址和读页面,20 次由它自己点击或输入。

KBB:开源的网页行动决策评测集

现有评测缺什么

判断一个浏览器 Agent 能否用于生产,评测要回答四个问题:在真实网站上能否把事办成;每个任务花多少钱、多少时间;结果能否复现,不同系统能否比较;失败时错在哪一步。付款、提交这类不可撤销的步骤,Agent 是停下请求批准还是擅自执行,也需要测到。现有的榜单和评测集,各自只回答其中一部分:

评测

网站

可复现

成本与耗时

判分

Browserbase Benchmark v2[1]

活网站

否

每条记录公布

整个任务;Browserbase 的评分程序按细则判定

Online-Mind2Web[4](136 个网站、300 个任务)

活网站

否

部分榜单报总成本,不报耗时

整个任务;评分模型 WebJudge(与人工一致率约 85%)或人工

WebVoyager[5](15 个网站、643 个任务)

活网站

否

不计

整个任务;评分模型或人工

Mind2Web[6](137 个网站、2,350 个任务)

2023 年的页面快照

是

不计

逐步;比对众包标注的元素与操作

WebArena[7]、VisualWebArena[8]

自建仿站

是

不计

整个任务;程序检查结果

KBB(584 个网站、23,075 步)

真实网站上录制,离线回放

是

计入总分

逐步;答案与真实人类对齐,含七种结局

端到端评测说明事情办没办成,但难以复现,也难以互相比较。 网站持续变化,同一系统两次运行面对的页面并不相同;结果由评分模型判定,运行方和评分方式一变,数字随之大幅变动。Online-Mind2Web 上,普林斯顿 HAL 的第三方复现最高为 42.33%[9],且已暂停添加新模型;厂商自报最高为 97%,用的是自己的评分模型;同一个 Agent,人工评分为 78.7%,WebJudge 为 64.7%[10]。不同评测集的任务难度不同,耗时和成本也无从比较。因此本文只在同一张榜内比较,每种配置重复运行。

被引用最多的榜单,测的主要是编程 Agent。 Browserbase Benchmark v2 准确率 89% 以上的 5 条记录,全部来自 Claude Code、Codex 和 Antigravity,每个任务 0.51 到 1.46 美元、223 到 937 秒。编程 Agent 是开发者在本机交互使用的生产力工具,每个任务都带着读写文件、执行命令的整套编程工具;它们的排名回答的是最强的模型配最强的编程 Agent 能做到多准。产品后端要的是另一回事:嵌入服务,同时处理大量用户的任务,每个任务的成本和耗时可预期。为产品设计的浏览器框架在榜上很少:browser-use 未列入,Stagehand 自己的 Agent 只有 4 条;Browserbase 的 Online-Mind2Web 榜单[11]只有 10 条,均为 Stagehand 自己的 Agent。浏览器框架的成绩多为自测,browser-use 公布的模型对比用的是它自己的 180 个任务[12],由其自行运行。我们没有找到按同一批任务、同一个大模型比较浏览器框架,并同时报告准确率、成本和耗时的评测。

端到端评测看不出错在哪一步,也很少考不可撤销的步骤。 一个任务二十多步,失败可能源于其中任何一步;只看最终结果,无法定位,也无法逐项改进。付款、提交在活网站上不能真的执行,多数评测回避这类任务;ClawBench 拦截最后一次提交请求,使下单、提交能做到最后一步,但仍只判最终结果,目前的最好成绩是宽松标准 44.6%、严格标准 24.6%[13]。

KBB 补的是可复现和逐步诊断,并把成本、时延和越权计入评测。它的局限是回放沿录制时的路径,量不到 Agent 走偏后自行纠正,这一点仍要靠端到端评测。因此我们用两层评测:Browserbase Benchmark v2 衡量整件事是否办成、花多少钱和时间,KBB 衡量每一步是否选对。

KBB 的评测方法论

KBB(Karpo BrowserBench)只衡量网页行动决策能力:每一步是否选对。KBB 每一步的请求就是录制时发出的那一个,只补了两个时间。

  • 规模:KBB 1.0 有 584 个真实网站、787 道任务、3,026 条指令、23,075 步,按品牌家族分为两部分:私有部分 15,000 步,用于排名;公开部分单独计分。

  • 逐页离线回放:把真实网站上录下的过程切成一页一步,逐页回放。每一步给模型的是录制时 System 1 看到的内容:目标、可填的值、已做的动作、页面文字和截图,以及该页所有可选动作(中位数 99 个)和七种结局。无论模型选什么,下一步都是录制时的下一页,每个模型面对完全相同的页面。交给 System 1 的一个目标为一条指令,平均 7.6 步。

  • 每一步都算数:一条指令每一步都选对才算完成。

  • 成本和速度计入总分:总分为完成率乘以成本系数和时延系数:成本和单次决策时延各有预算(每条指令 0.0063 美元、每次决策 444 毫秒),超出部分给完成率打折。

  • 答案与真实人类对齐:判定标准是一个替别人办这件事的明白人,此时会不会这样做。人工标注 5,000 步作为基准,其余为合成标注,与人工标注的一致率超过 95%。

  • 自带评测工具:模型打分器用 KBB 的答案集给被测模型逐步打分,算出完成率和每步准确率。

不同模型在 KBB 上的表现

System 1 每一步都要选对,还要快、要便宜。我们用 KBB 比较不同模型担任 System 1 的表现:KBB 把真实网站上录下的操作逐页回放,每一步给模型的就是 System 1 在 karpo-browser 中收到的那种请求,一条指令每一步都选对才算完成(介绍见文末)。下表为私有部分,共 1,794 条计分指令;榜单数字取自 2026 年 11 月 17 日的 KBB 页面。

模型

完成率

每步准确率

每条指令成本

时延中位数

榜单上的四个通用大模型

38.1% 到 41.0%

79.2% 到 82.1%

0.069 到 0.635 美元

2,579 到 4,952 毫秒

Karpo Decision 27B Act

35.5%

78.5%

0.0039 美元

931 毫秒

榜单上完成率最高的决策模型

28.8%

70.5%

0.015 美元

测法不同,不列

  • 通用大模型选得准,但又贵又慢:每条指令 0.069 到 0.635 美元,每次决策 2.6 到 5.0 秒。

  • 通用决策模型便宜,但在网页上不够准:榜单上 25 个决策模型,每条指令的成本都低于最便宜的通用大模型,完成率最高只有 28.8%。它们只读页面文字,通用大模型还看截图,差距部分来自于此。

  • Karpo Decision 27B Act 接近通用大模型的准确率,成本仍是决策模型的量级:完成率 35.5%,高于榜单上所有决策模型;比四个通用大模型低 2.6 到 5.5 个点,每条指令成本为它们的 1/18 到 1/163(自部署系统按 KBB 的统一算法:RTX PRO 6000,每卡每小时 1.80 美元)。

  • 越权少:做出目标未允许的付款、提交,每千步 0.99 次;榜单上的决策模型为 4.20 到 13.22 次,四个通用大模型为 0.61 到 1.91 次。

  • 按 KBB 的总分公式为 33.7%:成本在预算以内,时延约为预算的 2.1 倍;按榜单目前对自部署系统的测法(同时发 4 个请求)为 30.4%。榜单现有系统的最高总分为 28.7%。总分公式会给贵和慢的系统打折,本身对小模型有利。

Karpo Decision 27B Act:专为网页操作训练的 System 1

Karpo Decision 27B Act是 karpo-browser 的 System 1。它和 11 月 13 日发布的 Karpo Decision 31B[14] 一脉相承:同样一次前向推理,在给定选项中直接读出概率,不生成文字;请求接口和 readout head 的读出方式相同。训练起点是 Karpo Decision 27B,Karpo 的通用决策模型,没有单独发布;它与 Karpo Decision 31B 用同一版通用决策数据、同样的方法训练,Karpo Decision 27B 基于 Qwen3.8-27B 这个自带视觉编码器的多模态模型进行后训练。

动作空间:每一步是一道选择题

选项按页面清单中带编号的元素生成,写成“操作 编号”,比如 CLICK 5。

对单个元素的动作:

动作

作用

哪些元素有

CLICK n

点击

可点击的元素,输入框也有

FILL n

往输入框填一个值

能编辑的输入框,只读的没有

PRESS_ENTER n

在输入框里按回车

输入框

SELECT n

选下拉框里的一项

原生 <select>,只给这一个动作,不会去点开它

SCROLL_DOWN n / SCROLL_UP n

滚动

能滚动的区域,能往哪个方向滚就给哪个;n = 1 指整页

对整个页面的动作:

动作

作用

WAIT

等页面加载完或变化完

ESCAPE

按 Esc,关掉弹窗或菜单

REFRESH

刷新页面

SOLVE_CAPTCHA

交给调用方配置的验证处理程序

BACK

回到上一页,或回到打开这个标签页的页面

最后是上文的 7 种结局。等待和刷新是动作,不是结局。KBB 中每一步可选的页面动作,中位数是 99 个。在其中一次运行里,System 1 选择的 2,653 步中,点击占 46%,向下滚动 18%,完成 9%,等待 9%,填写 7%。

FILL 和 SELECT 各拆成两道题:这一步只决定操作哪个输入框或下拉框,追问再决定填哪个值或选哪一项。填写时,选项是 System 2 所给各值的编号;下拉框时,选项是它自身的各项;两者都另加“都不合适”。追问原为单独一次调用。一个默认关闭的开关把屏幕内最多 3 个输入框或下拉框的追问并入同一请求,一次前向推理全部答完,每个任务省下 2 到 3 次调用;这种写法不在训练数据中,所以默认关闭,Browserbase Benchmark v2 的运行中开启了它。

训练数据:真实网站上的录制

训练数据来自真实网站上的录制:人和模型一起在真实的消费类网站上完成任务,录下每一步的请求(页面文字、可填的值、之前的动作)、截图和所做的选择。只收通过复核的页面:用保存的页面数据重新读取,组出的请求须与录制时完全相同。

标签与真实人类的操作对齐:人在真实网站上的操作是基准,数量更多的合成标注由一个更大的通用大模型给出,并向人工数据对齐。模型学的是在相同页面、相同选项上做出相同的选择。

  • 网页数据共 290,998 条序列(205,909 条带截图),551,102 道选择题。

  • 网站涵盖旅行、购物、餐饮、票务、景点等消费类别,以英语网站为主,也有日本、韩国、德国、法国等地的网站。

  • 另混入通用决策题,占总题数的 20%,以保持通用决策能力。

  • 同一品牌的站点归为一个品牌家族;留出 59 个家族,整族不参加训练,只在训练中定期用于验证。

KBB 的任务、指令和页面不进入训练数据。KBB 所用网站的品牌家族在训练集中,因此 KBB 考的是这些网站上的新任务,而非未见过的网站。

训练、KBB 评测和 karpo-browser 运行时,模型收到的是同一种请求。KBB 考的也是在真实网站上录下的请求,只多了两个时间字段。harness 组装请求的代码是从录制时用的程序移植来的。移植后我们用 899 次录制中保存的 15,005 个页面回放核对,harness 组装出的 15,379 个请求与录制时逐字符相同。所以 KBB 上的成绩能代表模型在 karpo-browser 里的表现。

训练方法:带截图全量微调

  • 全量微调,不生成文字:学习目标是每道题在本题选项上的交叉熵。训练 1 个 epoch,共 8,395 步,学习率 2e-6,单机 8 卡约 17 小时。

  • 带截图训练:录制时做选择的通用大模型看的是页面文字加截图,KBB 的判定原则也规定文字与截图不一致时以截图为准。起点模型此前只用文字训练过,这是它第一次带图训练,因此冻结视觉编码器,投影层与语言模型一起训练。

  • 截图规格随机:截图随机缩放到 768 到 1,440 像素宽,JPEG 质量在 50 到 95 之间随机。

  • 约五分之一的步骤请求去掉截图:追问本就不带图。同一个模型因此在有图、无图时都能工作,填过保密值后不发截图时不会失灵。录制时填过保密值后同样不再发送截图,因此 KBB 的 23,075 步中有 4,122 步没有截图,判定原则专门规定“没有截图,按文字判断”。

多卡训练时遇到一个问题:某张卡在某一步拿到的全是无图序列时,视觉投影层在该卡上没有梯度,多卡梯度同步会卡住。解决办法是让无图批次也以零权重经过一次投影层。

Model Fusion:融合不同阶段的 checkpoint

Model Fusion 是训练后的融合步骤:三个 checkpoint 权重的均匀平均,再按 0.7 比 0.3 与起点模型 Karpo Decision 27B 混合,平均后的权重占 0.7。三个 checkpoint 是第 7,500 步、第 8,000 步和最后一步。训练时学习率不衰减,最后一段模型在来回波动,留出集上最好的是第 7,556 步,而不是最后一步。学习率不衰减时,平均训练轨迹上的多个点,泛化通常比只取最后一点更好[15]。混回起点是 WiSE-FT[16] 的做法:把微调后的权重与起点权重线性插值,据报道在分布变化时准确率明显更高,原任务上的准确率也能保住。融合后的模型还是一个普通模型,结构、参数量和推理开销都没有变。

模型

KBB 完成率

每步准确率

留出集损失

通用决策题(抽样)

起点 Karpo Decision 27B

27.6%

67.0%

0.792

76.21

训练最后一步的 checkpoint

34.1%

77.6%

0.328

73.47

Model Fusion

35.3%

78.3%

0.282

74.49

KBB 按全部 2,748 条计分指令计算,前文的 35.5% 和 78.5% 只算私有部分。留出集是同一批 11,740 道题,通用决策题是 15% 的抽样。表中 Model Fusion 一行就是这次发布的 Karpo Decision 27B Act。

  • KBB 完成率比最后一步的 checkpoint 高 1.2 个点,留出集损失从 0.328 降到 0.282,在 8 个候选中最低。

  • 提升主要来自混回起点:只混回起点、不做平均,KBB 完成率就高 1.3 个点(配对检验 p = 0.004)。再平均三个 checkpoint,KBB 上没有进一步差别(p = 0.69),留出集损失从 0.299 降到 0.282。

  • 混回起点也保住了一部分通用决策能力:在通用决策题的抽样上,最后一步的 checkpoint 比起点低 2.7 分,Model Fusion 低 1.7 分。通用决策任务请使用 Karpo Decision 31B。

详细结果

核心指标

指标

karpo-browser

对照

说明

Browserbase Benchmark v2 准确率,全部 102 道任务

89%

榜单只公布 38 道核心任务的成绩,对照见下文

此前公布的三次单次成绩分别为 91%、84%、83%。

Browserbase Benchmark v2 每个任务的耗时

201 秒

—

只计 Agent 自身的运行时间,3 次平均

Browserbase Benchmark v2 每个任务的模型成本

0.096 美元

—

口径见下文;按实际 GPU 机时为 0.11 到 0.14 美元

Online-Mind2Web 准确率,300 道任务

72.3%

榜单第一 84.1%,第二 72.3%

跑 1 次,WebJudge 评分

Online-Mind2Web 每个任务的耗时

125 秒

准确率 70% 以上的记录:180 到 285 秒

只计 Agent 自身的运行时间

Online-Mind2Web 每个任务的模型成本

0.048 美元

榜单上最便宜的记录 0.058 美元

计费口径同 Browserbase Benchmark v2

System 1 单次决策耗时(中位)

0.95 秒

同一批运行中 System 2 一个回合约 3.4 秒

RTX PRO 6000,开启了推理优化,见下文

System 1 完成的页面动作

约 78%

—

Browserbase Benchmark v2;不计打开网址,占每个任务耗时的 14%、模型成本的 13%

Browserbase Benchmark v2 结果

Browserbase Benchmark v2 衡量整件事是否办成:给出一句话的任务,在真实网站上完成并交出答案,由评分程序按预先写好的细则判定。我们的测法和与榜单的差异:

  • 任务集:官方任务集共 102 道,其中核心集 38 道[17],榜单每条记录为核心集跑 1 次。

  • 评分:使用 Stagehand 开源评测程序(2026 年 11 月 10 日的版本,加上接入 karpo-browser 的补丁),按每道题预置的评分细则(含 v1.2 补充说明)判定,评分模型为程序默认的 gemini-3.5-flash。

  • 计时:只计 Agent 自身的运行时间,不含评分;每个任务限时 450 秒。我们没有找到榜单对计时边界的说明。

  • 推理:System 1 部署在 RTX PRO 6000 上,用 fp8 推理,并开启 CUDA graphs。3 次运行共 8,089 次决策调用,单次决策耗时的中位数约 0.95 秒,在 harness 端计时,含网络往返。

  • 费用:模型成本 = System 2 按 OpenRouter 当天的公开价和实际 token 计算 + System 1 按每百万输入 token 0.06 美元折算。Karpo Decision 27B Act 的价格取自同尺寸的基座模型在 OpenRouter 上的输入价,只作比较。不含 Browserbase 浏览器的费用(每个任务约 0.33 到 0.38 美元)和评分的费用。

下表上半部分节选自公开榜单(2026 年 11 月 18 日更新,91 条记录):准确率最高的几条、与我们准确率或成本最接近的几条,以及与我们 System 2 所用模型同名的一条,名称照榜单原样,每条为 38 道核心任务跑 1 次。最后一行为自测。

模型 + harness

准确率

耗时

每个任务的成本

任务和次数

claude-fable-5-2 + claude code

92%

378 秒

1.242 美元

38 道核心任务,1 次

gemini-4-carbon + antigravity

90%

937 秒

1.130 美元(11 月 30 日前的优惠价,之后 2.261 美元)

38 道核心任务,1 次

gpt-6.2-astra + codex

89%

223 秒

1.457 美元

38 道核心任务,1 次

claude-opus-5-5 + claude code

89%

326 秒

0.510 美元

38 道核心任务,1 次(9 月测得)

gpt-6.2-sol + codex

87%

267 秒

0.386 美元

38 道核心任务,1 次

gpt-6.1-terra + codex

79%

312 秒

0.117 美元

38 道核心任务,1 次

deepseek-v4.1-flash + eve

63%

713 秒

0.304 美元

38 道核心任务,1 次(9 月测得)

DeepSeek V4.1 Flash × Karpo Decision 27B Act + karpo-browser

84%

218 秒

0.096 美元

38 道核心任务,8 次平均(自测)

  • 成本约为准确率 80% 以上记录的四分之一:榜单上准确率 80% 以上的 12 条记录中,最便宜的是 gpt-6.2-sol + codex,87%、267 秒、0.386 美元。相邻 79% 一档最便宜的是 gpt-6.1-terra + codex,0.117 美元、312 秒;按实际 GPU 机时,我们为 0.11 到 0.14 美元,与之相当。

  • 比我们快的记录都不如我们准,比我们便宜的也一样:比 218 秒快的记录有 6 条,准确率最高 66%;比 0.096 美元便宜的有 11 条,准确率最高 74%(gpt-6-luna + codex,0.023 美元、311 秒;claude-haiku-5-5 + claude code,0.068 美元、307 秒)。准确率 75% 以上的记录中,最快的是 gpt-6.2-astra + codex 的 223 秒,最便宜的是 0.117 美元。

Online-Mind2Web 结果

Online-Mind2Web[4] 是另一个在活网站上评测整件事的评测集,有 136 个网站上的 300 个任务。我们用 Hugging Face 上的新版题目(31 道改写过题面,含 3 道要访问 amazon.com 的题),两个模型与 Browserbase Benchmark v2 相同,harness 设置相近,每题跑 1 次(2026 年 11 月 19 日),用论文推荐的 WebJudge 评分,评分模型为 GPT-6 Luna。

Browserbase 也公布了 Online-Mind2Web 榜单[11](2026 年 11 月 18 日更新,10 条记录,都是 Stagehand 自己的 Agent,hybrid 或 cua 模式)。榜单注明这些结果是在 Stagehand v3 上测得的,只作参考保留,最新成绩以 Browserbase Benchmark v2 为准。把我们的结果放进去:

模型 + harness

准确率

耗时

每个任务的模型成本

claude-opus-4-8(hybrid)

84.1%

260 秒

1.156 美元

DeepSeek V4.1 Flash × Karpo Decision 27B Act + karpo-browser

72.3%

125 秒

0.048 美元

gpt-5.5(hybrid)

72.3%

285 秒

1.730 美元

gemini-2.5-computer-use(cua)

71.3%

180 秒

0.273 美元

claude-opus-4-7(cua)

66.3%

142 秒

1.221 美元

gemini-3-flash-preview(cua)

65.3%

209 秒

0.063 美元

claude-sonnet-4-6(cua)

62.7%

387 秒

1.850 美元

claude-sonnet-4-5(cua)

57.3%

339 秒

1.498 美元

claude-haiku-4-5(cua)

54.0%

213 秒

0.468 美元

gpt-5.4(cua)

40.7%

108 秒

0.474 美元

gpt-5.4-mini(cua)

24.3%

62 秒

0.058 美元

  • 准确率并列第二:72.3%,与 gpt-5.5(hybrid)相同,只低于 claude-opus-4-8(hybrid)的 84.1%。

  • 成本最低:每个任务 0.048 美元,低于榜上所有记录;准确率相近的 gemini-2.5-computer-use 每个任务 0.273 美元,约为我们的 6 倍,gpt-5.5 为 1.730 美元,约 36 倍。

  • 速度快:每个任务 125 秒,比我们快的只有 gpt-5.4(108 秒,40.7%)和 gpt-5.4-mini(62 秒,24.3%)。

这个对照只作参考,两边的条件不同:我们用 WebJudge 跑满 300 题,榜单没有写评分方法和题数,Stagehand 评测程序的默认设置是抽 25 题、每题跑 3 次,用它自己的评分模型;成本只算模型费用,不含云浏览器(每个任务约 0.21 美元);耗时按真正跑起来的 296 道题计算,theweathernetwork.com 的 4 道题经 Browserbase 的美国代理一直重定向、打不开,在准确率中按失败计。3 道 amazon.com 的题都通过了。

试用

参考文献

  1. Browserbase. Browser Agent Evals: Browserbase Benchmark v2. 2026.

  2. Browser Use. browser-use. GitHub, 2026.

  3. Browserbase. Stagehand. GitHub, 2026.

  4. Xue, T. et al. An Illusion of Progress? Assessing the Current State of Web Agents. arXiv:2504.01382, 2025.

  5. He, H. et al. WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models. ACL 2024.

  6. Deng, X. et al. Mind2Web: Towards a Generalist Agent for the Web. NeurIPS 2023.

  7. Zhou, S. et al. WebArena: A Realistic Web Environment for Building Autonomous Agents. ICLR 2024.

  8. Koh, J. Y. et al. VisualWebArena: Evaluating Multimodal Agents on Realistic Visual Web Tasks. ACL 2024.

  9. Princeton HAL. Online Mind2Web leaderboard. 2026.

  10. Steel. Online-Mind2Web leaderboard. 2026.

  11. Browserbase. Browser Agent Evals: Online-Mind2Web. 2026.

  12. Browser Use. Benchmarks. 2026.

  13. TIGER-AI-Lab. ClawBench leaderboard. 2026.

  14. Karpo. Karpo Decision 31B:又快又准的多模态决策模型. 2026.

  15. Izmailov, P. et al. Averaging Weights Leads to Wider Optima and Better Generalization. UAI 2018.

  16. Wortsman, M. et al. Robust fine-tuning of zero-shot models. CVPR 2022.

  17. Browserbase. HardBench task set. GitHub, 2026.

继续阅读

博客 →
  • 研究

    Karpo Decision 31B:又快又准的多模态决策模型

    Karpo Decision 31B 是基于 Gemma 4 31B 的决策模型:给定一个 state 和一组标明题型的题,一次推理答完所有题。Decision Index Full 分 73.9,榜单第一;JevBench Capability Score 87.2,243 个 Jev-class 开源模型中排名第三;中位延迟 95 ms。