我们发布了 Karpo Decision 31B,一个基于 Gemma 4 31B 的原生多模态决策模型,我们在多个权威评测集上拿到 SOTA 的成绩,在智力、成本、速度上对比 JEV 1.14 和其他开源、闭源模型有显著优势。给定一个 state(一个网页、一张工单、一份文档)和一组标明题型的题,Karpo Decision 31B 可以支持在一次推理中得到多道题目的答案,适用于判断、工单处理、安全审核、检索排序等等这类高频延迟敏感的场景。我们已经将权重开放到 Hugging Face 上,欢迎试用。
73.9:Decision Index Full 分,在榜单 300 个模型中排名第一。
87.2:JevBench Capability Score,榜单 243 个 Jev-class 开源模型中排名第三。
95 ms:公开集全部 140,217 个请求上的中位延迟,一张 RTX PRO 6000,一次一个请求。

Decision Index 榜单(Full 分):Karpo Decision 31B 在 300 个模型中排名第一。
除了 31B,我们还开源了 0.8B、2B、4B、9B 和 12B 五个参数量的模型,组成 Karpo Decision 模型家族。下图是各个参数量在 DI 公开 37 项上的得分,灰点是榜单上同一参数量档位的其他模型。
又快又准,概率可信
Personal Agent 识别用户模糊意图、帮用户做推荐、搜索和决策,替用户操作浏览器,每走一步都要先做一个判断。识别意图时要判断用户那句含糊的话到底想要什么、该直接去做还是先问一句,推荐时要判断这个商品满不满足用户的要求,搜索时要判断一条结果和用户的需求有多相关,决策时要判断任务完成了没有、某个工具该不该调,操作浏览器时要判断这个页面上该点哪个元素。这些判断的速度和准确率直接决定 Agent 响应快不快、任务做不做得成。Karpo Decision 31B 就是为这类判断做的,它又快又准,还支持多模态输入:
榜单第一:Decision Index Full 分 73.9,在榜单 300 个模型中排名第一;Jev 1.14 的 Full 分是 60.2。
快速推理:使用一张 RTX PRO 6000 部署推理,Decision Index 评测集的中位延迟是 95 ms;榜单上 Jev 1.14 的中位延迟是 196 ms。
一次多题:一个请求里可以问任意多道题,每道题独立作答;题越多,摊到每道题上的时间越少。
多模态输入:原生支持多模态输入,请求里可以直接带图片,由视觉编码器读入,和文字一起判断。
长上下文:单条序列默认最长 32k token,最长支持 256k 上下文窗口。
答案合法,概率可信:答案一定是选项之一,每个答案都有校准过的概率。我们在 JevBench 公开题上的 ECE(expected calibration error)为 0.023。
开源可部署:权重和推理代码都已公开,一张 RTX PRO 6000 即可部署,接口兼容 System One API。
| Benchmark | Karpo Decision 31BOpen weights | Gemini Decision 1Decisions API | TypeSafe Jev 1.14 | GPT-6 LunaOpenAI Decisions API | ||
|---|---|---|---|---|---|---|
| Key benchmarks | JevBench | Public split | 92.2% | 92.2% | 90.0% | 90.9% |
| Amazon ESCI | Macro-F1 | 64.7% | 58.7% | 56.7% | 54.7% | |
| New Yorker Caption | Text-only | 90.5% | 79.7% | 72.0% | 68.4% | |
| Mind2Web Multimodal | 90.0% | 86.2% | 86.8% | 81.8% | ||
| PubMedQA | 79.2% | 79.8% | 78.2% | 74.4% | ||
| Global-MMLU-Lite | Non-English | 85.2% | 86.0% | 85.0% | 79.6% | |
| When2Call | 90.4% | 79.9% | 82.0% | 70.4% | ||
| MMAU | — | 71.8% | — | — | ||
| Video-MME | No subtitles | — | 69.1% | — | — | |
| Calibration | Top-1 ECE | Lower is better | 0.023 | 0.0250 | 0.0494 | 0.0721 |
Karpo Decision 31B figures are our own runs; ESCI, New Yorker and When2Call are independently reproduced by the Jev Decision Index: huggingface.co/spaces/multimodalart/jev-decision-index
在 Personal Agent 最常做的三类判断上,Karpo Decision 31B 领先 Gemini Decision 1
Agent 的行动判断:When2Call 考的是该调工具、该追问还是该停手,Karpo Decision 31B 90.4%,Gemini Decision 1 79.9%。Mind2Web 考的是网页上下一步该点哪个元素,90.0% 对 86.2%。这两项决定 Agent 会不会下错单、点错地方。
理解言外之意:New Yorker Caption 要从五句配文里选出属于这幅漫画的那一句,90.5% 对 79.7%。用户对 Agent 说的话很少是完整指令,要靠语气和上下文判断他想要什么。
细粒度业务分类:Amazon ESCI 要分清一件商品对搜索词是完全符合、可以替代、是配件还是不相关,macro-F1 64.7% 对 58.7%。Agent 替用户挑东西时,难的就是把替代品和配件分开。
Karpo Decision 31B 支持三种题型:
from huggingface_hub import snapshot_download
from karpo_decision.decider import Decider
decider = Decider.from_pretrained(snapshot_download("MachinePulseAI/karpo-decision-31B"), device="cuda")
response = decider.decide({
"state": "Order 1182: the customer asks to return a blender bought 45 days ago. Policy: returns within 30 days.",
"questions": {
"eligible": {
"type": "noul",
"instructions": "Is the return eligible under the policy?"
},
"action": {
"type": "choice", "instructions": "What should the agent do?",
"criteria": {
"refund": "Issue a full refund", "decline": "Politely decline the return",
"escalate": "Escalate to a supervisor"
}
},
"urgency": {
"type": "score", "instructions": "How urgent is this ticket?",
"criteria": ["Low", "Medium", "High"]
},
},
})
print(response["answers"])模型设计
Readout head:直接读出选项概率
每道题的选项用 option code(A、B……Z、AA……)标记,后面跟一个 readout marker。Readout head 在 readout marker 上给 255 个 option code 打分,只在这道题自己的选项之间归一化。请求里的每道题都在同一次前向推理里答完,没有解码。
实现上有三个细节:
Option code 都是校验过的单个 token:option code 从 tokenizer 里挑,并确认它在各种情况下都是同一个单独的 token。模型在选项上看到的标号,和读出概率时用的是同一个 token。
Readout head 从 LM head 起步:readout head 的每一行,用底座 LM head 里该 option code 的 token 对应的那一行初始化,并保留底座的 logit softcap。模型从一开始就认得这些标号。Geuter 等人同样用答案字母在 LM head 里的行来初始化决策头[2]。
训练时打乱选项顺序:LLM 做选择题时偏爱某些选项标号[3],所以在训练时,只要 choice 题的选项顺序本身没有含义,就随机排列进行多次训练。
Joint multi-question:一次推理答完所有题
一个请求由一份 state 和任意多道题组成,编码成一条序列:先是全部题的题目清单,然后是 state,最后是每道题的选项和 readout marker。
页面只读一遍:在浏览器 agent 里,一个页面常常超过 10k token,一道题只有几十个 token。每道题分开问,页面每次都得重读。
模型读之前就知道要问什么:题目清单排在最前,模型是带着问题读 state 的。
不会悄悄截断:超过 32k token 的请求会拆成几段,每段都带完整的共享内容和完整的题目清单。单道题本身放不下时,请求会明确报错。
Branch attention:多题共享计算独立作答
序列分成两部分:一个 shared block(系统设定、题目清单、state),以及每道题各自的 branch(题目、选项、readout marker)。Branch 能看到 shared block 和它自己,看不到别的 branch;shared block 只能看到它自己。每个 branch 的 position id 都从 shared block 末尾重新起算,所以每道题看到的 state,和单独问它时完全一样。在 global layer 里,attention 在 token 的可见范围内是双向的;sliding-window layer 仍是因果的。
这样多道题一起问,state 只算一次,每道题却和分开问时一样,看不到别的题的选项。检索和排序最需要这一点,因为这两类任务要逐个评判许多候选。
大部分工程量花在训练时的实现上:
预先规划:每个 packed batch 只规划一次,定下每个 branch 的 query、它可读的 shared block KV,以及它自己的 KV。所有层和激活重计算都共用这份规划。
梯度精确:branch 读 shared block 的 KV 时,backward 把每个 branch 的梯度精确地累加回 shared block。训练和推理跑的是同一套可微的前向计算。
Sliding-window layer:用 FlashAttention 4 的 varlen kernel,整个 batch 一次调用,query 和 key 各自带边界;每个 branch 能看到 shared block 末尾的 1,023 个 token。在 B300 上一个 30k token 的 branch 布局里,forward + backward 从 14.7 ms 降到 8.5 ms。
Global layer:head dim 为 512,超出了 FlashAttention 支持的 256。我们用 cuDNN 的新一代 attention kernel,按长度分桶预编译,并用 front padding 保证梯度精确。在 16k token 的 batch 上,forward + backward 比 memory-efficient attention 快约 4 倍。
数值精度:输出和梯度与参考实现一致,误差在 bf16 的舍入范围内。
决策模型容易过拟合
决策任务的题型、选项格式和答案分布都比较固定。模型在训练里见多了,就能靠熟悉这些格式在公开评测上拿高分,到了新的领域却答不好。
Decision Index 的榜单上能看到这一点(私有题的分数都换算到了公开分的尺度)。公开分并列最高的 mammoth-1 是 75.3,换到同类技能的私有题上只有 66.0,新领域的私有题是 72.1,Full 分 68.4。公开分前十的模型,从公开题换到同技能的私有题,平均掉 6.8 分。Karpo Decision 31B 掉 4.3 分,是这十个里最少的;它的新领域私有题是 78.6,Full 分 73.9。
我们自己的训练里也出现过同样的现象。下面是同一条训练线上的四个 checkpoint,公开分来自我们内部的批量评测工具:
训练阶段 | DI 公开 37 项 | 内部评测集 |
|---|---|---|
早期 | 73.15 | 72.1% |
中期 | 73.94 | 71.3% |
后期 | 74.25 | 69.8% |
终点 | 75.09 | 70.7% |
公开分一路上涨,陌生领域准确率却最多下滑了 2.3 个点,模型整体也越来越自信。Decision Index 现在的排名只看私有题:同技能题占 60%,新领域题占 40%。只追公开分,排名会吃亏。
基于 RSI 的训练
每一轮怎么做
Karpo Decision 31B 用 RSI(recursive self-improvement)的方式训练。这是一个按轮次跑的循环:每一轮训练一批候选模型,逐个打分,挑出一部分融合成一份权重,再和当前模型比较,赢了才替换。
这个循环的每个决定,都尽量用模型训练时没见过的题来做:
打分:每个候选模型都在两类题上打分。一类是公开集,衡量同类技能;另一类是陌生领域评测集(见下一章),这些题都没有用于训练。两者按 6:4 加权,和 Full 分的比例一样。
融合:每轮把几个 checkpoint 融合成一份权重,见下一节。
晋升:融合后的模型要在加权分上超过当前模型,才能替换它。
产出这次发布的那一轮,候选模型来自两种训练范式(全参数微调和 LoRA)和多个训练阶段。五个 checkpoint 的融合在加权分上胜出,Karpo Decision 31B 是第一个这样晋升的模型。
发布之后,我们给这个循环加了两条规矩:
验收标准在开跑前定好。
比较两个配方时,每组尽量跑两个随机种子,差距在多次运行的波动以内就算打平,不替换。
之后的候选都没有过这一关,包括在发布的权重上继续训练、调整融合权重和换训练配方。
Model Fusion:融合不同阶段和范式的 checkpoint
Model Fusion 是 RSI 循环里的融合步骤:一个 model soup[7],即五个 checkpoint 权重的均匀平均。其中三个来自前面表格里那条全参数微调训练线,两个来自另一条 LoRA[8] 训练线,低秩更新先并入权重再平均。早期 checkpoint 泛化更好,后期 checkpoint 更专精;跨阶段平均能保留两者的长处,有工作在同一次推理能力微调的早期、后期两个 checkpoint 上报告过这一点[9]。加入 LoRA 训练线是为了多样性:据报道,LoRA 比全参数微调学得少,也忘得少[10];不同训练线的 checkpoint 之间,差异比同一条训练线上的更大,这对权重平均有利[11]。融合后的模型还是一个普通模型,结构、参数量和推理开销都没有变。
模型 | DI 公开 37 项 | 内部评测集 | 推理开销 |
|---|---|---|---|
最强的单个 checkpoint | 75.09 | 70.7% | 1× |
Model Fusion(五个 checkpoint) | 75.07 | 72.3% | 1× |
本节的公开分来自我们内部的批量评测工具。表中 Model Fusion 一行就是这次发布的模型,官方评测工具跑出的是 75.0。
公开分持平,陌生领域高 1.6 个点。
在公开集上,它与终点 checkpoint 持平,比参与融合的另外四个高 0.8–2.5 分。
在我们比较的七个候选模型里,没有一个在知识准确率或安全判断上超过融合后的模型。
概率校准
决策模型除了要选对,还要知道自己有多大把握。概率准了,agent 就可以在阈值以上自动执行,阈值以下交给人。
RLCD:Karpo Decision 31B 用 RLCD(Reinforcement Learning for Calibrated Decisions[12])训练。奖励是作用在模型整条概率分布上的 strictly proper scoring rule,只有如实报告把握,奖励才最高。标签有分歧时,训练目标保留分布,不压成一个答案。只看对错的奖励不够:先思考、再输出决策的 LLM,用这种奖励做强化学习,准确率会提高,却仍然极端过度自信;直接在决策概率上再加一项损失,这种极端的过度自信就消除了[13]。
按题型校准 temperature:训练后,每种题型在 held-out set 上单独拟合一个 temperature。
基率变化:校准是在测量时的基率下成立的。部署时基率一变,置信度就会漂移,固定的阈值也不再是原来的含义[14]。这次发布的模型不做基率校正。调用方有一个不需要标签的办法:EM 先验校正,用模型在参考数据上的平均预测代替它的先验[14];我们尚未在 Karpo Decision 31B 上测量过。
我们自己跑的结果里,JevBench 公开题上的 ECE(expected calibration error)为 0.023。在 JevBench 榜单上,Karpo Decision 31B 的 Calibration 轴得 94.1 分,在 261 个上榜模型中排名第二;这是另一项指标,越高越好(见“详细结果”)。
陌生领域评测集:10 个大类,283 个小类
这套评测集由我们内部构建和维护,按领域分成 10 个大类、283 个小类,都没有用于训练。挑选发布的模型时只用了其中一部分,文中表格里的“内部评测集”成绩就是在这一部分上测的;其余的是发布之后新建的,没参与选型,相当于盲测。
在整套评测集上,Karpo Decision 31B 的平均准确率是 65.5%,Jev 1.14 是 60.8%,10 个大类全部领先。拆开看,选型用过的那部分上是 72.4% 对 67.6%,没参与选型的那部分上是 61.7% 对 57.2%,领先幅度在盲测上基本保持。
经验教训
决策模型在训练过程中过拟合有三个已知的来源:
这三种情况我们都遇到过。
单次运行的差距,常常只是随机种子:同一个配方换一个随机种子,内部评测集上的准确率就差了 1.4 个点(72.05% 对 70.62%)。现在比较两个配方时,每组尽量跑两个随机种子,差距在这个量级以内就算打平。
选型用过的评测集,成绩会偏高:我们用内部评测集的一部分挑选了发布的模型,所以这部分上的成绩带着挑选的偏差。发布后我们又新建了一批没参与选型的数据集来做盲测(见上一章)。
只在公开集上涨分的改动,要先怀疑是过拟合:比如把每个请求的选项倒过来再读一遍,两次结果取平均。在之前的 checkpoint 上,这样做公开分涨了 0.07–0.16,陌生领域没有变化,中位延迟却从 94 ms 涨到 162 ms。发布的模型只读一遍。
复杂的融合方法没有更好:TIES[16]、DARE[17]、按层缩放微调增量[18],都没有明显胜过均匀平均。用进化搜索按层组调融合系数[15],搜索用的那几百道题上分数涨了,换到留出的题上没有涨,搜索本身过拟合了。
调融合权重的收益,在波动以内:我们试了六种组合:给五个成员换不同权重,或者替换、加入成员。陌生领域上是 72.4–72.7%,均匀平均是 72.3%。其中四种跑了公开集,得分 74.80–74.99,均匀平均是 75.07。差距都在随机种子的波动以内,我们按打平处理,保留均匀平均。
融合之后不再接着训:在发布的权重上继续训练,几次尝试的公开分都比原来低。
推理优化
决策请求对延迟敏感。在 Decision Index 公开集的全部请求上(一张 RTX PRO 6000,bf16,一次一个请求),中位延迟 95 ms,p80 245 ms。约 80% 的请求不到 1k token,中位延迟 83 ms。延迟随长度增长:在下文的抽样请求上,超过 8k token 的请求(10k token 的页面属于这一类)bf16 下平均 6.1 s,最快的路径平均 3.6 s。模型一张卡即可部署,接口兼容 System One API。
一次前向推理,没有解码:所有题的概率在一次前向推理里同时读出,输出 token 数为零。最后一层 global attention 只在 readout marker 上计算,不算整条序列。
跨题共享 KV:shared block 的 KV 每个请求只算一次,所有 branch 直接复用,每道题只多算自己的 branch。一个请求里题越多,摊到每道题上的开销越小:同样是 1k–4k token 的请求,问一道题中位延迟 371 ms,问 16–63 道题是 653 ms。
变长 packing,不做 padding:多条序列首尾相接,打包进一次前向推理,用 varlen attention,彼此不可见。60 层里有 50 层只看最近 1,024 个 token,所以长请求的 attention 开销和 KV 显存主要来自另外 10 层 global attention。在 B200/B300 上,sliding-window layer 可以切到 FlashAttention 4 的 varlen kernel,global layer 可以切到 cuDNN 的新一代 attention kernel。
FP8 与 CUDA graph:模型的线性投影层以 FP8 运行;单题请求回放服务启动时录制的 CUDA graph,省掉逐个 kernel 的启动开销。显存峰值从 80 GB 降到约 60 GB;公开集全量得分 75.0,与 bf16 持平。
为 global layer 写的 Triton kernel:Gemma 4 的 global layer 用 head dim 512,RTX PRO 6000(sm_120)上没有支持它的 fused attention kernel,只能退回 memory-efficient attention,成了长请求的主要开销(32k token 时占一半 GPU 时间)。我们用 Triton 为这些层写了 flash-attention 的 forward:global attention 的速度提高到原来的 1.8–2 倍,32k token 的请求从 10.4 s 降到 8.0 s。答案的变动只有 bf16 噪声的量级(99.8% 的首选答案相同)。
从公开集分层抽样 2,000 个请求,一张 RTX PRO 6000,一次一个请求:
推理路径 | 中位 | 平均 | p80 | p95 | 吞吐 |
|---|---|---|---|---|---|
bf16 | 94 ms | 278 ms | 239 ms | 603 ms | 4,577 tok/s |
FP8 + CUDA graph | 74 ms | 201 ms | 152 ms | 382 ms | 6,344 tok/s |
FP8 + CUDA graph + Triton global attention | 73 ms | 179 ms | 148 ms | 362 ms | 7,100 tok/s |
三种推理路径,每一种都在前一种的基础上叠加
单个请求的延迟
毫秒,越低越好
- bf16
- FP8 + CUDA graph
- FP8 + CUDA graph + Triton global attention
- 中位一半请求比它快
- 947473
- 平均
- 278201179
- p8080% 的请求比它快
- 239152148
- p9595% 的请求比它快
- 603382362
每秒 token 数(吞吐)
越高越好
- bf16
- FP8 + CUDA graph
- FP8 + CUDA graph + Triton global attention
- 吞吐tok/s
- 4,5776,3447,100
一个请求问多道题
中位延迟(毫秒),全部 1k–4k token 的请求,bf16
- 1 道题
- 371
- 16–63 道题
- 653合计
- 超过 8k token 的请求收益最大:平均延迟从 bf16 的 6.1 s 降到最快路径的 3.6 s。
一张 GPU 上,一半的请求在十分之一秒内答完。
详细结果
核心指标
指标 | Karpo Decision 31B | 对照 | 说明 |
|---|---|---|---|
Decision Index 0.4.1 Full | 73.9 | 榜单第一,共 300 个模型 | 由 Decision Index 维护方用私有题测;11 月 12 日榜单 |
Decision Index 0.3 公开 37 项 | 75.0 | 榜上最高 75.3 | 官方评测工具,一张 RTX PRO 6000 |
知识准确率(AA-Omniscience 公开题) | 56.0% | KnowLine 53.2%、Sieve 48.6% | 每题都作答的模型里最高 |
安全判断(WildGuardTest) | 93.4% | 另外五个模型:90.9%–92.9% | 三项 yes/no 判断的平均 |
JevBench Capability(公开题和封存题) | 87.2 | 榜单第三,共 243 个 Jev-class 开源模型;Jev 1.14 为 75.0 | 由 JevBench 维护方测;11 月 12 日榜单 |
内部评测集 | 72.3% | KnowLine 71.5%、Sieve 70.4%、GLiDE 69.1% | 同一套题、同一种计分 |
延迟(中位 / p80) | 95 / 245 ms | Decision Index 榜单门槛 1,000 ms | 公开集全部请求;一张 RTX PRO 6000,一次一个请求 |
Decision Index 结果
11 月 12 日的榜单上,Full 分排在 Karpo Decision 31B 后面的三个模型是 GLiDE 27B、REAX 1.3 和 Logits Sigma-1 Duo。下表的数据都取自榜单:
Karpo Decision 31B | GLiDE 27B | REAX 1.3 | Logits Sigma-1 Duo | |
|---|---|---|---|---|
DI Full(官方) | 73.9 | 73.4 | 72.6 | 72.3 |
DI 公开 37 项 | 75.0 | 72.5 | 73.7 | 72.9 |
中位延迟 | 94 ms | 122 ms | 246 ms | 368 ms |
REAX 1.3 和 Logits Sigma-1 Duo 各由两个模型集成,合计 57B 参数,榜单把这类条目标为 inference technique。榜单上 Karpo Decision 31B 的中位延迟是 94 ms,文中其他地方的 95 ms 是我们在公开集全部请求上自己测的。
在 Decision Index 榜单上,Jev 1.14 的 Full 分是 60.2,公开集上是 60.7。
下表的后三项是我们在同一套题上逐个模型实测的。KnowLine 31B Gen1、GLiDE 1.2 和 Sieve 31B v3 是 11 月 4 日榜单的 Full 前三,用的是它们公开的权重和推理服务代码;Gemini Decision 1 不在 Decision Index 榜单上,我们通过它的托管 API 测得。11 月 12 日榜单的前三,我们还没有在这三项上实测。
Karpo Decision 31B | KnowLine 31B Gen1 | GLiDE 1.2 | Sieve 31B v3 | Gemini Decision 1 | |
|---|---|---|---|---|---|
DI 公开 37 项 | 75.0 | 70.1 | 72.0 | 71.7 | 60.9§ |
内部评测集 | 72.3% | 71.5% | 69.1% | 70.4% | 70.4% |
知识准确率 | 56.0% | 53.2% | 41.8%† | 48.6% | 28.9%† |
WildGuardTest | 93.4% | 90.9% | 92.7% | 92.8% | 86.8%‡ |
† GLiDE 1.2 对约 48% 的题选了“不知道”,Gemini Decision 1 对约 64% 的题选了“不知道”,准确率因此偏低;只看作答的题,两者的准确率都在 80% 左右。
‡ Google 的输入过滤拦下了 1,725 个请求中的 38 个,这些请求按答错计;其余请求上,Gemini Decision 1 的准确率是 88.7%。
§ Gemini Decision 1 不在 Decision Index 榜单上,它的公开分是我们用官方评测工具经它的托管 API 跑的;Google 的输入过滤拦下了 69 个请求,按答错计;它的接口不接受的两类写法(空字符串的 state、不合规的题目 key,共 4,798 个请求),我们换成等价的写法后发送。另外三个模型的公开分取自 11 月 4 日榜单。
- Karpo Decision 31B
- 对比的模型
来自官方榜单,11 月 12 日
Decision Index Full
官方分数,私有题
- Karpo Decision 31B
- 73.9
- GLiDE 27B
- 73.4
- REAX 1.3
- 72.6
- Logits Sigma-1 Duo
- 72.3
Decision Index 公开集
分数,37 项
- Karpo Decision 31B
- 75.0
- GLiDE 27B
- 72.5
- REAX 1.3
- 73.7
- Logits Sigma-1 Duo
- 72.9
中位延迟
毫秒,越低越好
- Karpo Decision 31B
- 94
- GLiDE 27B
- 122
- REAX 1.3
- 246
- Logits Sigma-1 Duo
- 368
由我们在同一套题上逐个模型实测
内部评测集
陌生领域,准确率 %
- Karpo Decision 31B
- 72.3
- KnowLine 31B Gen1
- 71.5
- GLiDE 1.2
- 69.1
- Sieve 31B v3
- 70.4
- Gemini Decision 1
- 70.4
知识准确率
AA-Omniscience 公开题,%
- Karpo Decision 31B
- 56.0
- KnowLine 31B Gen1
- 53.2
- GLiDE 1.2
- 41.8†
- Sieve 31B v3
- 48.6
- Gemini Decision 1
- 28.9†
安全判断
WildGuardTest, %
- Karpo Decision 31B
- 93.4
- KnowLine 31B Gen1
- 90.9
- GLiDE 1.2
- 92.7
- Sieve 31B v3
- 92.8
- Gemini Decision 1
- 86.8‡
- † GLiDE 1.2 对约 48% 的题选了“不知道”,Gemini Decision 1 对约 64% 的题选了“不知道”,准确率因此偏低;只看作答的题,两者的准确率都在 80% 左右。
- ‡ Google 的输入过滤拦下了 1,725 个请求中的 38 个,这些请求按答错计;其余请求上,Gemini Decision 1 的准确率是 88.7%。
同一行里,每个模型都在同一套题上、用同一种方式计分。
JevBench 结果
应我们的请求,JevBench 维护方于 11 月 10 日运行了发布的权重和推理服务代码,未作任何改动。这次运行用的是 10 月 27 日的 draw(一批公开题和封存题),一张 RTX PRO 6000,一次一个请求,不联网。11 月 12 日,JevBench v1.8.10 用四个锚点模型把这个 draw 校准到榜单的标尺上,Intelligence 下调 2.9 分,Calibration 下调 1.9 分,这次的结果随之在榜单上正式排名。
Capability 是 Intelligence 和 Calibration 的平均,为 87.2,在 243 个 Jev-class 开源模型中排名第三;Jev-class 指成本和中位延迟都不超过 Jev 两倍的模型。Composite Score 是全部四个轴的调和平均,为 77.4,在 261 个上榜模型中官方排名第七。
轴 | 分数 |
|---|---|
Intelligence:扣除随机猜对部分后的正确率 | 80.2 |
Calibration:报出的置信度与实际结果是否相符 | 94.1 |
Speed:按每个决策的延迟计分 | 88.3 |
Cost:按每 1,000 个决策的估算成本计分 | 57.9 |
私有题与公开题:Intelligence 在这个 draw 的私有题上是 85.67,在公开题上是 80.45(维护方那次运行的原始分,校准到榜单标尺之前),所以计分方法里“公开题得分远高于封存题就扣分”这一条在这里不适用。
延迟与成本:榜单上的实测中位延迟是 82 ms,在 GPU 上测,不含网络。对自部署模型,计分方法按实测值的两倍再加 150 ms 计,即 314 ms,并据此给 Speed 打分。Cost 是得分最低的轴:计分方法按它为 dense 31B 模型假定的吞吐折算 GPU 时间,估出每 1,000 个决策 $0.0252,并非实测。
JevBench 榜单,11 月 12 日起
JevBench 四个轴的分数
0 到 100,越高越好
- Intelligence
- 80.2
- Calibration
- 94.1
- Speed
- 88.3
- Cost
- 57.9
维护方那次运行的原始分,校准前
Intelligence,按题集
0 到 100;私有题不公开
- 私有题
- 85.67
- 公开题
- 80.45
Capability 87.2,在 243 个 Jev-class 开源模型中排名第三;Composite 77.4,在 261 个上榜模型中官方排名第七。
在 JevBench 公开题上,我们自己跑的结果是 Karpo Decision 31B 答对 231 题中的 213 题,Jev 1.13 公布的成绩是 200。简单题和原始题两边都接近满分,差距全部来自 111 道难题。
试用
Decision Index 完整运行结果:MachinePulseAI/karpo-decision-31B-decision-index
参考文献
Gemma Team. Gemma 4 Technical Report. arXiv:2607.02770, 2026.
Geuter, J., Cheng, A., Alvarez-Melis, D. Releasing the Inner Jev: A Simple Recipe for Open Decision Models. arXiv:2610.17205, 2026.
Zheng, C. et al. Large Language Models Are Not Robust Multiple Choice Selectors. ICLR 2024.
D'Amour, A. et al. Underspecification Presents Challenges for Credibility in Modern Machine Learning. JMLR 23(226), 1–61, 2022.
Gulrajani, I., Lopez-Paz, D. In Search of Lost Domain Generalization. ICLR 2021.
McCoy, R. T., Min, J., Linzen, T. BERTs of a feather do not generalize together: Large variability in generalization across models with similar test set performance. BlackboxNLP 2020.
Wortsman, M. et al. Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time. ICML 2022.
Hu, E. J. et al. LoRA: Low-Rank Adaptation of Large Language Models. ICLR 2022.
Dang, X. et al. Weight Ensembling Improves Reasoning in Language Models. COLM 2025.
Biderman, D. et al. LoRA Learns Less and Forgets Less. TMLR 2024.
Ramé, A. et al. Diverse Weight Averaging for Out-of-Distribution Generalization. NeurIPS 2022.
Almeida, D. Introducing System One Models & Jev. TypeSafe AI blog, September 2026 (origin of the term RLCD).
Yaldiz, D. N. et al. Balancing Classification and Calibration Performance in Decision-Making LLMs via Calibration Aware Reinforcement Learning. arXiv:2601.13284, 2026.
Iqbal, A. R., Nasim, M. F., Saleem, A. Typed Decision Models under Prevalence Shift: Decision Training, Calibration, and Implicit Priors. arXiv:2610.26325, 2026.
Akiba, T. et al. Evolutionary Optimization of Model Merging Recipes. Nature Machine Intelligence 7, 195–204, 2025.
Yadav, P. et al. TIES-Merging: Resolving Interference When Merging Models. NeurIPS 2023.
Yu, L. et al. Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch. ICML 2024.
Wang, K. et al. LiNeS: Post-training Layer Scaling Prevents Forgetting and Enhances Model Merging. ICLR 2025.