博客研究18 分钟阅读

Karpo Decision 31B:又快又准的多模态决策模型

Karpo Decision 31B 是基于 Gemma 4 31B 的决策模型:给定一个 state 和一组标明题型的题,一次推理答完所有题。Decision Index Full 分 73.9,榜单第一;JevBench Capability Score 87.2,243 个 Jev-class 开源模型中排名第三;中位延迟 95 ms。

Karpo 研究团队

本页目录
  1. 1又快又准,概率可信
  2. 2模型设计
  3. 3决策模型容易过拟合
  4. 4基于 RSI 的训练
  5. 5陌生领域评测集:10 个大类,283 个小类
  6. 6经验教训
  7. 7推理优化
  8. 8详细结果
  9. 试用
  10. 参考文献

我们发布了 Karpo Decision 31B,一个基于 Gemma 4 31B 的原生多模态决策模型,我们在多个权威评测集上拿到 SOTA 的成绩,在智力、成本、速度上对比 JEV 1.14 和其他开源、闭源模型有显著优势。给定一个 state(一个网页、一张工单、一份文档)和一组标明题型的题,Karpo Decision 31B 可以支持在一次推理中得到多道题目的答案,适用于判断、工单处理、安全审核、检索排序等等这类高频延迟敏感的场景。我们已经将权重开放到 Hugging Face 上,欢迎试用。

  • 73.9:Decision Index Full 分,在榜单 300 个模型中排名第一。

  • 87.2:JevBench Capability Score,榜单 243 个 Jev-class 开源模型中排名第三。

  • 95 ms:公开集全部 140,217 个请求上的中位延迟,一张 RTX PRO 6000,一次一个请求。

Decision Index 榜单 Full 分前五名与 Jev

Decision Index 榜单(Full 分):Karpo Decision 31B 在 300 个模型中排名第一。

除了 31B,我们还开源了 0.8B、2B、4B、9B 和 12B 五个参数量的模型,组成 Karpo Decision 模型家族。下图是各个参数量在 DI 公开 37 项上的得分,灰点是榜单上同一参数量档位的其他模型。

KARPO DECISION FAMILYScore vs. SizeDecision Index 0.3 public suite, board of November 12, 2026 · parameters as servedKarpo Decision, 0.8B to 31BOther board models in the same size class80706050401B2B4B8B16B32Bparameters · log scaleJev 1.14 · 60.7closed model,size undisclosed58.8PKU-KCL-Meteor-0.8B54.7Valen 0.8B54.7Adjudex-0.8B v554.3GLiDE 0.8B53.8StartLux 0.8B48.8OneJev1.6-0.8B47.8Crivo-1B47.8Saif 0.8B Lightning44.5KnowLine 0.8B Gen142.8crystal-0.8b63.3joey-161.9Valen 2B61.0PKU-KCL-Meteor-2B60.6GLiDE 2B59.2StartLux 2B53.5Sieve 2B v352.2KnowLine 2B Gen151.3Aurelis-2B51.1d1-2B49.0d1-Omni-2B69.0Valen 4B67.8StartLux 4B67.0Senova-4B v466.8KnowLine 4B Gen5.565.0Cerno 4B v1.264.8Jeffan-4B-201063.4Perplexity Flash v1.372.2elephant-170.6Valen 9B70.5Jeffan-9B-121170.0StartLux 9B69.3Adjudex-9B v568.8GLiDE 9B66.8Cerno 9B v1.265.7KnowLine 9B Gen165.3OneJev1.6-9B55.2AJev lora751.4muria50.7Winnow-12B49.7decisio 0.4.048.3Hopper 12B75.3mammoth-174.7Valen 27B73.4Jeffan-27B-121173.1Jeffan-31b-171072.9StartLux 27B72.7Nimble v4.1 MaxKarpo Decision 0.8B53.4Karpo Decision 2B58.9Karpo Decision 4B67.6Karpo Decision 9B69.9Karpo Decision 12B69.8Karpo Decision 31B75.0
Karpo Decision 0.8B–12B: our batched runner; 31B: official kit run. Gray: board entries with declared parameter counts, every one above Karpo Decision in its size class and the top five below it; size classes 0.5–1.3B, 1.3–3.2B, 3.2–6.5B, 6.5–10.5B, 10.5–20B, 20–40B.

又快又准,概率可信

Personal Agent 识别用户模糊意图、帮用户做推荐、搜索和决策,替用户操作浏览器,每走一步都要先做一个判断。识别意图时要判断用户那句含糊的话到底想要什么、该直接去做还是先问一句,推荐时要判断这个商品满不满足用户的要求,搜索时要判断一条结果和用户的需求有多相关,决策时要判断任务完成了没有、某个工具该不该调,操作浏览器时要判断这个页面上该点哪个元素。这些判断的速度和准确率直接决定 Agent 响应快不快、任务做不做得成。Karpo Decision 31B 就是为这类判断做的,它又快又准,还支持多模态输入:

  • 榜单第一:Decision Index Full 分 73.9,在榜单 300 个模型中排名第一;Jev 1.14 的 Full 分是 60.2。

  • 快速推理:使用一张 RTX PRO 6000 部署推理,Decision Index 评测集的中位延迟是 95 ms;榜单上 Jev 1.14 的中位延迟是 196 ms。

  • 一次多题:一个请求里可以问任意多道题,每道题独立作答;题越多,摊到每道题上的时间越少。

  • 多模态输入:原生支持多模态输入,请求里可以直接带图片,由视觉编码器读入,和文字一起判断。

  • 长上下文:单条序列默认最长 32k token,最长支持 256k 上下文窗口。

  • 答案合法,概率可信:答案一定是选项之一,每个答案都有校准过的概率。我们在 JevBench 公开题上的 ECE(expected calibration error)为 0.023。

  • 开源可部署:权重和推理代码都已公开,一张 RTX PRO 6000 即可部署,接口兼容 System One API。

BenchmarkKarpo Decision 31BOpen weightsGemini Decision 1Decisions APITypeSafe Jev 1.14GPT-6 LunaOpenAI Decisions API
Key
benchmarks
JevBenchPublic split92.2%92.2%90.0%90.9%
Amazon ESCIMacro-F164.7%58.7%56.7%54.7%
New Yorker CaptionText-only90.5%79.7%72.0%68.4%
Mind2Web Multimodal90.0%86.2%86.8%81.8%
PubMedQA79.2%79.8%78.2%74.4%
Global-MMLU-LiteNon-English85.2%86.0%85.0%79.6%
When2Call90.4%79.9%82.0%70.4%
MMAU—71.8%——
Video-MMENo subtitles—69.1%——
CalibrationTop-1 ECELower is better0.0230.02500.04940.0721
Gemini Decision 1, TypeSafe Jev 1.14 and GPT-6 Luna figures are quoted from Google's Gemini Decisions API blog post (November 11, 2026): https://blog.google/innovation-and-ai/technology/developers-tools/gemini-decisions-api/
Karpo Decision 31B figures are our own runs; ESCI, New Yorker and When2Call are independently reproduced by the Jev Decision Index: huggingface.co/spaces/multimodalart/jev-decision-index

在 Personal Agent 最常做的三类判断上,Karpo Decision 31B 领先 Gemini Decision 1

  • Agent 的行动判断:When2Call 考的是该调工具、该追问还是该停手,Karpo Decision 31B 90.4%,Gemini Decision 1 79.9%。Mind2Web 考的是网页上下一步该点哪个元素,90.0% 对 86.2%。这两项决定 Agent 会不会下错单、点错地方。

  • 理解言外之意:New Yorker Caption 要从五句配文里选出属于这幅漫画的那一句,90.5% 对 79.7%。用户对 Agent 说的话很少是完整指令,要靠语气和上下文判断他想要什么。

  • 细粒度业务分类:Amazon ESCI 要分清一件商品对搜索词是完全符合、可以替代、是配件还是不相关,macro-F1 64.7% 对 58.7%。Agent 替用户挑东西时,难的就是把替代品和配件分开。

The pagethe stateLog inSign upCancelThe questionwith its options“Which button shouldthe agent click?”(A)Log in(B)Sign up(C)CancelA generative model (LLM)generates tokens one by one; the answer is parsed out of the textone forward pass per tokenmodel…ClickLoginthinkinganswerparse the text“Login”is that (A) Log in?Slowone forward passper tokenExpensivetens to hundredsof tokensUnconstrainedthe answer may notbe one of the optionsNo usable confidencenothing to threshold onA decision modelreturns a probability for every option; it generates no textprobability (illustrative)modelone forward pass(A)Log in0.82(B)Sign up0.13(C)Cancel0.051 forward passthe model runs once0 generated tokensnothing is decodedAlways validthe answer is alwaysone of the optionsProbabilisticevery option has a probabilityto rank or thresholdA generative model writes an answer; a decision model picks among the options and says how sure it is.
同一个判断的两种做法。生成式大模型逐个 token 写出答案,还得从文字里把答案解析出来;决策模型一次前向推理(forward pass)就返回每个选项的概率。图中概率仅为示意。

Karpo Decision 31B 支持三种题型:

Python
from huggingface_hub import snapshot_download
from karpo_decision.decider import Decider

decider = Decider.from_pretrained(snapshot_download("MachinePulseAI/karpo-decision-31B"), device="cuda")
response = decider.decide({
    "state": "Order 1182: the customer asks to return a blender bought 45 days ago. Policy: returns within 30 days.",
    "questions": {
        "eligible": {
            "type": "noul",
            "instructions": "Is the return eligible under the policy?"
        },
        "action": {
            "type": "choice", "instructions": "What should the agent do?",
            "criteria": {
                "refund": "Issue a full refund", "decline": "Politely decline the return",
                "escalate": "Escalate to a supervisor"
            }
        },
        "urgency": {
            "type": "score", "instructions": "How urgent is this ticket?",
            "criteria": ["Low", "Medium", "High"]
        },
    },
})
print(response["answers"])

模型设计

Readout head:直接读出选项概率

每道题的选项用 option code(A、B……Z、AA……)标记,后面跟一个 readout marker。Readout head 在 readout marker 上给 255 个 option code 打分,只在这道题自己的选项之间归一化。请求里的每道题都在同一次前向推理里答完,没有解码。

The tokens of one questionthe question, its options, then the position where the answer is readWhich button next?(A) Log in(B) Sign up(C) CancelAnswer: (readout markernothing is generated after itthe questionits options, labelled with option codesh255 option codeslabels for the options: A to Z, AA, AB, …this question uses A, B, CEach code is a single token,verified both after “Answer: (”and after a newline plus “(”.The readout heada score for each option code, then a probabilityOne score peroption codez=Whhthe hidden state at the readout markerWone row per option code;each row starts from the base model’s LM-headrow for that option code’s tokenThe scores turnedinto probabilitiesp(k)=exp(zk/T)Σjexp(zj/T)kone of this question’s options (here A, B, C)jruns over this question’s own options onlyTa temperature per question typeThe outputa probability per optionp(k)(A) Log in0.82(B) Sign up0.13(C) Cancel0.0501Illustrative values;the three sum to 1.The model never writes the answer; it reads one score per option label and turns the scores into probabilities.
在 readout marker 上,readout head 给 255 个 option code 各打一个分,再把本题选项的分数转成概率(softmax,每种题型一个 temperature)。Readout head 保留了底座的 logit softcap,图中未画出。

实现上有三个细节:

  • Option code 都是校验过的单个 token:option code 从 tokenizer 里挑,并确认它在各种情况下都是同一个单独的 token。模型在选项上看到的标号,和读出概率时用的是同一个 token。

  • Readout head 从 LM head 起步:readout head 的每一行,用底座 LM head 里该 option code 的 token 对应的那一行初始化,并保留底座的 logit softcap。模型从一开始就认得这些标号。Geuter 等人同样用答案字母在 LM head 里的行来初始化决策头[2]。

  • 训练时打乱选项顺序:LLM 做选择题时偏爱某些选项标号[3],所以在训练时,只要 choice 题的选项顺序本身没有含义,就随机排列进行多次训练。

Joint multi-question:一次推理答完所有题

一个请求由一份 state 和任意多道题组成,编码成一条序列:先是全部题的题目清单,然后是 state,最后是每道题的选项和 readout marker。

  • 页面只读一遍:在浏览器 agent 里,一个页面常常超过 10k token,一道题只有几十个 token。每道题分开问,页面每次都得重读。

  • 模型读之前就知道要问什么:题目清单排在最前,模型是带着问题读 state 的。

  • 不会悄悄截断:超过 32k token 的请求会拆成几段,每段都带完整的共享内容和完整的题目清单。单道题本身放不下时,请求会明确报错。

Branch attention:多题共享计算独立作答

序列分成两部分:一个 shared block(系统设定、题目清单、state),以及每道题各自的 branch(题目、选项、readout marker)。Branch 能看到 shared block 和它自己,看不到别的 branch;shared block 只能看到它自己。每个 branch 的 position id 都从 shared block 末尾重新起算,所以每道题看到的 state,和单独问它时完全一样。在 global layer 里,attention 在 token 的可见范围内是双向的;sliding-window layer 仍是因果的。

One request is one sequencea shared block, followed by one branch per questionevery branch starts counting positionswhere the shared block ends (position ids restart)system turnquestion listthe page (the state)often 10k+ tokensquestion 1, its options,its readout markerquestion 2, its options,its readout markerShared blockdrawn below as 6 tokensBranch 1drawn as 2 tokensBranch 2drawn as 2 tokensThe 10 global attention layersa coloured cell: the row’s token can read the column’s tokenthe tokens it can readthe token that readsThe shared blockreads itself, in bothdirections, and neverreads a branchA branchreads the shared blockand itself, in bothdirections, and neverreads another branchThe 50 sliding-window layersthe same matrix; a window of 1,024 tokens, drawn here as 4the tokens it can readthe token that readsThe shared blockreads only earliertokens within thewindow (causal)A branchreads the last 1,023tokens of the sharedblock and its ownearlier tokenscan read a token ofthe shared blockbranch 1branch 2cannot readThe page is read once, however many questions there are; no question sees another question’s options.
Shared block 只算一次;branch 读 shared block 和它自己,不读别的 branch。Global layer 在 token 的可见范围内双向读;sliding-window layer 只读前面的 token(因果注意力)。图中尺寸仅为示意。

这样多道题一起问,state 只算一次,每道题却和分开问时一样,看不到别的题的选项。检索和排序最需要这一点,因为这两类任务要逐个评判许多候选。

大部分工程量花在训练时的实现上:

  • 预先规划:每个 packed batch 只规划一次,定下每个 branch 的 query、它可读的 shared block KV,以及它自己的 KV。所有层和激活重计算都共用这份规划。

  • 梯度精确:branch 读 shared block 的 KV 时,backward 把每个 branch 的梯度精确地累加回 shared block。训练和推理跑的是同一套可微的前向计算。

  • Sliding-window layer:用 FlashAttention 4 的 varlen kernel,整个 batch 一次调用,query 和 key 各自带边界;每个 branch 能看到 shared block 末尾的 1,023 个 token。在 B300 上一个 30k token 的 branch 布局里,forward + backward 从 14.7 ms 降到 8.5 ms。

  • Global layer:head dim 为 512,超出了 FlashAttention 支持的 256。我们用 cuDNN 的新一代 attention kernel,按长度分桶预编译,并用 front padding 保证梯度精确。在 16k token 的 batch 上,forward + backward 比 memory-efficient attention 快约 4 倍。

  • 数值精度:输出和梯度与参考实现一致,误差在 bf16 的舍入范围内。

决策模型容易过拟合

决策任务的题型、选项格式和答案分布都比较固定。模型在训练里见多了,就能靠熟悉这些格式在公开评测上拿高分,到了新的领域却答不好。

Decision Index 的榜单上能看到这一点(私有题的分数都换算到了公开分的尺度)。公开分并列最高的 mammoth-1 是 75.3,换到同类技能的私有题上只有 66.0,新领域的私有题是 72.1,Full 分 68.4。公开分前十的模型,从公开题换到同技能的私有题,平均掉 6.8 分。Karpo Decision 31B 掉 4.3 分,是这十个里最少的;它的新领域私有题是 78.6,Full 分 73.9。

我们自己的训练里也出现过同样的现象。下面是同一条训练线上的四个 checkpoint,公开分来自我们内部的批量评测工具:

训练阶段

DI 公开 37 项

内部评测集

早期

73.15

72.1%

中期

73.94

71.3%

后期

74.25

69.8%

终点

75.09

70.7%

公开分一路上涨,陌生领域准确率却最多下滑了 2.3 个点,模型整体也越来越自信。Decision Index 现在的排名只看私有题:同技能题占 60%,新领域题占 40%。只追公开分,排名会吃亏。

基于 RSI 的训练

每一轮怎么做

Karpo Decision 31B 用 RSI(recursive self-improvement)的方式训练。这是一个按轮次跑的循环:每一轮训练一批候选模型,逐个打分,挑出一部分融合成一份权重,再和当前模型比较,赢了才替换。

这个循环的每个决定,都尽量用模型训练时没见过的题来做:

  • 打分:每个候选模型都在两类题上打分。一类是公开集,衡量同类技能;另一类是陌生领域评测集(见下一章),这些题都没有用于训练。两者按 6:4 加权,和 Full 分的比例一样。

  • 融合:每轮把几个 checkpoint 融合成一份权重,见下一节。

  • 晋升:融合后的模型要在加权分上超过当前模型,才能替换它。

产出这次发布的那一轮,候选模型来自两种训练范式(全参数微调和 LoRA)和多个训练阶段。五个 checkpoint 的融合在加权分上胜出,Karpo Decision 31B 是第一个这样晋升的模型。

发布之后,我们给这个循环加了两条规矩:

  • 验收标准在开跑前定好。

  • 比较两个配方时,每组尽量跑两个随机种子,差距在多次运行的波动以内就算打平,不替换。

之后的候选都没有过这一关,包括在发布的权重上继续训练、调整融合权重和换训练配方。

A loop of four steps (RSI)the team runs the loop, round by round; RSI (recursive self-improvement) is the team’s name for itnext round1Train candidatestwo training regimes,full fine-tuning and LoRA,and several training lengths2Score each candidateon the public suite andon unseen domains3Fuse a selectioninto one set of weights:the fused candidate4Compare with the current modelweighting same-skill results (from thepublic suite) 60% and new-domainresults (from unseen domains) 40%,as the Decision Index Full score doesThe two outcomes of step 4the fused candidate is promoted only if it comes out ahead of the current modelAheadpromoted, and the next round has to beat itfused candidatecurrent modelNot aheadthe current model staysfused candidatecurrent modelKarpo Decision 31B is the first model promoted this way; no round since has replaced it.A new model replaces the current one only if it beats it.
RSI 的一轮:训练候选模型,逐个打分,挑出一部分融合,再与当前模型比较。

Model Fusion:融合不同阶段和范式的 checkpoint

Model Fusion 是 RSI 循环里的融合步骤:一个 model soup[7],即五个 checkpoint 权重的均匀平均。其中三个来自前面表格里那条全参数微调训练线,两个来自另一条 LoRA[8] 训练线,低秩更新先并入权重再平均。早期 checkpoint 泛化更好,后期 checkpoint 更专精;跨阶段平均能保留两者的长处,有工作在同一次推理能力微调的早期、后期两个 checkpoint 上报告过这一点[9]。加入 LoRA 训练线是为了多样性:据报道,LoRA 比全参数微调学得少,也忘得少[10];不同训练线的 checkpoint 之间,差异比同一条训练线上的更大,这对权重平均有利[11]。融合后的模型还是一个普通模型,结构、参数量和推理开销都没有变。

模型

DI 公开 37 项

内部评测集

推理开销

最强的单个 checkpoint

75.09

70.7%

1×

Model Fusion(五个 checkpoint)

75.07

72.3%

1×

本节的公开分来自我们内部的批量评测工具。表中 Model Fusion 一行就是这次发布的模型,官方评测工具跑出的是 75.0。

Model Fusionfive saved copies of the model(checkpoints) become onefull fine-tuning runLoRA runθ1θ2θ3θ4θ5averaged,weight by weightModel Fusionone modelsame architecture, same parameter count,same inference costθfused=θ1+⋯+θ55θ: the weightsof a modelLoRA trains small (low-rank) updatesinstead of all the weights; they are foldedinto the weights before averaging.Public suite against unseen domainsfour checkpoints along the full fine-tuning run and Model Fusion;up and to the right is betteraccuracy on our internal evaluation set, %72717073.073.574.074.575.075.5Decision Index public suite score (37 benchmarks)EarlyMiddleLateFinaltraining orderModel Fusion+1.6 pointson unseen domains,same public scoreThe average matches the public score of the final checkpoint and the unseen-domain accuracy of the early one.
左:五个 checkpoint 逐权重取平均,三个来自全参数微调训练线,两个来自另一条 LoRA 训练线。右:全参数微调训练线上的四个 checkpoint(其中三个参与了平均)和五个 checkpoint 的平均,各自的公开分与陌生领域准确率。公开分来自我们内部的评测工具;两个 LoRA checkpoint 没有画出。
  • 公开分持平,陌生领域高 1.6 个点。

  • 在公开集上,它与终点 checkpoint 持平,比参与融合的另外四个高 0.8–2.5 分。

  • 在我们比较的七个候选模型里,没有一个在知识准确率或安全判断上超过融合后的模型。

概率校准

决策模型除了要选对,还要知道自己有多大把握。概率准了,agent 就可以在阈值以上自动执行,阈值以下交给人。

  • RLCD:Karpo Decision 31B 用 RLCD(Reinforcement Learning for Calibrated Decisions[12])训练。奖励是作用在模型整条概率分布上的 strictly proper scoring rule,只有如实报告把握,奖励才最高。标签有分歧时,训练目标保留分布,不压成一个答案。只看对错的奖励不够:先思考、再输出决策的 LLM,用这种奖励做强化学习,准确率会提高,却仍然极端过度自信;直接在决策概率上再加一项损失,这种极端的过度自信就消除了[13]。

  • 按题型校准 temperature:训练后,每种题型在 held-out set 上单独拟合一个 temperature。

  • 基率变化:校准是在测量时的基率下成立的。部署时基率一变,置信度就会漂移,固定的阈值也不再是原来的含义[14]。这次发布的模型不做基率校正。调用方有一个不需要标签的办法:EM 先验校正,用模型在参考数据上的平均预测代替它的先验[14];我们尚未在 Karpo Decision 31B 上测量过。

我们自己跑的结果里,JevBench 公开题上的 ECE(expected calibration error)为 0.023。在 JevBench 榜单上,Karpo Decision 31B 的 Calibration 轴得 94.1 分,在 261 个上榜模型中排名第二;这是另一项指标,越高越好(见“详细结果”)。

What calibrated meansprobabilities that mean what they say; the plot is a schematic, not measured datahow often the answer is right, %002020404060608080100100stated confidence, %underconfidentoverconfidentcalibratedon the diagonal the two agreesays 80%, right 8 times in 10Measured for Karpo Decision 31B on the public itemsof the JevBench benchmark (our own run)an average gap of 2.3 percentage points between confidence and accuracy(expected calibration error 0.023)How an agent uses itthe example is a yes/no question; P(yes) is the probability the model gives to yesJevBench’s yes/no ruleon P(yes), from 0 to 1counts as noat 0.20 or belowabstentionthe agent can observe again or hand off to a personcounts as yesat 0.80 or above00.200.801JevBench maintainers’ runshare of yes/no answers92.0%8.0%0%100% of yes/no answersdecisive: counts as no or as yesin between: abstentionA calibrated “80% sure” is right about 8 times in 10,so an agent can act on confident answers and ask when the model is unsure.
上:校准过的模型,报出的置信度与答对的频率一致;此图为示意。下:JevBench 的 yes/no 规则,P(yes) 落在 0.20 和 0.80 之间的回答算作弃权。

陌生领域评测集:10 个大类,283 个小类

这套评测集由我们内部构建和维护,按领域分成 10 个大类、283 个小类,都没有用于训练。挑选发布的模型时只用了其中一部分,文中表格里的“内部评测集”成绩就是在这一部分上测的;其余的是发布之后新建的,没参与选型,相当于盲测。

在整套评测集上,Karpo Decision 31B 的平均准确率是 65.5%,Jev 1.14 是 60.8%,10 个大类全部领先。拆开看,选型用过的那部分上是 72.4% 对 67.6%,没参与选型的那部分上是 61.7% 对 57.2%,领先幅度在盲测上基本保持。

Unseen domains by categoryaccuracy, %, averaged over each category’s evaluation sets; the scale runs from 30 at the centre to 80 at the outer ringKarpo Decision 31BJev 1.14406080Lab Science47.5Clinical Medicine62.0Research & Education71.3Courts & Tribunals51.4Compliance & Examination72.4Safety Regulation71.0Disasters & Accidents66.7Software & Security62.5Games & Sports72.5Media & Language66.3Karpo Decision 31B is ahead of Jev 1.14 in all ten categories of unseen domains.
陌生领域评测集的 10 个大类:Karpo Decision 31B(蓝色)和 Jev 1.14(橙色)在每个大类上的准确率(该大类下各数据集准确率的平均)。大类名下面是 Karpo Decision 31B 的准确率。刻度从中心的 30% 到最外圈的 80%,每圈 10 个点。两个模型用同一套题、同一种计分,都由我们实测:Karpo Decision 31B 用发布的权重,Jev 1.14 经它的托管 API(11 月 12 日)。

经验教训

决策模型在训练过程中过拟合有三个已知的来源:

  • 在熟悉的测试上打平的模型,到了新领域表现可能大不相同[4]。

  • 怎么选模型,也会改变结果[5]。

  • 只有随机种子不同的几次训练,分布外的表现也可能相差很大[6]。

这三种情况我们都遇到过。

  1. 单次运行的差距,常常只是随机种子:同一个配方换一个随机种子,内部评测集上的准确率就差了 1.4 个点(72.05% 对 70.62%)。现在比较两个配方时,每组尽量跑两个随机种子,差距在这个量级以内就算打平。

  2. 选型用过的评测集,成绩会偏高:我们用内部评测集的一部分挑选了发布的模型,所以这部分上的成绩带着挑选的偏差。发布后我们又新建了一批没参与选型的数据集来做盲测(见上一章)。

  3. 只在公开集上涨分的改动,要先怀疑是过拟合:比如把每个请求的选项倒过来再读一遍,两次结果取平均。在之前的 checkpoint 上,这样做公开分涨了 0.07–0.16,陌生领域没有变化,中位延迟却从 94 ms 涨到 162 ms。发布的模型只读一遍。

  4. 复杂的融合方法没有更好:TIES[16]、DARE[17]、按层缩放微调增量[18],都没有明显胜过均匀平均。用进化搜索按层组调融合系数[15],搜索用的那几百道题上分数涨了,换到留出的题上没有涨,搜索本身过拟合了。

  5. 调融合权重的收益,在波动以内:我们试了六种组合:给五个成员换不同权重,或者替换、加入成员。陌生领域上是 72.4–72.7%,均匀平均是 72.3%。其中四种跑了公开集,得分 74.80–74.99,均匀平均是 75.07。差距都在随机种子的波动以内,我们按打平处理,保留均匀平均。

  6. 融合之后不再接着训:在发布的权重上继续训练,几次尝试的公开分都比原来低。

推理优化

决策请求对延迟敏感。在 Decision Index 公开集的全部请求上(一张 RTX PRO 6000,bf16,一次一个请求),中位延迟 95 ms,p80 245 ms。约 80% 的请求不到 1k token,中位延迟 83 ms。延迟随长度增长:在下文的抽样请求上,超过 8k token 的请求(10k token 的页面属于这一类)bf16 下平均 6.1 s,最快的路径平均 3.6 s。模型一张卡即可部署,接口兼容 System One API。

  • 一次前向推理,没有解码:所有题的概率在一次前向推理里同时读出,输出 token 数为零。最后一层 global attention 只在 readout marker 上计算,不算整条序列。

  • 跨题共享 KV:shared block 的 KV 每个请求只算一次,所有 branch 直接复用,每道题只多算自己的 branch。一个请求里题越多,摊到每道题上的开销越小:同样是 1k–4k token 的请求,问一道题中位延迟 371 ms,问 16–63 道题是 653 ms。

  • 变长 packing,不做 padding:多条序列首尾相接,打包进一次前向推理,用 varlen attention,彼此不可见。60 层里有 50 层只看最近 1,024 个 token,所以长请求的 attention 开销和 KV 显存主要来自另外 10 层 global attention。在 B200/B300 上,sliding-window layer 可以切到 FlashAttention 4 的 varlen kernel,global layer 可以切到 cuDNN 的新一代 attention kernel。

  • FP8 与 CUDA graph:模型的线性投影层以 FP8 运行;单题请求回放服务启动时录制的 CUDA graph,省掉逐个 kernel 的启动开销。显存峰值从 80 GB 降到约 60 GB;公开集全量得分 75.0,与 bf16 持平。

  • 为 global layer 写的 Triton kernel:Gemma 4 的 global layer 用 head dim 512,RTX PRO 6000(sm_120)上没有支持它的 fused attention kernel,只能退回 memory-efficient attention,成了长请求的主要开销(32k token 时占一半 GPU 时间)。我们用 Triton 为这些层写了 flash-attention 的 forward:global attention 的速度提高到原来的 1.8–2 倍,32k token 的请求从 10.4 s 降到 8.0 s。答案的变动只有 bf16 噪声的量级(99.8% 的首选答案相同)。

从公开集分层抽样 2,000 个请求,一张 RTX PRO 6000,一次一个请求:

推理路径

中位

平均

p80

p95

吞吐

bf16

94 ms

278 ms

239 ms

603 ms

4,577 tok/s

FP8 + CUDA graph

74 ms

201 ms

152 ms

382 ms

6,344 tok/s

FP8 + CUDA graph + Triton global attention

73 ms

179 ms

148 ms

362 ms

7,100 tok/s

三种推理路径,每一种都在前一种的基础上叠加

单个请求的延迟

毫秒,越低越好

  • bf16
  • FP8 + CUDA graph
  • FP8 + CUDA graph + Triton global attention
中位一半请求比它快
947473
平均
278201179
p8080% 的请求比它快
239152148
p9595% 的请求比它快
603382362

每秒 token 数(吞吐)

越高越好

  • bf16
  • FP8 + CUDA graph
  • FP8 + CUDA graph + Triton global attention
吞吐tok/s
4,5776,3447,100

一个请求问多道题

中位延迟(毫秒),全部 1k–4k token 的请求,bf16

1 道题
371
16–63 道题
653合计
  • 超过 8k token 的请求收益最大:平均延迟从 bf16 的 6.1 s 降到最快路径的 3.6 s。

一张 GPU 上,一半的请求在十分之一秒内答完。

推理延迟。三条推理路径的延迟和吞吐,取自公开集分层抽样的 2,000 个请求(一张 RTX PRO 6000,一次一个请求)。一个请求问一道题与问 16–63 道题的对比:公开集全部 1k–4k token 请求的中位延迟,bf16。

详细结果

核心指标

指标

Karpo Decision 31B

对照

说明

Decision Index 0.4.1 Full

73.9

榜单第一,共 300 个模型

由 Decision Index 维护方用私有题测;11 月 12 日榜单

Decision Index 0.3 公开 37 项

75.0

榜上最高 75.3

官方评测工具,一张 RTX PRO 6000

知识准确率(AA-Omniscience 公开题)

56.0%

KnowLine 53.2%、Sieve 48.6%

每题都作答的模型里最高

安全判断(WildGuardTest)

93.4%

另外五个模型:90.9%–92.9%

三项 yes/no 判断的平均

JevBench Capability(公开题和封存题)

87.2

榜单第三,共 243 个 Jev-class 开源模型;Jev 1.14 为 75.0

由 JevBench 维护方测;11 月 12 日榜单

内部评测集

72.3%

KnowLine 71.5%、Sieve 70.4%、GLiDE 69.1%

同一套题、同一种计分

延迟(中位 / p80)

95 / 245 ms

Decision Index 榜单门槛 1,000 ms

公开集全部请求;一张 RTX PRO 6000,一次一个请求

Decision Index 结果

11 月 12 日的榜单上,Full 分排在 Karpo Decision 31B 后面的三个模型是 GLiDE 27B、REAX 1.3 和 Logits Sigma-1 Duo。下表的数据都取自榜单:

Karpo Decision 31B

GLiDE 27B

REAX 1.3

Logits Sigma-1 Duo

DI Full(官方)

73.9

73.4

72.6

72.3

DI 公开 37 项

75.0

72.5

73.7

72.9

中位延迟

94 ms

122 ms

246 ms

368 ms

REAX 1.3 和 Logits Sigma-1 Duo 各由两个模型集成,合计 57B 参数,榜单把这类条目标为 inference technique。榜单上 Karpo Decision 31B 的中位延迟是 94 ms,文中其他地方的 95 ms 是我们在公开集全部请求上自己测的。

在 Decision Index 榜单上,Jev 1.14 的 Full 分是 60.2,公开集上是 60.7。

下表的后三项是我们在同一套题上逐个模型实测的。KnowLine 31B Gen1、GLiDE 1.2 和 Sieve 31B v3 是 11 月 4 日榜单的 Full 前三,用的是它们公开的权重和推理服务代码;Gemini Decision 1 不在 Decision Index 榜单上,我们通过它的托管 API 测得。11 月 12 日榜单的前三,我们还没有在这三项上实测。

Karpo Decision 31B

KnowLine 31B Gen1

GLiDE 1.2

Sieve 31B v3

Gemini Decision 1

DI 公开 37 项

75.0

70.1

72.0

71.7

60.9§

内部评测集

72.3%

71.5%

69.1%

70.4%

70.4%

知识准确率

56.0%

53.2%

41.8%†

48.6%

28.9%†

WildGuardTest

93.4%

90.9%

92.7%

92.8%

86.8%‡

† GLiDE 1.2 对约 48% 的题选了“不知道”,Gemini Decision 1 对约 64% 的题选了“不知道”,准确率因此偏低;只看作答的题,两者的准确率都在 80% 左右。

‡ Google 的输入过滤拦下了 1,725 个请求中的 38 个,这些请求按答错计;其余请求上,Gemini Decision 1 的准确率是 88.7%。

§ Gemini Decision 1 不在 Decision Index 榜单上,它的公开分是我们用官方评测工具经它的托管 API 跑的;Google 的输入过滤拦下了 69 个请求,按答错计;它的接口不接受的两类写法(空字符串的 state、不合规的题目 key,共 4,798 个请求),我们换成等价的写法后发送。另外三个模型的公开分取自 11 月 4 日榜单。

  • Karpo Decision 31B
  • 对比的模型

来自官方榜单,11 月 12 日

Decision Index Full

官方分数,私有题

Karpo Decision 31B
73.9
GLiDE 27B
73.4
REAX 1.3
72.6
Logits Sigma-1 Duo
72.3

Decision Index 公开集

分数,37 项

Karpo Decision 31B
75.0
GLiDE 27B
72.5
REAX 1.3
73.7
Logits Sigma-1 Duo
72.9

中位延迟

毫秒,越低越好

Karpo Decision 31B
94
GLiDE 27B
122
REAX 1.3
246
Logits Sigma-1 Duo
368

由我们在同一套题上逐个模型实测

内部评测集

陌生领域,准确率 %

Karpo Decision 31B
72.3
KnowLine 31B Gen1
71.5
GLiDE 1.2
69.1
Sieve 31B v3
70.4
Gemini Decision 1
70.4

知识准确率

AA-Omniscience 公开题,%

Karpo Decision 31B
56.0
KnowLine 31B Gen1
53.2
GLiDE 1.2
41.8†
Sieve 31B v3
48.6
Gemini Decision 1
28.9†

安全判断

WildGuardTest, %

Karpo Decision 31B
93.4
KnowLine 31B Gen1
90.9
GLiDE 1.2
92.7
Sieve 31B v3
92.8
Gemini Decision 1
86.8‡
  • † GLiDE 1.2 对约 48% 的题选了“不知道”,Gemini Decision 1 对约 64% 的题选了“不知道”,准确率因此偏低;只看作答的题,两者的准确率都在 80% 左右。
  • ‡ Google 的输入过滤拦下了 1,725 个请求中的 38 个,这些请求按答错计;其余请求上,Gemini Decision 1 的准确率是 88.7%。

同一行里,每个模型都在同一套题上、用同一种方式计分。

和 Full 榜前三、Gemini Decision 1 比。上排:Karpo Decision 31B 与 11 月 12 日榜单上 Full 分排在它后面的三个模型,数据取自榜单。下排:由我们在同一套题上逐个模型实测,KnowLine 31B Gen1、GLiDE 1.2 和 Sieve 31B v3 用它们公开的权重和推理服务代码,Gemini Decision 1 经托管 API。

JevBench 结果

应我们的请求,JevBench 维护方于 11 月 10 日运行了发布的权重和推理服务代码,未作任何改动。这次运行用的是 10 月 27 日的 draw(一批公开题和封存题),一张 RTX PRO 6000,一次一个请求,不联网。11 月 12 日,JevBench v1.8.10 用四个锚点模型把这个 draw 校准到榜单的标尺上,Intelligence 下调 2.9 分,Calibration 下调 1.9 分,这次的结果随之在榜单上正式排名。

Capability 是 Intelligence 和 Calibration 的平均,为 87.2,在 243 个 Jev-class 开源模型中排名第三;Jev-class 指成本和中位延迟都不超过 Jev 两倍的模型。Composite Score 是全部四个轴的调和平均,为 77.4,在 261 个上榜模型中官方排名第七。

轴

分数

Intelligence:扣除随机猜对部分后的正确率

80.2

Calibration:报出的置信度与实际结果是否相符

94.1

Speed:按每个决策的延迟计分

88.3

Cost:按每 1,000 个决策的估算成本计分

57.9

  • 私有题与公开题:Intelligence 在这个 draw 的私有题上是 85.67,在公开题上是 80.45(维护方那次运行的原始分,校准到榜单标尺之前),所以计分方法里“公开题得分远高于封存题就扣分”这一条在这里不适用。

  • 延迟与成本:榜单上的实测中位延迟是 82 ms,在 GPU 上测,不含网络。对自部署模型,计分方法按实测值的两倍再加 150 ms 计,即 314 ms,并据此给 Speed 打分。Cost 是得分最低的轴:计分方法按它为 dense 31B 模型假定的吞吐折算 GPU 时间,估出每 1,000 个决策 $0.0252,并非实测。

JevBench 榜单,11 月 12 日起

JevBench 四个轴的分数

0 到 100,越高越好

Intelligence
80.2
Calibration
94.1
Speed
88.3
Cost
57.9

维护方那次运行的原始分,校准前

Intelligence,按题集

0 到 100;私有题不公开

私有题
85.67
公开题
80.45

Capability 87.2,在 243 个 Jev-class 开源模型中排名第三;Composite 77.4,在 261 个上榜模型中官方排名第七。

JevBench 结果。上:JevBench 榜单上的四个轴(11 月 12 日起)。下:维护方那次运行里,Intelligence 在私有题和公开题上的原始分,校准到榜单标尺之前。

在 JevBench 公开题上,我们自己跑的结果是 Karpo Decision 31B 答对 231 题中的 213 题,Jev 1.13 公布的成绩是 200。简单题和原始题两边都接近满分,差距全部来自 111 道难题。

试用

参考文献

  1. Gemma Team. Gemma 4 Technical Report. arXiv:2607.02770, 2026.

  2. Geuter, J., Cheng, A., Alvarez-Melis, D. Releasing the Inner Jev: A Simple Recipe for Open Decision Models. arXiv:2610.17205, 2026.

  3. Zheng, C. et al. Large Language Models Are Not Robust Multiple Choice Selectors. ICLR 2024.

  4. D'Amour, A. et al. Underspecification Presents Challenges for Credibility in Modern Machine Learning. JMLR 23(226), 1–61, 2022.

  5. Gulrajani, I., Lopez-Paz, D. In Search of Lost Domain Generalization. ICLR 2021.

  6. McCoy, R. T., Min, J., Linzen, T. BERTs of a feather do not generalize together: Large variability in generalization across models with similar test set performance. BlackboxNLP 2020.

  7. Wortsman, M. et al. Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time. ICML 2022.

  8. Hu, E. J. et al. LoRA: Low-Rank Adaptation of Large Language Models. ICLR 2022.

  9. Dang, X. et al. Weight Ensembling Improves Reasoning in Language Models. COLM 2025.

  10. Biderman, D. et al. LoRA Learns Less and Forgets Less. TMLR 2024.

  11. Ramé, A. et al. Diverse Weight Averaging for Out-of-Distribution Generalization. NeurIPS 2022.

  12. Almeida, D. Introducing System One Models & Jev. TypeSafe AI blog, September 2026 (origin of the term RLCD).

  13. Yaldiz, D. N. et al. Balancing Classification and Calibration Performance in Decision-Making LLMs via Calibration Aware Reinforcement Learning. arXiv:2601.13284, 2026.

  14. Iqbal, A. R., Nasim, M. F., Saleem, A. Typed Decision Models under Prevalence Shift: Decision Training, Calibration, and Implicit Priors. arXiv:2610.26325, 2026.

  15. Akiba, T. et al. Evolutionary Optimization of Model Merging Recipes. Nature Machine Intelligence 7, 195–204, 2025.

  16. Yadav, P. et al. TIES-Merging: Resolving Interference When Merging Models. NeurIPS 2023.

  17. Yu, L. et al. Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch. ICML 2024.

  18. Wang, K. et al. LiNeS: Post-training Layer Scaling Prevents Forgetting and Enhances Model Merging. ICLR 2025.