Karpo Decision 31B · 开放权重
一次前向推理,读出全部答案
给 agent 用的决策模型。给它一个状态和几个带类型的问题,它返回每个问题每个选项的概率,不生成任何 token。
Showcase
- 73.86
- Decision Index 0.4.1 Full 分,并列第一
- 94 ms
- 单卡、逐个请求的延迟中位数
- 4.8
- 校准误差(分)
- 255
- 单个问题最多的选项数
数据来自 2026 年 11 月 11 日的 Decision Index 榜单,Full 分由榜单维护方在私有题上测得。
正在加载试玩…
工作原理
01
读出,而不是生成
每个选项对应一个选项码。线性读出层给选项码打分,再在这个问题自己的选项上做 softmax 得到概率。没有任何解码,所以答案一定是选项之一。
02
多个问题,一次前向推理
一个请求包含一个状态和任意多个问题,编码成一条序列:先是问题列表,然后是状态,最后每个问题一个分支,分支里是它的选项。
03
分支注意力
每个分支只读共享部分和它自己,读不到别的分支。状态在一条序列里只计算一次,问题之间也看不到彼此的选项。
三种问题
- choice
- 从最多 255 个选项里选一个,每个选项有一个键和一段描述。答案里有每个键的概率。
- noul
- 是或否。答案是“是”的概率。
- score
- 在你描述的量表上打一个等级,从低到高。答案里有期望等级和每个等级的概率。
自己部署
权重在一张 GPU 上占 62.5 GB。服务的接口是 POST /v1/systemone,请求格式就是试玩里“请求”一栏显示的内容。
pip install "karpo-decision @ git+https://github.com/machinepulse-ai/karpo-decision"
CKPT=$(python -c 'from huggingface_hub import snapshot_download; print(snapshot_download("MachinePulseAI/karpo-decision-31B"))')
torchrun --standalone --nproc_per_node 1 -m karpo_decision.serve.server --checkpoint "$CKPT" --port 18440
