AREX Feed Article
AMD 与 vLLM Semantic Router 团队发布开源多模态决策模型 d3-ultra：Apache-2.0 权重上架 Hugging Face，单张 Instinct MI325X 可服务
北京时间 10 月 27 日上午 11 时许，vLLM 项目官方 X 账号 发帖宣布：AMD 与 vLLM Semantic Router 团队推出 d3-ultra，一个开放的多模态决策模型。帖文称其具备每答案概率输出（per-answer probabilities）、视觉定位（visual grounding）与视频跟踪（video tracking）能力，在 AMD Instinct GPU 上完成训练与服务，权重以 Apache-2.0 许可上架 Hugging Face；其中「训练」一侧目前是项目方的单方口径，许可与参数规模则可以在模型卡页面直接核对。写明：26.09B 参数，内含一个 0.46B 的视觉编码器，权重精度 BF16。
d3-ultra 的输出不是文本。使用者给出一段状态（文本或 JSON，可附图片、视频），挂上若干个带类型的问题，模型把输入读一次，全部作答，每个答案附一个概率。模型卡将它列为 Decision 3.0 决策模型家族最新的 27B 成员，官方同时提供免费 API 和可上传自己图片试玩的 。截至发稿，仓库页面显示 23 个赞、56 次下载——权重上线刚满数日。
读一次输入，答完所有问题：不生成文本的决策模型
模型卡列出的题型有五类：Choice（在给定选项中挑一个）、Yes/No、Score（按量表打分）、Box（在图片或视频的某一帧中框出目标）和 Track（在整段视频中跟踪目标）。问题本身可以携带图片——官方示例里，一道题附上一张万神殿的照片，四个选项各是一幅 18 世纪蚀刻版画，比的是「哪幅画的是同一座建筑」。
Box 答案永远只有一个框，四边以图高、图宽的比例给出，并附带一个「框住的确实是它」的置信度。约定写在模型卡里：置信度 0.50 以上实线绘制，0.10 以下直接判为「没找到」。在一组用 George Caleb Bingham 油画《Fur Traders Descending the Missouri》制作的演示中，黑猫、划桨人、倚货少年与独木舟的置信度都在 96% 以上；问「一只狗」时，输出是 not found，置信度不足 0.01%。
视频侧对应两种问法：在任意时刻框出目标，或对整段视频给出跟踪轨迹与「目标可见」的概率，模型卡称免费 API 两者都能答。上下文长度为每个问题 131,072 tokens（词元），超出即返回 max_length_exceeded 错误，不做截断。
单张 MI325X：第一题 304 毫秒，255 题也只要 2.16 秒
模型卡附了一组在单张 AMD Instinct MI325X 上、用 transformers AutoModel 测得的中位延迟：对同一张照片问 1 个问题 304 毫秒，4 个 332 毫秒，16 个 429 毫秒，64 个 873 毫秒，128 个 1.30 秒，255 个 2.16 秒。折算下来，第一题之后每加一题约多 7.3 毫秒——图片只读一次，所有问题共用这一次读取。图注写明了条件：热身 3 次后计时 15 次取中位，每次请求都换新的图片字节（1,280×1,600 JPEG），测量于 2026 年 10 月 25 日。
部署路径同样写在卡里：pip 安装 transformers==5.17.0，AutoModel 加载需 trust_remote_code=True，可选的 flash-linear-attention 包为线性注意力层提供更快的 GPU 内核；长上下文则声明由单张 MI325X 服务。不想自建环境的，官方免费 API（）直接服务 d3-ultra。
团队自测成绩：文本六个能力区拿五区第一，框选仍输 d3-turbo
评测用的是团队自建的 SR-Text 与 SR-Box 两套题。SR-Text 收录 10,411 条文本请求、73,495 个问题，得分取六个能力区的均值（机会校正准确率 ×100，0 为随机水平）：d3-ultra 87.2，依次高于 GLiDE V1.2（85.1）、d1-ultra（83.4）、d3-turbo（83.1）、前代 d3（81.4）与经 TypeSafe API 调用的 Jev 1.14（73.1）。六个能力区里它拿了五个第一，唯独「艺术与人类品味」以 89.6 对 90.8 微弱落后于 d1-ultra，模型卡称差距在测试误差范围内。
SR-Box 收录 5,678 个框选问题、4,984 张图片，跨十个域，答案框与参考框交并比（IoU）≥ 0.5 记为正确：d3-ultra 58.2%，低于 d3-turbo 的 60.0%，高于 Jev 1.14 的 45.7%。模型卡把话说得很直白：在自然图像上，d3-turbo 仍是我们最强的框选模型，d3-ultra 的优势在图表。
这组成绩的前提需要照单全收：两套题都私有、不公开，模型卡自述「这是我们的测试，不是官方排行榜」；对照组里 Jev 1.14 的无效回答（10,411 条请求中的 86 条）和因尺寸被拒的图片（5,678 问中的 816 问）计为错误，GLiDE V1.2 则用公开权重在团队自己的硬件上测得。团队帖文另给出两个口径：一是对前代 d3 的分项成绩——CLadder 56.7→85.1、ACOS 44.7→72.9、GPQA Diamond 37.6→56.1、MMLU-Pro 49.4→62.0；二是在 Hugging Face 上由 multimodalart 维护的 文本榜（0.4.1 版，共 230 个模型）上排第 2，比 d3 高 3.03 分。两者均出自 ，名次一项亦见于 。
可以独立复算的部分也放了出来。团队在 里发布了模型在 Decision Index 0.3 公开套件上的完整运行工件：公开指数 71.57（原始分 78.59），140,178 条可计分请求全部作答、零条不支持；视觉公开套件 75.33（12,210 行）。运行使用未改动的 decision-index 评测套件，附答案文件、环境记录与 SHA-256 清单，按其说明可用原始答案重新评分复现。
AMD Instinct 的角色：合作近一年，「训练」一侧仍是团队口径
「训练与服务都在 AMD Instinct GPU 上」出自 与 。服务一侧有实据可查：模型卡的延迟测量、长上下文服务和上述公开运行工件都标注 AMD Instinct MI325X。训练一侧目前只有团队声明；第三方报道中，marktechpost 在 10 月 11 日介绍 Decision 3.0 家族时写道「所有模型均在 AMD Instinct MI325X GPU 上训练」。
合作关系有明确的沿革。 的时间线显示，vLLM Semantic Router 于 2025 年 9 月启动，2025 年 12 月 16 日与 AMD 联合发布「Building the System Intelligence Together」。项目的自我定位是一个「开放、可编程的决策层」，按策略为每次调用选择或组合模型。团队成员 Xunzhuo Liu——其 自述在 AMD 从事开源与 AI 工作、为 vLLM 构建基础决策模型——在同一篇 LinkedIn 帖文里写：「给它一条消息、一张图片或一段视频，提出你的问题，它一次读完就全部作答，每个答案都带概率」，并称「d3-ultra 是迈向开放多模态基础决策模型的重要一步」。
Decision 3.0 家族的第七款模型，与两套不公开的考卷
家族脉络在项目 README 和媒体报道里可以拼齐：2026 年 9 月 22 日发布 ；10 月 6 日 Decision 2.0 合集登上 Hugging Face Trending Collections 榜首；10 月 11 日前后的 Decision 3.0 一次给出五款——d3-lite（0.85B）、d3-nano（2.21B）、d3-mini（4.54B）、d3-flash（8.39B）、d3（26.09B），全部 Apache-2.0、基于 Qwen 系列底座微调；10 月中旬 加入。d3-ultra 排在家族第七位，相比同尺寸的 d3 补上了框选与视频能力——官方对照表显示 d3 不支持 Box 问题，而 marktechpost 介绍的 Decision 3.0 输入止于文本、JSON 与图像。vLLM 官方 LinkedIn 帖文的标题正是「d3-ultra 把文本、图像与视频理解带进了团队的开放决策模型」。
marktechpost 把这类模型的用法概括为面向路由与护栏的「System 1」模式：「与其提示一个 LLM 再解析它的输出，不如直接拿到可以设阈值的校准分数。」框选答案附带的置信度，正属于可以设阈值的分数。
没变的部分同样具体。SR-Text 与 SR-Box 两套考卷不公开，Jev Decision Index 上的名次是团队在 0.4.1 版榜单上的口径；在自然图像的框选上，家族里领先的仍是上一款 d3-turbo。眼下可供独立核对的，是团队放出的那批 Decision Index 公开运行工件；模型卡把界线画在了「不是官方排行榜」这一句上。