Artificial Analysis 发布 Perplexity Decider v1.3 独立评测:旗舰 70 分守住第 6,Flash 升至第 10
独立 AI 评测机构 Artificial Analysis 于 11 月 14 日在官方 X 账号发布对 Perplexity 两款新决策模型的第三方评测:Decider v1.3 在 Artificial Analysis Decision Index v2.1 上得 70 分,与 v1.2 相比保持第 6 名;小尺寸的 Decider Flash v1.3 得 64 分,排名从 v1.2 时的第 12 升到第 10(Artificial Analysis 帖文)。两款模型是 Perplexity 于 11 月 12 日发布的 v1、v1.1、v1.2 与 Flash v1.2 的后继版本(Perplexity 博客),AA 的独立评测在发布两天后给出。
AA 同时判定,两款模型均位于其能力-成本帕累托前沿(Capability vs. Cost Pareto frontier):每 100 万任务的成本,Decider v1.3 为 68 美元,Decider Flash v1.3 为 34 美元。
旗舰的单项成绩单:AA-Paperclip 第 4,EvalSafe-O*NET-AA 第 3
AA 把 Decider v1.3 的强项概括为决策与抽取:它在 AA-Paperclip 上排第 4,得 69 分,比 v1.2 高 2 分;在 EvalSafe-O*NET-AA 上排第 3,得 89 分,比 v1.2 高 1 分。Flash v1.3 的 64 分比 v1.2 高 4 分,AA 把增量归因到两项评测:AA-Symmetry 与 When2Call 各上升 12 分。
这次更新改写的排名来自 Flash:旗舰在综合指数上的座次没有动,改善体现在单项分数上。
Decision Index v2.1 的算分方式:六项评测加权,准确率减去校准误差
AA 的评估页说明,Decision Index v2.1 是覆盖文档决策与抽取、工具调用、知识、推理与不变性(invariance)的复合指数。指数分由六项评测加权平均而来:AA-Paperclip、EvalSafe-O*NET-AA、When2Call、AA-Omniscience-Decision v1.1 与 HLE-MultiChoice v1.1 的 Decision Score,加上 AA-Symmetry v1.1 的 Symmetry Score。单项口径是「准确率减去所选答案概率的 Brier 分数」(Brier 分数衡量所选答案概率与真实对错之间的差距),0~100 分,100 分代表「确定且正确」。成本端则统计全部指数评测中每 100 万任务的平均成本(美元,按当前价格计)。
六项成分与页面列出的能力类别大体对应:AA-Paperclip 与 EvalSafe-O*NET-AA 覆盖文档决策与抽取,When2Call 对应工具调用,AA-Omniscience-Decision 对应知识,HLE-MultiChoice 对应推理,AA-Symmetry 的 Symmetry Score 对应不变性。页面用一个客服场景演示决策模型的调用方式:一条「付款失败三天、房租明天到期」的用户消息作为共享上下文(state),同一次调用里回答三个问题——路由到哪个团队(计费/技术/账户)、是否紧急(是/否)、情绪有多强烈(平静/沮丧/愤怒),每个选项都返回概率。AA 的解释是,决策模型从固定选项集中选择、一次调用返回全部概率,因此「便宜、快,而且让我们能测量校准」。
帕累托前沿上的两个位置:成本相差一倍
AA 的榜单图把 Decision Index 分数与每 100 万任务的平均成本画在同一张图上,并标出帕累托线。按图上的口径,处在帕累托线上意味着图中不存在另一个被测模型,成本比它更低、分数比它更高——两款 v1.3 在 AA 的测评集合里各自占据了这样一个不被压过的位置。
两款模型的规格为:256K token 上下文窗口,支持文本与图像输入,参数量分别为 27B 与 4B,采用 Apache License 2.0,输入价格分别为每百万 token 0.02 美元与 0.01 美元。按 AA 的成本口径,Flash v1.3 的每 100 万任务成本是旗舰的一半。AA 帖文列出的提供方是 Perplexity 一方 API;Perplexity 博客补充,权重在 Hugging Face 上开放下载,也可经 OpenRouter 与 Perplexity Decisions API 调用。
从 v1.2 到 v1.3:隔离问题的双向注意力、locate 抽取与数据清洗
Perplexity 的发布博客解释了 v1.3 的主要变化。Flash v1.3 由旗舰蒸馏而来:先训练基于 Qwen3.8-27B 骨干的大模型,再用 KL 散度蒸馏出 Qwen3.5-4B 小模型。注意力机制上,模型的全注意力层改为双向,但 v1.3 采用「隔离问题」模式——state 关注所有问题,每个问题只关注 state 和自己的 token;博客称这比 v1.2 那种 state 与所有问题互相全可见的模式结果更稳定。新功能 locate 让模型直接从输入文本中抽取匹配片段并返回起止字符位置,覆盖命名实体识别、个人信息识别和抽取式问答;由于把 locate 适配器合并回主干会让决策请求出现回归,Perplexity 目前保持适配器不合并、仅在接受 locate 请求时激活。
数据侧,博客称训练把数百个公开数据集统一转成「state + 问题 + 选项」的格式,第一阶段只接受「对模型全面有益、不针对任何基准」的数据,排除了基准的训练划分,并清掉与所用评测可能重叠的样本,以降低训练-测试污染。
决策模型为何单独成榜:AA 的外部口径与 Perplexity 的内部口径
按 AA 评估页与 Perplexity 博客的定义,决策模型是通用分类器:给定输入和一组问题,为每个问题的每个选项返回概率,单次前向完成,不逐 token 生成自由文本。博客列出的典型用途包括评判模型输出、请求路由、内容审核与安全检测、内容过滤打标、检索重排。Perplexity 称,许多这类任务过去由生成式 LLM 完成,而决策模型在一次前向里共享计算、同时回答多个问题。AA 也为这一类别单独设立了 Decision Index。
Perplexity 的评测分两层。博客列出的外部基准包括 Hugging Face Decision Index、Vals AI 的 ClaimBench 与 Artificial Analysis Decision Index;内部还有一套超过 200 个任务、全部零样本的套件。博客还报告了一项针对生产查询的评测:在 63 个由前沿 LLM 重新标注的分类任务上,Decider v1.3 平均准确率 91.6%,比生产环境在用的分类器高 6.54 个百分点。与 TypeSafe AI 的 Jev 1.14 相比,Decider v1.3 在七个领域的公开数据集评测中全部领先,但 Flash v1.3 在金融、编程与法律三个领域落后于 Jev 1.14。
Perplexity 在博客里同时提醒:公开榜单即便包含不公开的任务,也「仍可能通过反复提交、根据榜单反馈迭代调参被刷分」,这正是它补充内部套件的原因。内部口径的一个例子是标签敏感性测试:在 372 道多选题上重排选项、重指派标签、改名标签后,Decider v1.3 只有 0.27% 的答案翻转,Jev 1.14 为 2.69%~4.84%;对相同输入重复请求,Decider v1.3 没有出现答案变化,Jev 1.14 则在 1.88% 的问题上给出不同答案。
Perplexity 给出的选型建议把两款模型分开:需要细致判断、详细评分标准、错误代价高的工作流选 Decider v1.3;高吞吐量路由、打标与过滤这类以延迟和成本为主要约束的场景选 Flash v1.3。