AREX Feed Article
Perplexity 发布 Decider for Mac：4B 决策模型本地运行，127.0.0.1 端点无需 API key
北京时间 10 月 23 日 06:42，Perplexity 的官方开发者账号 发布了 Decider for Mac。这个菜单栏应用把 4B 的 pplx-decider-flash-v1.2 放在 Apple Silicon Mac 上运行，并在 http://127.0.0.1:8080/v1/decisions 提供 Decisions API 兼容端点。这个本地端点不要求 API key，也不按 token 计费；对文本或图片提问，返回的是概率。
Perplexity 的把安装过程分成三步：下载 DMG 安装包、拖进 Applications、首次启动下载约 5.8GB 模型，等菜单栏显示 Ready (text + images)。之后，把要判断的内容放进 state，给问题起名，发到本地地址，就能拿到答案和对应的概率。需要云端吞吐或更大的 pplx-decider-v1.2 时，同一份代码改 URL、加一个 Authorization 头即可。
菜单栏里的端点，和一份可以直接复制的 curl
Decider 的图标只出现在菜单栏，不在 Dock。设置窗口关闭后，应用继续运行；菜单里能看模型状态、复制 API 地址、复制一段现成的 curl，也能改端口。
官方文档列出的场景包括：客户导出、会议记录、内部工具截图、带 token 的日志；这些内容不能离开 Mac，但又需要分类。Decider 的做法是让模型在本机读这些内容。
第一个例子是一条「我上周被重复扣款」的客服消息：问题问哪个团队应该处理，选项是 billing、shipping、technical；返回里有最可能的团队 choice、每个团队的 probabilities，以及模型自估的 confidence。Decisions API 的 提醒，confidence 不等于最高选项的概率。问题可以是 noul（回答「是」的概率）、choice（给定选项里的一个）或 score（按有序评分标准给出档位）。
Perplexity CEO Aravind Srinivas ，称这是「开放权重（open-weight）和紧凑模型的力量」，并称数据不会离开你的机器。
模型文件的大小与硬件门槛
官方文档列出的门槛是 Apple Silicon（M1 或更新）、macOS 13 或更新、16GB 内存、约 6GB 可用磁盘。Windows、Linux 和 Intel Mac 不在支持范围内，文档让这些用户改用托管 Decisions API。
Mac 版要下载两个权重文件。列出 5.16GB 的 decider-flash-v1.2-q8_0.gguf 和 672MB 的 mmproj-decider-flash-v1.2-f16.gguf；前者是 Q8_0 量化的主体，后者是让模型读图的多模态投影器。两者合计 5.83GB，和官方标注的下载体积一致。
Q8_0 是一种 8 位量化格式，体积比 BF16（16 位浮点）小，但和托管部署不是同一份权重。迁移示例之后，文档提醒：本地调好的阈值，要拿一批自己的数据在托管模型上复核，再用于生产。
「不需要 API key」指的是本地端点；模型权重仍从 Hugging Face 拉取。安装步骤里，如果 Decider 要求 Hugging Face token，就粘贴一个有读权限的 token；如果此前跑过 hf auth login，应用会沿用现有登录。下载应用和模型都需要网络，推理在本机完成。
Flash 版的分数，和托管 API 的价目表
给出它的来历：4.54B 参数，基于 Qwen3.5-4B，从 27B 决策模型蒸馏，学生学习的是教师的完整概率分布，而不只是答案。模型卡建议在延迟或成本比最后一点准确率更重要时使用它。
在 Decision Index 0.3 的公开评测集上，flash 的单问题模式得 60.05，联合请求模式得 58.88；更大的 在联合请求下得 68.09。视觉 Decision Index 上，flash 是 72.53，大的版本是 77.43。Decision Index 总分低约 8 分，视觉低约 4.9 分。
作为交换，本地端点没有 token 账单；托管 Decisions API 的价格是每百万输入 token 0.04 美元，输出 token 免费，没有按请求收费。
这些分数来自 Perplexity 自己的模型卡。GGUF 页面又补了一句：页面上的评测结果来自基础模型，描述的是那个版本，不是这些 GGUF 文件；基础模型卡标的是 BF16 权重。Mac 上跑的 Q8_0 版本，不能直接把这张表当成 Mac 版本的实测结果。
同一份 JSON，两个端点不完全一样
本地端点和托管端点共用一套请求结构：state 放内容，questions 里给每个问题起名，返回每个问题的答案和概率。按文档，把本地代码搬到云端只需改 URL、加一个 Authorization 头。
但 Mac 页面把本地用法限定为一次一个问题：页面要求一次只发一个问题，配置文件里的默认值也是 mode = "per-question"。托管 quickstart 则说，一次请求可以带多个问题；在 27B 模型上，联合格式让这些问题共享一条序列，模型可以在问题之间互相参照。
这个限制和 flash 模型卡的建议一致：flash 在多数多问题任务上，一次一个问题更准；联合请求在方面类别情感（ACOS）上低 20.1 分、函数调用（BFCL）上低 15.4 分，但在「选出所有适用项」（SATA）的任务上高 6.6 分。对 flash 来说，这是更稳的用法，但也意味着按文档用法，本地用不上联合模式（把多个问题放进一条序列、让它们互相参照）。
还有一层差异在权重：本地是 Q8_0 GGUF，托管部署不是这份 GGUF 文件。官方建议是，在依赖本地阈值之前，先用自己的数据抽样，在托管模型上复核。
回环地址之外的开关
默认配置里，host = "127.0.0.1"，port = 8080；文档要求把 host 留在 127.0.0.1。这意味着默认只有本机能访问这个端点。
菜单里还有一项 Allow Network Access (0.0.0.0)。打开它，服务就不再只监听回环地址；由于端点本身不校验 API key，局域网内能访问这台机器和端口的人，都可以向它发请求、读取返回的概率。
应用退出时，本地 API 也会停止；菜单里的 Start at Login 可以让它随登录启动。对把 Decider 接进 pre-commit hook（提交前钩子）或批处理脚本的人来说，应用没开，请求就会失败。
校准数字与 Mac 上的 13 道题
公告下，回复者 问了一个直接的问题：概率 0.7 是否意味着模型在评测里大约 70% 的时候是对的？这决定了用户能不能选一个固定阈值就信，还是要为每个问题单独调。
flash 模型卡给了部分答案：在 1,497 道开发集问题上，模型套用 1.554 的温度后，准确率 88.8%，期望校准误差（ECE）0.021。ECE 越低，预测概率和实际正确率越接近；0.021 约等于 2.1 个百分点的校准误差。
但这组数字有三个限定：基础 BF16 模型、开发集、Perplexity 自己的评测。Mac 上跑的是 Q8_0 GGUF；GGUF 页面明确说，评测结果描述的是基础模型，不是 GGUF 文件。
GGUF 页面给出的 Apple 侧检查是 13 道 golden questions（基准问题），逐条单独运行。Q8_0 的最高概率选项与 float32（32 位浮点）参考实现在 13 道题上全部一致，最大概率差 0.016（1.6 个百分点）。这个检查说明量化没有改变最高概率选项，也说明在这 13 道题上概率偏移很小；它不构成对真实工单、截图或日志的准确率与校准评测。
所以，0.7 在 Mac 上是否还是 70%，要看用户自己的数据。13 道题能说明 Q8_0 算得接近参考，说明不了你的那批文件。