AREX Feed Article
Unsloth 宣布 Laya Decision 模型可本地运行：4GB 内存起步，经 Unsloth Desktop 提供 Jev 兼容 API
9 月 28 日，Unsloth AI 在 X 上发帖称，，最低 4GB 内存，覆盖 CPU、Mac、Windows、Linux 与 GPU 环境；同时可以通过 Unsloth Desktop 以 Jev 兼容 API（Jev-compatible API）对外提供 Laya 服务。帖文附了 GitHub 仓库与使用指南两个链接。
更具体的参数来自帖文链接的和同日发布的 ：默认的多语言模型体积 678MB，面向 100 多种语言、1,024 token 上下文；本地服务的端点写为 Jev 兼容的 /v1/systemone。这些信息都是 Unsloth 一方口径，帖文没有附基准数据。
4GB 内存对应的是默认多语言配置
4GB 不是三套推荐设置里的通用数字。指南列出的配置是这样分的：
- 多语言（默认）：4GB 内存、678MB 模型，面向大多数场景，支持 100 多种语言、1,024 token 上下文；
- 英语：5GB 内存、846MB 模型，只处理英语，使用更大的编码器，512 token 上下文；
- 类型化决策（typed decisions）：5GB 内存、846MB 模型，只处理英语，面向发票、安全事件、客服与 agent 轨迹。
运行默认在 CPU 上；文档称切到 GPU 会更快，但 GPU 会把模型一直留在内存里，直到手动点击 Unload 或重启 Unsloth。显存不够时，Laya 自动退回 CPU 继续回答。文档称，所有数据都留在设备上。
把文本变成可执行的决策
这类决策模型处理的是“文本进、结构化结果出”的任务：工单该路由给谁、邮件要不要过滤、内容打什么标签。指南给的示例很具体：拿一段被重复扣费的退款投诉文本，同时问三件事：该由 billing、technical、sales 还是 other 团队处理；客户是否在要求退款；这件事有多紧急。
问题类型有三种，类型名直接写在请求里：noul 回答是/否，返回“是”的概率，0.98 表示很可能，0.5 表示两可；choice 在若干选项里选一个，返回最可能的选项和每个选项的概率；score 在一条刻度上打分，从 0 数起。choice 和 score 还会返回 confidence：越接近 1 说明某个答案越突出，越接近 0 说明概率越分散。
文档也写明了规模上限：单次请求最多 64 个问题，每个 choice 问题最多 255 个选项，score 问题最多 10 档。速度方面，首个请求要花 10～20 秒加载模型，之后在多数 CPU 上每个请求远低于一秒。
一个 Jev 兼容的本地端点
官方文档把 Laya 描述为一款开源的 Jev 替代方案，并写明可以用 Unsloth 的图形界面，把 Laya 以 TypeSafe 兼容的 Jev API 对外暴露，让现有 Jev 集成把请求指向本地服务器。
具体操作：在 Unsloth Desktop 里打开设置 → API → Decision API，开启 Serve requests，默认的 Laya 模型（678MB）会在确认后开始下载。API key 在同一页的 Access tokens 下；只在 localhost 上使用时，可以开启免 key 访问。对外暴露的端点是 /v1/systemone；版本说明还提到，在 Apple Silicon 上选择 GPU 运行时，Laya 原生走 MLX。
对已经用 TypeSafe SDK 的项目，迁移是 pip install typesafe-sdk 加两个环境变量；SDK 默认的模型名 jev-latest 会映射到设置里选中的那个模型，也可以直接写 laya、default、laya-multilingual、laya-english 或 laya-typed-decisions。
桌面端覆盖 macOS、Windows 与 Linux
本次更新以 v0.1.900-beta 的形式发布。GitHub 的发布记录显示，该版本发布于 9 月 28 日 UTC 14:33，比 Unsloth 发帖早不到 50 分钟；发布说明标题是“Laya Decision Models + Library”，正文写明可通过 Jev 兼容的 /v1/systemone 端点接入 TypeSafe SDK。
给出了 Windows、macOS 与 Linux（x64 与 ARM64）的桌面端安装包，也提供脚本和 Docker 方式；仓库说明 Unsloth 可在 Windows、Linux、WSL 与 macOS 上运行，支持多 GPU、NVIDIA / AMD / Intel GPU、CPU 与 Vulkan 后端。文档推荐的上手方式是下载 Unsloth Desktop，在应用里开启 Decision API。
与 Jev 的两处差异：阈值与选项预算
官方文档列了两处与 Jev 的差异。
第一处是 confidence 的算法不同，为 Jev 调好的阈值不能直接沿用；文档建议改用 probabilities 设定判断线，比如只有当 technical 的概率高于 0.8 时才建缺陷单。
第二处是选项的 token 预算：choice 里的选项共享一份固定预算，描述超过大约 20 个选项后，标签会被裁剪。
帖文回复里，用户 Mathias Heinke（@ares_mheinke）写下了自己的迁移重点：“4GB 的标题不错，但对我来说迁移说明更重要：Laya 和 Jev 计算 confidence 的方式不同。在复用任何路由阈值之前，我会先在有标注的工单上把选项概率复核一遍。”（）
对已经把 Jev 用在生产路由里的团队，换到本地 Laya 的路径分成两层：端点地址按文档几步就能换过去；剩下的一层是重新校准，阈值不能沿用 Jev 的旧值，选项规模要按共享 token 预算重新核。