Unsloth 携手 AMD:本地模型推理跑上 XDNA 2 NPU,官方称功耗较 GPU 低 2~4 倍
北京时间 11 月 19 日深夜,Unsloth 官方账号 @UnslothAI 在 X 发帖宣布与 AMD 合作,把本地模型推理(local model inference)带到 AMD NPU 上。帖文写道,NPU「在提供强大计算性能的同时,功耗较传统 GPU 低 2~4 倍」,双方携手「让模型以更低功耗运行」,支持平台列为 Strix、Gorgon、Krackan 及更多。
帖文所链的 AMD 新闻室公告给出了更大的落地范围:超过 100 个代理式(agentic)AI 应用与工作流,可在受支持的 AMD Ryzen AI PC 上接入本地 NPU 推理,而 XDNA 2 架构 NPU 是首个被其桌面应用 Unsloth Desktop 支持的 NPU。从这份公告(UTC 时间 11 月 18 日 22:48)到 AMD 技术博客(11 月 19 日 14:00)再到官宣帖(15:03),两家在约 16 小时内连发三份材料;Phoronix 于 11 月 19 日报道,本地 NPU 推理现已可用,起点是 XDNA 2 及更新的 Ryzen AI NPU。
从公告到博客:两家如何描述这次合作
合作的载体是 Unsloth Desktop。按新闻室公告的介绍,Unsloth 的开源工具可加速微调、降低 GPU 显存占用,另有可免写代码完成训练与推理的桌面应用;NPU 支持把这套生态扩展到 CPU 与 GPU 执行之外。AMD 在公告中写道:「通过支持 Unsloth Desktop,AMD 正在为开发者和用户扩展可用的计算资源,让代理式工作流能经由熟悉的应用、在本地高效部署与运行。」
AMD 技术博客把 XDNA 2 称作「全球首个被 Unsloth Desktop 支持的 NPU」,并说明支持通过集成 Lemonade 与 FastFlowLM 实现。Phoronix 还提到:AMD 向其预先确认,Unsloth Desktop 的 Ryzen AI NPU 支持在 Linux 构建上同样可用,并不限于 Windows。
兼容应用经一条 OpenAI 兼容 API 接上 NPU
公告描述的工作路径是:兼容应用把模型请求发给 Unsloth Desktop API,Lemonade 与 FastFlowLM 负责在 XDNA 2 NPU 上完成模型伺服与推理,响应再交回应用;NPU 只加速受支持的模型推理,应用其余功能仍按需使用 CPU 和 GPU。这个 API 提供 OpenAI 兼容端点,Unsloth 文档写明 NPU 模型经 /v1/chat/completions 伺服。
公告列举的兼容工具包括 Hermes Agent、OpenClaw、Open WebUI、Cline、LangChain 与 GitHub Copilot,AMD 博客另举了 OMP 和 VS Code,覆盖从编码辅助到多步 agent 工作流。文档列出的能力清单还包括:流式响应,支持推理、视觉与工具调用,技能(skills)、MCP 服务器、网页搜索、与本地文档对话;命令行可用 unsloth run 加载模型、unsloth chat 直接对话。
功耗口径:推文区间与文档的「每 token 生成」限定
功耗数字是两家的自报口径。文档把推文里的区间写得更细:「每 token 生成」的能耗较传统 GPU 低 2~4 倍,token 指模型逐个输出的文本单元。这三份材料均未附第三方测试数据,文档表格中的速度数字同样标注为自家测量值。
AMD 博客用「Unplug your Agents(拔掉电源)」一节解释动机:把受支持的推理负载卸载到 NPU,有助延长电池续航,并把 CPU 与 GPU 留给其他应用(视内存而定);对开发者,这意味着低功耗、常驻的 agent 有了落地方式。文档中对应的是一个四档 Power Mode——Power saver、Balanced、Performance、Turbo,FastFlowLM 默认 Performance;电池供电建议前两档,插电求快选 Turbo。
Strix、Gorgon、Krackan 对应的 Ryzen AI 产品线
官宣帖里的三个代号,在文档中落到具体产品线:Strix Point 与 Krackan Point 属于 Ryzen AI 300,Strix Halo 属于 Ryzen AI Max,Gorgon Point 属于 Ryzen AI 400;文档还写明「未来带集成 NPU 的 AMD 设备」也在支持之列,前提是配备 XDNA 2 或更新的 NPU。
操作系统方面,Windows 11 与 Linux x64 都受支持。Linux 侧需要 7.0 或更新内核配合 amdxdna 驱动,旧内核则配 amdxdna-dkms,另需更新 NPU 固件并放开 memlock(内存锁定上限)限制;文档写道,缺什么就提示什么——旧驱动、旧固件、不支持 NPU 的内核或过低的 memlock,都会得到对应指引。
跑 35B 混合专家模型的门槛:Q4NX 格式、64 GB 内存与自管运行时
上手共五步:在带 XDNA 2 NPU 的设备上安装 Unsloth Desktop(博客示例为 Windows 版);在模型中心把筛选器切到 NPU;点一次 Enable NPU,Unsloth 会下载 FastFlowLM 并检查驱动版本;下载 NPU 模型;回到 New Chat,从 NPU 分组加载。
NPU 只认 AMD FastFlowLM 运行时的 Q4NX(4-bit)格式,模型来自 FastFlowLM 在 Hugging Face 上的集合。文档的自测数据包括:Qwen3.6-35B-A3B-NPU2 体积 20.6 GB、建议 64 GB 内存、速度 17.2 tok/s(每秒生成 token 数)、首 token 延迟 3.13 秒;Qwen3-VL-4B-Instruct-NPU2 为 3.9 GB、16 GB、20.5 tok/s;最小的 LFM3-1.7B-NPU2 为 1.5 GB、16 GB、40.7 tok/s。AMD 博客的提醒更细:Qwen 3.6 35B A3B 满上下文约需 28 GB NPU 可用内存,按 Windows 默认 50% 共享分配计算,系统得有 64 GB 内存。博客还附了一段实时演示:总参数 350 亿的 Qwen3.6 混合专家(MoE)模型,经 Unsloth Desktop 与 FLM 在 NPU 上本地推理。
安全设计上,Unsloth 自管 Lemonade 与 FastFlowLM 副本,运行时下载锁定到特定版本并以 SHA-256 校验,托管的 Lemonade 服务器只接受本机连接、每次启动更换认证密钥。
边界写在文档里:NPU 不替代 GPU,它只是 Ryzen AI 处理器内的专用 AI 引擎,跑模型时 GPU 仍可留给游戏或渲染;GGUF 模型不能直接在 NPU 上运行,需在导出页转成 Q4NX(转换由 CPU 完成),自行转换的模型目前还不能从 NPU 模型列表直接加载。文档同时写明,FastFlowLM 与 Q4NX 转换器会逐步加入新模型,Unsloth 将同步这些仓库的最新版本——NPU 模型阵容的扩展节奏,取决于这两条更新线。
参考链接
- @UnslothAI 的官宣帖(X)
- AMD 新闻室公告:AMD and Unsloth Bring NPU Support to 100+ Agentic AI Apps
- AMD 技术博客:AMD x Unsloth — Unlocking the World's First NPU for Unsloth Desktop
- Unsloth 文档:AMD NPU — Run Models Locally Guide
- Phoronix:Unsloth Desktop Now Supports Using The AMD Ryzen AI NPU
- Lemonade
- FastFlowLM(GitHub)
- FastFlowLM NPU 模型集合(Hugging Face)