AREX Feed Article
NVIDIA 发布 Nemotron-3.5-Bolt 与 Nemotron-3.5-Super-VL 开源模型，Unsloth 放出 GGUF 权重与本地运行指南
北京时间 10 月 15 日深夜，本地模型应用团队 Unsloth（@UnslothAI）：NVIDIA 发布两款新开源模型 Nemotron-3.5-Bolt 与 Nemotron-3.5-Super-VL，并已随帖放出两款模型的 GGUF 量化权重（llama.cpp 可直接加载的单文件格式）和本地运行指南。按帖文说法，Nemotron-3.5-Bolt-74B-A9B 可在 24GB 内存上运行，「在同尺寸模型中提供顶级性能」；Nemotron-3.5-Super-VL-120B-A12B 可在 82GB 内存上运行。
帖文中可核对的部分已经对上了：帖文链接指向的 和 已在 Hugging Face 上线，和 两份文档也已挂出；NVIDIA 官方组织名下，和 都把发布日期标注为 2026 年 10 月 15 日。至于「顶级性能」，模型卡上的基准数字均出自 NVIDIA 自家评测。
从 120B 到 74B：Bolt 由 Super-VL 压缩而来
按 NVIDIA 官方模型卡，Nemotron 3.5 Bolt 74B-A9B 是一款视觉语言模型，定位是「在本地运行日常 agentic（智能体式）任务」：输入接受文本、图像和视频，输出文本，上下文窗口最高 256K token（词元）。名字里的 A9B 指总参数 74B、每 token 激活 9B。
它不是从零训练的。模型卡写明，Bolt 由 120B 参数的 Nemotron 3.5 Super VL 压缩而来：NVIDIA 用自家名为 Star Elastic 的路由引导架构搜索加端到端压缩算法，把专家激活数从父模型的 22 个固定为 9 个，搜索目标设定为「batch size 1、128K 上下文时总占用低于 24GB」，预算里预先计入 2-bit 专家权重和 16-bit SSM（状态空间模型）状态等量化开销；架构定下后再用总计 1200 亿 token 做恢复训练。视觉部分则把 Super VL 的视觉编码器重新接回压缩后的语言主干，只微调投影层——视觉适配器训练用了约 660 万个图文样本，其中约 250 万条是中文文档 OCR 数据。
作为压缩来源的 则是另一款主角：120B 总参数、12B 激活，Mamba-2、注意力与 MoE（专家混合）层混合堆叠，每层 MoE 挂 512 个路由专家，上下文最高 100 万 token，内置 Multi-Token Prediction（MTP）头做原生推测解码，面向推理、编程、工具调用、文档理解和视频理解。BF16 全精度版需要 4 张 H100 或 2 张 GB200 才能部署——这也是 Unsloth 要专门做小体积量化的原因。两款模型均采用 OpenMDW-1.1 许可，商用与非商用都可用。
24GB 内存：NVIDIA 的设计目标与 Unsloth 的实操预算
「24GB」不是 Unsloth 发明的口径。NVIDIA 官方就有一个名为 NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF 的仓库，权重采用带量化感知训练的 2-bit（IQ2）量化，官方描述是「装进 24GB 内存、与其它应用并行运行」。进一步拆解了这版量化：大部分专家权重存在 2.06-bit 的 IQ2_XXS 精度上，Mamba 层用 NVFP4（NVIDIA 的 4-bit 浮点格式），输出头用 Q8_0。
实操口径要更保守一些。指南建议短上下文场景按约 32GB 内存或统一内存做预算，48～64GB 余量更从容；它列出的量化表里，估算最低内存正好 24GB 的是最小的 1-bit 档 UD-IQ1_S（下载体积 20.7GB），2-bit 档（23.1～23.6GB）估的是 32GB。也就是说，推文的「24GB 内存可跑」对应的是 NVIDIA 的 IQ2 设计目标或指南里最小的 1-bit 档。
仓库本身在发布当天仍在调整。截至本文发稿，最新提交说明写着「随附 NVIDIA 官方 IQ2_XXS 与 LiLiCorr 草稿模型，移除其它量化和 DSpark」，当前文件列表只剩一个 22GB 的官方 IQ2_XXS 主权重、一个 998MB 的 DFlash 推测解码草稿模型和一个 1.73GB 的视觉投影器；指南页面还保留着此前 UD 系列量化的表格，两边尚未完全对齐。
Super-VL 的 82GB 说法，指南内存表里没有这一档
推文里的 82GB 在 内存表里没有对应档位，最接近的是 80GB 档：55.9GB～59.8GB 的 2-bit/3-bit 量化（UD-IQ2_M、UD-Q2_K_XL、UD-IQ3_XXS）估算最低内存 80GB；最小的 1-bit UD-IQ1_M 是 46.1GB 文件、估 64GB 内存；79GB 的 NVFP4 版估 96GB；教程主推的 4-bit UD-Q4_K_XL 是 86.9GB 文件、估 128GB 内存，表中最重的 Q8_0 达 132GB 文件、估 192GB 内存。
指南对这批数字的性质说得很直白：它们是「规划估算」，已计入操作系统、运行时、KV（键值）缓存和视觉投影器的余量，不是实测成绩；128GB 统一内存的机器（如 DGX Spark）刚好匹配 4-bit 档的预算。Super-VL 的量化阵容也比 Bolt 完整，里从 UD-IQ1_M 到 Q8_0 共十档 GGUF，另有 NVFP4 和 LiLiCorr 目录。
基准数字全部出自 NVIDIA 自家评测
「同尺寸顶级性能」目前能对应的证据是 里的基准表：Bolt 24GB（IQ2）对比 Qwen3.6-35B-A3B、Gemma4 26B-A4B 和 NVIDIA 自家 Nemotron 3.5 Lightning 30B-A3B 的 BF16 版本，13 项基准中 10 项领先，包括 GPQA Diamond 86.43（对手 75.57～83.40）、Terminal-Bench 2.1 50.98、BrowseComp 66.75、HLE 无工具 25.30；落败的三项是 AA-Omniscience 准确率（16.90，低于 Gemma4 的 22.17）、AA-Omniscience 非幻觉率（61.27，低于 Lightning 的 68.81）和 PinchBench（87.82，低于 Qwen3.6 的 88.07）。表格还有一个脚注：Qwen3.6-35B 官方报告的 MCP-Atlas 成绩是 62.8，NVIDIA 在公开的 500 道题上自测出 51.2。
覆盖面更大，对比对象包括 Qwen3.5-122B-A10B、Qwen3.8-Flash-Next、DeepSeek-V4-Flash0731、GLM-5.3-Flash 等，结果是互有胜负：SWE-bench Verified 71.10，低于对比模型的 71.9～79.10；LiveCodeBench v6 88.22，低于 Qwen3.8-Flash-Next 的 94.1 和 DeepSeek-V4 的 94.6；GPQA-Diamond 89.52，低于 GLM-5.3-Flash 的 91.2；GraphWalks 89.71 则是表中最高。NVIDIA 说明所有评测经 NeMo Gym 收集、配方已开源——换言之，表里的所有数字，包括对比模型的分数，都出自 NVIDIA 一家的评测口径。
两条本地路线：Unsloth Desktop 与 llama.cpp
两份指南给出同样的两条路线。第一条是 应用，macOS、Windows、Linux 都能装，在应用内搜索模型、选量化、下载后直接对话，推理参数自动配置，本文首图就是该应用中运行 Bolt GGUF 的画面。第二条是 llama.cpp：自行编译，无 GPU 就把 -DGGML_CUDA=ON 改为 OFF，Apple Silicon 上 Metal 默认开启；图像和视频输入需要额外下载视觉投影器文件，视频还要求 PATH 里有 ffmpeg 和 ffprobe。
视频输入有明确限制：Bolt 支持最长 2 分钟的 MP4，1080p 下每秒 1 帧、最多 128 帧，或 720p 下每秒 2 帧、最多 256 帧。文本生成的推荐采样参数两款一致（temperature 1.0、top_p 0.95，Super-VL 的视觉输入另建议 temperature 0.6），thinking 推理模式通过聊天模板开关，Super-VL 的 MTP 默认启用。
上下文按内存余量从低档起步（Super-VL 建议 16K、Bolt 建议 4K），视频帧会占用上下文 token。Unsloth 文档的演示截图显示，Bolt 在桌面应用中回答图像问题的生成速度为 33.7 tok/s；至于「同尺寸顶级」，其依据目前仍限于 NVIDIA 自家的基准表。