AREX Feed Article
英伟达基于 Gemma 4 E4B 打造 Nemotron 3.5 Bolt E4B，在一块 8GB Jetson 上同时跑对话、动画与视觉模型
北京时间 11 月 10 日凌晨，Google Gemma 官方账号 发帖推荐英伟达的新模型，并附上一段机器人演示视频：「把基于 Gemma 的模型装进机器人身体。它做的第一件事：扫描房间、发现大电视，然后开始『观影休息』。」帖文写道，很高兴看到 @NVIDIAAI 在 Gemma 4 E4B 上构建，「把实时对话、工具调用、动画和视觉模型装进了单块 8GB Jetson」。
被推荐的主角是英伟达 10 月 23 日发布的。英伟达当时的发布视频里，Reachy Mini 机器人一边聊天一边做动作：Bolt 负责对话，NVIDIA Cosmos 负责视觉，两个模型都本地运行在一块 Jetson Orin Nano 8GB 上。按照的介绍，这个开放小模型在 Gemma 4 E4B 上后训练而来，在其目标工作负载中可以把对话代理智能压进约 4GB 内存；标注总参数 8B、有效参数 4B。
推荐帖里的「观影休息」，源头是 10 月 23 日的发布
@googlegemma 的这条推荐还有一个细节：官方账号在同一帖下自行回复，补上两条链接——一条指向英伟达 10 月 23 日的原帖，另一条指向 Nemotron 3.5 Bolt E4B 官方页面。该账号自述为「Google Gemma 的官方主页」，介绍 Google DeepMind 打造的轻量开放模型。
英伟达原帖这样描述视频内容：「看 Reachy Mini 聊天和移动——Bolt 处理对话，NVIDIA Cosmos 处理视觉。两个模型都本地运行在 Jetson Orin Nano 8GB 上。」需要留意的是，「扫描房间、发现大电视、开始观影休息」这场戏出自 Google Gemma 账号对视频的转述与推荐口径，具体技术细节以英伟达原帖和官方页面为准。
一块 8GB Jetson Orin Nano 如何同时承载对话、视觉与动画
官方页面对这套分工有一句关键说明：Cosmos 3 Edge 为 Bolt E4B 提供对现实世界的实时视觉理解；Bolt 生成口播回复，并通过工具调用从机器人的动画库中调取动作脚本。也就是说，推荐帖列举的「动画」并不是第三个模型，而是 Bolt 用工具调用触发的脚本动作。同一机制在英伟达的另一个演示里更直观：一个铁匠商人 NPC（非玩家角色）会先核对玩家付款是否正确，再自主调用工具查配方、收集材料、合成物品并交付给玩家。
在演示所用的 Jetson Orin Nano 8GB 上，英伟达用开源推理框架 llama.cpp 实测（Q4_K_M 量化、批大小为 1）：3K 输入、50 输出的典型对话负载占用 4.2GB 显存，生成速度 15.5 token/s（词元/秒），首 token 延迟 5,785 毫秒；另一组带 32K 缓存上下文的负载（2K 输入、256 输出）显存 4.9GB、首 token 6,259 毫秒、速度 13.0 token/s。同样的 3K/50 负载换到 RTX 5070（12GB）只占 3.5GB 显存，首 token 延迟 548 毫秒，生成 133.4 token/s。
只用强化学习的后训练：在 Gemma 4 E4B 上重练行为
Bolt E4B 的底座是 Google 开源的 。据官方模型卡，英伟达用 GRPO（组相对策略优化）算法在指令遵循、多步工具调用、多轮对话和结构化输出四类环境里做强化学习，训练框架是自家的 NeMo RL 与 NeMo Gym；上下文窗口 64K，官方页面称支持 35 种语言（底座预训练语料覆盖 140 多种语言）。
这次后训练有一个明确的取舍：完全跳过了监督微调。MarkTechPost 对照解释，SFT 虽能提升工具调用，但会损害 Gemma 原有的对话质量、让输出变啰嗦。为控制长度，每个训练批次保持 2:1 的非推理与推理样本比例，并在 GenRM（生成式奖励模型）环境中对推理和回答长度施加惩罚；发布前用 importance-matrix（重要性矩阵）校准把 BF16（bfloat16 浮点格式）检查点量化为 Q4_K_M，校准数据是约 100 万 token 的同批次 RL rollouts（强化学习采样轨迹）。
随模型一起发布的还有 ：它一次前向传播就提出全部草稿 token，再由主模型并行验证，官方称吞吐较 Gemma 4 E4B 原版 MTP（多 token 预测）草稿模型最高提升 21%；MarkTechPost 给出的 RTX 5070 实测对比是 272.6 对 225.9 token/s。权重、训练数据和训练配方一并公开，采用 OpenMDW-1.1 许可（允许商用），底座 Gemma 4 遵循 Apache 2.0。
21 项基准赢 15 项，Qwen3.5-4B 在五项上仍然领先
官方成绩全部由英伟达在自己的 NeMo Gym 评测框架下测得，模型卡注明「可能与厂商自报分数不一致」。在对比 Gemma 4 E4B、Qwen3.5-4B 和上一代 Nemotron 3 Nano 4B 的 21 项基准（BF16 成绩）中，Bolt E4B 在 15 项上拿到对比组最高分；官方称平均分较 Nano 4B 高约 40%，较同类对手高约 10%。官方对比图（Q4_K_M、RTX 5090 实测）里，Bolt E4B 4GB 的代表基准平均分为 70.2，Gemma 4 E4B 为 63.2，Qwen 3.5 4B 为 59.1；同一图表给出的云端参照是 Gemini 3.8 Flash 77.1 分（首 token 2,449.5 毫秒）和 Claude Sonnet 5.5 76.2 分（3,002.2 毫秒），而图中 Bolt 的位置在 300 毫秒附近。
单项成绩里，指令层级评测 IHEval 的差距很明显：Bolt E4B 拿到 84.8，对比 Gemma 4 E4B 的 67.0 和 Qwen 的 60.6；MultiChallenge 53.1 也略高于 Qwen 的 51.8。但 Qwen3.5-4B 并没有全面落败——BFCL-v3、ToolSandbox、Tau2-Bench、RULER 64K、LongBench v2 五项仍然领先（例如 Tau2-Bench 75.1 对 55.1），Gemma 4 E4B 在 EQ-Bench v3 上以 41.1 对 39.4 领先。省 token 是英伟达主打的另一个卖点：推理开启的对比中最多可少输出约 80% 的 token；官方另一张图表里，Bolt 推理模式用平均 672 token 拿到 63.9% 的平均准确率，Qwen3.5-4B 要 3,604 token 才到 57.8%。模型卡注明，除 RoleBench、EQ-Bench v3 和 RULER 三项外，其余基准均在推理模式下评测。
已有独立开发者上手实测：John O'Reilly 在里说，他在自己的几个代码仓库上做了快速测试，表现「与标准 Gemma 4 E4B 基本一致」，并补充「它是为 agentic 工作（工具调用、多轮代理任务）调优的，但我没看出多大差别」。
名字里的「4GB」是内存目标，GGUF 文件实为 6.18GB
「4GB」指目标内存占用，不是文件体积： 指出 Hugging Face 上的 Q4_K_M GGUF（llama.cpp 使用的模型文件格式）实际有 6.18GB。英伟达的设计意图是把对话代理智能尽量压进约 4GB 的内存，给同一管线里的应用和相邻模型留出余量。官方页面把目标场景列为设备与语音助手、游戏中的交互角色、机器人与工业嵌入式界面，并解释了为什么不直接上大模型——内存、延迟、硬件兼容、成本和隐私约束，让大模型难以进入生产环境。
获取渠道已经铺开：Hugging Face、Ollama、LM Studio、Unsloth、Canonical、Jetson AI Lab 和 NVIDIA 的 In-Game Inferencing SDK 都能拿到，已把 Orin Nano 8GB 列入支持模块并给出 llama.cpp 部署命令；截至发稿，显示近 30 天下载超过 13 万次。
不过，官方数字表还有演示之外的另一面：在那块 8GB 板子上，3K 输入的首 token 延迟以秒计，上下文加长后还会更高，官方注明结果随硬件、推理软件和配置而变。「实时对话」在这块板上能做到多顺滑，仍有待第三方在真实对话负载下实测。