AREX Feed Article
Edge0 开源 145B 与 120B 端侧模型及统一推理框架，官方称峰值内存 29GB、可在笔记本本地运行
2026 年 11 月 12 日，Edge0 在宣布开源 Edge0-145B 与 Edge0-120B 两款端侧模型，并同步发布统一推理框架与部署工具。官方称 Edge0-145B 是首个拥有 1450 亿参数的开源端侧模型，可在兼容笔记本上本地运行，报告的峰值内存为 29GB、解码速度超过 80 token/秒；博客还称其编码、推理与指令遵循成绩可与特定前沿云端模型竞争。这些数字与「首个」的定性均出自该公司自报口径。
权重与代码可以公开核验：截至发稿， 上的 Edge0-145B-NVFP4 模型卡可访问、更新于 11 月 12 日，页面链接了 145B 与 120B 各自 Q3_K 与 NVFP4 两种量化格式共四个权重仓库；GitHub 上的 仓库（C++ 编写、Apache-2.0 许可证，10,517 stars）发布说明确认两款模型已上线，并写明它们由 Qwen3.8-Flash-Next 衍生而来，面向单张 NVIDIA GPU。
图表来源：Edge0 官方博客。
权重、推理引擎与 Windows 安装包同步上线
GitHub 发布说明（标注日期为 11 月 13 日）称，edge0-145b 与 edge0-120b 是从 Qwen3.8-Flash-Next 衍生的 latent MoE（潜在专家混合）模型，面向 Linux 或 Windows 上的单张 NVIDIA GPU，由 edge0-strata 引擎驱动，通过 edge0-infer 的 serve 与 chat 命令启动。edge0-strata 是 Strata 的一个分支；此前 11 月 4 日发布的 edge0-infer 则是基于 GGML 的统一 C++ 推理引擎，用同一套原生 API 覆盖 macOS、iOS、Android 与 Windows，内置命令行、OpenAI 兼容的本地服务器和桌面聊天应用，首批支持 edge0-35b，edge0-8b 留待后续版本。
对应的 Edge0 App v0.2.0 目前只有 （x64 与 Arm64）。发布页写明：145B 与 120B 需要 NVIDIA GPU（x64 版要求计算能力 7.5 及以上，覆盖 RTX 20/30/40/50）、至少 16 GiB 显存与 20 GiB 系统内存，并安装 CUDA Toolkit 13；Arm64 包面向计算能力 12.1 的 RTX Spark N1X。权重不随安装包附带，需要单独下载。博客称发布内容还包括一键部署工具与硬件指南。
公司自报的运行数字
博客为 Edge0-145B 列出的指标是：峰值内存 29GB、prefill（提示词预处理）超过 1,100 token/秒、解码超过 80 token/秒、典型功耗约 120W、上下文 128K～256K 且长输入下速度基本不变；官方称这组数字对应「兼容的个人笔记本，例如 MacBook Pro」，无需服务器。
模型卡上的实测口径则是另一组环境：NVFP4 格式、RTX 5090 D 24GB 显卡下，代理（agent）任务解码 98.3 token/秒、聊天（chat）解码 79.6 token/秒、16K prefill 3,165.7 token/秒；开启驻留（residency）后占用 23.25 GiB 显存加 38.27 GiB 主机内存。同一张卡换 Q3_K 格式，agent 解码升至 121.2 token/秒；Apple M2 Ultra（Metal）上 Q3_K 的 agent 解码为 57.0 token/秒。仓库说明还给出显存被限制到 16 GiB、内存被限制到 20 GiB 的测试预算下 agent 解码 44.9 token/秒的成绩，并注明该预算只是测试条件、不是最低系统要求。以上数字全部出自 Edge0 自己的测量。
六项基准的对标成绩全部来自公司内部评测
博客给出的成绩单是：DeepSWE 1.1 得 64.6 分，高于 Qwen3.8-Flash-Next 的 58.7 与 DeepSeek-V4-Flash-0731 的 54.4；Terminal-Bench 2.1 得 86.52 分，高于 Qwen3.8-Flash-Next 的 83.3、DeepSeek-V4-Flash-0731 的 82.7 与 Claude-Opus-4.6 (Max) 的 78.2；GPQA-Diamond 得 90.4 分，略低于 DeepSeek-V4-Flash-0731 的 90.8 与 Claude-Opus-4.6 (Max) 的 91.3；IFBench 得 80.6 分，高于 DeepSeek-V4-Flash-0731 的 79.2 与 Claude-Opus-4.6 (Max) 的 62.5；HLE 得 35.4 分，低于 Qwen3.8-Flash-Next 的 35.9 与 Claude 的 40.0；AA-LCR 得 79.3 分，略高于 Claude 的 78.0。博客注明：Edge0、Qwen、DeepSeek 与 Claude 的成绩都来自 Edge0 的内部评测。
博客给出的另一组对比是内存与能力：Edge0-145B 六项基准均值 72.8，实测峰值内存 29GB；Qwen3.8-Flash-Next 均值 71.7，标准 4-bit 部署的内存估计约 70GB——博客注明该基线是估计值、尚待实测。按此口径，官方称 145B 用约 40% 的内存取得了相近或更高的成绩，可在一台 48GB 内存的笔记本上本地使用；Edge0-120B 均值 68.9，内存同为 29GB。
图表来源：Edge0 官方博客；纵轴不从零开始，带星号的基线内存为估计值。
共享矩阵、SSD 流式读取与 CPU/GPU 并行：145B 的低内存机制
按博客与仓库的描述，Edge0-145B 是一个 latent 稀疏 MoE：48 层、512 个专家，每个 token 路由到其中 10 个（外加一个共享专家），上下文长度 256K，从训练第一天起就按 4-bit 端侧架构训练，而不是先训云端模型再做压缩；145B 的 latent 宽度为 1792，120B 为 1280。博客称 1450 亿参数中每步推理只有约 100 亿参与计算。
内存占用靠两件事压下来。其一是共享矩阵：每 64 个专家共享两个大矩阵，每个专家只保留一小部分差异参数，减少需要存储和搬运的权重。其二是三级加载流水线：常用「热专家」驻留显存，约 40GB 的专家库放在系统内存里按需调入 GPU，约 48GB 的词表数据放在 SSD 上按需读取；调度上让 CPU 与 GPU 并行计算，并用投机解码一次验证多个候选 token。仓库介绍称 edge0-strata 会流式读取 SSD 上的权重，并让路由器提前一步预测要加载的内容。
博客和仓库还展示了本地代理工作流的演示视频：模型在 Blender 中搭建曼哈顿城景、为一款奇幻 RPG 生成中世纪城市并渲染 20 秒飞行镜头、从一条指令写出真实无人机的飞行与识别程序、在 KiCad 中完成 PCB 布线并导入 Unreal Engine 5 渲染装配动画。官方称这些演示全程本地推理、未调用云端模型，曼哈顿城景约在一小时内完成。
两处口径出入：macOS 支持与内存数字
博客声称 Edge0-145B「首发即支持 macOS、Windows 与 Linux，包括 Apple M 系列芯片与 RTX Spark、RTX 4090、RTX 5090 等 NVIDIA 平台」。但 GitHub 仓库的平台表里，145B/120B 只列了 Linux 与 Windows 搭配 NVIDIA GPU（CUDA 13）的组合，macOS 一栏为空，并注明 M2 Ultra 的数据只是 Metal 实测、「不代表 macOS 发布可用性」；Edge0 App v0.2.0 也只有 Windows 安装包。 上，用户 theroadnotbacon 引用博客的 macOS 表述后指出「没有任何在 Mac 上运行的指引」，coder543 写道「奇怪的是他们还测了 M2 Ultra，但今天确实没有发布 Mac 运行时」，selcuka 则指出 edge0-strata 目前只支持 CUDA。
第二处出入在内存。博客标题口径是「峰值内存 29GB」，但同一篇博客的设计章节写明约 40GB 专家库常驻系统内存、约 48GB 词表数据驻留 SSD；模型卡给出的 NVFP4 驻留实测是 23.25 GiB 显存加 38.27 GiB 主机内存。用户 daemonologist 认为 29GB 的标题数字与博客自己的机制描述对不上。官方没有在博客中说明 29GB 对应的测量条件，也没有说明它是否涵盖完整存储栈。
“开源”标签之争与尚未到来的第三方验证
发布约 5 小时后，这条新闻出现在 Hacker News 上，权重许可率先引发争论。Zetaphor 写道：“这不是开源，这是开放权重。”hedora 认为其许可条款限制太多、达不到开放权重的标准定义；a012 反问：“我看到的是 Apache 2.0 许可证，这算限制太多吗？”框架代码仓库确实以 Apache-2.0 发布；权重侧，kimixa 引用 Hugging Face 页面称基座模型 Qwen3.8-Flash-Next 可能受 Qwen 单独授权或署名要求约束。fesoliveira 写道：“如果第三方测试能对上这些公开数值，那会非常令人兴奋。考虑到模型尺寸，我有点怀疑。”还有用户 suthakamal 追问官网为何几乎查不到公司信息。同日，X 用户 写道：“Edge0-145B 开源这一点最能打动我。任何跑在我笔记本上的东西，我都想能拆开看看内部。”
这是 Edge0 第二次大版本开源。仓库新闻记录，2026 年 9 月 8 日该公司首次开源框架与 Edge0-35B、Edge0-8B 预览模型，9 月 16 日在 arXiv 发布技术报告。博客还称 35B 发布帖首日浏览超过 120 万、开源模型三个月下载超过 1,500 万次、截至 10 月拥有超过 11 万家客户机构，并称过去一年发布了横跨 Edge0、Audio8、Decision0、Embedding0 四个家族的 200 个模型——这些规模数据同样出自公司口径。
博客称完整的评测设置、硬件环境与复现说明「将随技术报告发布」；截至发稿，博客与仓库中尚未给出 145B 技术报告的链接，Hacker News 讨论中也还没有出现第三方测试结果。