AREX Feed Article
EAGLE-4 官方推理代码发布：eagle-harness v0.1.0 适配 SGLang 与 vLLM，随附 3B 参数草稿模型
GitHub 组织 已公开 EAGLE-4 的官方推理代码，仓库标题为「Official Inference Code of EAGLE-4」，并打出了 发布标签；release 页面称这是「EAGLE-4 推理代码的首次公开发布」，同一版本的 eagle-harness 包已上架 ，页面标注发布日期为 10 月 20 日。官方 X 账号 Eagle（）在北京时间 10 月 21 日凌晨 5 时 42 分发帖宣布上线。截至发稿，仓库显示 137 stars、2 forks，最后更新时间为 10 月 20 日。
与代码一起交付的还有三样东西：一个 3B 参数、BF16（16 位浮点）精度的草稿模型，托管在 ；一套打过补丁的 SGLang、vLLM 和实验性 TokenSpeed 引擎 wheel（预编译安装包）与容器镜像；以及一份设 2,000 万美元营收门槛的 Eagle 4 Source-Available 许可证，仓库明确写明它是源码可得（source-available）软件、不是 OSI 认证的开源许可证。性能数字均为项目自测口径、未经独立核实：README 中快速上手的六种配置里，Qwen3.8-27B 在 NVIDIA B300 和 AMD MI355X 上、客户端并发 1～64 范围内实测加速 1.35×～2.99×。
eagle-harness 是插件，不改引擎本体
这个仓库本身就是 ，一个 pip 包（eagle_harness），通过引擎插件在 SGLang、vLLM 与 TokenSpeed 上驱动 EAGLE-4 草稿。它注册到引擎暴露的钩子接口（hooks）上，运行时不给引擎打补丁；原版引擎包不带这些 hooks，因此项目随 release 分发打过补丁的引擎：SGLang 面向 NVIDIA B300（CUDA 13.0）和 AMD MI355X（ROCm 7.2），vLLM 面向 B300，TokenSpeed 面向 CUDA 且标注实验性。它们以锁定版本的 wheel 索引和容器镜像提供，CUDA 镜像发布在 ghcr.io（eagle-4-sglang:0.1.0、eagle-4-vllm:0.1.0、eagle-4-tokenspeed:0.1.0），ROCm 镜像尚未发布。v0.1.0 release 附带五个引擎 wheel 和一份 SHA256SUMS 校验文件，eagle-harness 本体从 PyPI 安装；CUDA 引擎用 Python 3.12，ROCm 用 3.10。
自检命令 eagle-harness-check 只在引擎提供全部所需 hooks 时返回零，README 明确它不证明内核能运行、也不证明生成正确，要先跑通快速上手的请求再开始测量。硬件覆盖 NVIDIA sm_80 起的架构和 AMD CDNA2～CDNA4，走 Triton kernel（GPU 核函数）；kernel 测试只在 B300 上运行，其余架构只做了编译检查。请求目前仅支持文本，vLLM 的树验证需要未量化的 KV cache（键值缓存）；SGLang 与 vLLM 的树和链最多接纳 512 个运行中请求（SGLang 树默认 32，需自行调大 --max-running-requests），没有流水线并行，而「接纳」本身不构成吞吐或正确性保证。README 致谢还显示，AMD MI355X 的 ROCm 移植和 GFX950 上的 AITER、Triton kernel 来自社区贡献者的原始 PR。
投机树多大，由实测成本决定
仓库把 EAGLE-4 定位为「One Flexible Drafter for All Batch Sizes and Hardware」——一个草稿器适配所有批量与硬件。EAGLE-4 全称 Extrapolation Algorithm for Greater Language-model Efficiency，是 。投机解码（speculative decoding）的做法是由一个更小的草稿模型提出候选 token，再由目标模型批量验证；模型卡说明这份草稿「不是独立的文本生成模型」，必须与 EAGLE-4 代码和目标模型配合使用，项目称验证过程保持目标模型的输出分布。系列前三代是 EAGLE（ICML 2024）、EAGLE-2（EMNLP 2024）和 EAGLE-3（NeurIPS 2025），EAGLE-4 建立在这三代之上。
它的新机制在于：投机树的规模按运行所在的批量大小（batch size）、硬件与工作负载实测出的草稿（draft）与验证（verification）成本确定。草稿结构包含滑窗草稿层、低秩候选头和仅追加（append-only）草稿缓存，密集结构与 latent-MoE（潜在混合专家）结构都有实现。SGLang 和 vLLM 的做法不同：SGLang 在服务轮次中在线测量成本，不需要离线校准；vLLM 用静态树，深度停在离线校准结果上（eagle-harness calibrate 在 GPU 空闲时跑一次校准），随包发布的 rounds 调度文件在 batch size 达到 20 及以上时把验证宽度从 16 收窄到 4。MI355X 自动选择打包的成本档案；TokenSpeed 是实验性适配器，提供不经成本表的固定形状模式。
支持矩阵：并发越高，加速比越小
项目在里给出本次 release 的实测数字，矩阵标注 last_verified 为 2026-10-20。下表是快速上手自带的六种形状，每行是两次服务器启动的均值，测试用 NVIDIA 的 SPEED-Bench 客户端、温度 0；加速比等于 EAGLE-4 吞吐除以同一引擎关闭投机解码的对照吞吐。称每一行都通过了贪心（greedy）解码正确性检查。
| 引擎 | GPU | 客户端并发 | 无投机 tokens/s | EAGLE-4 tokens/s | 加速比 |
|---|---|---|---|---|---|
| SGLang | 4× B300，TP4 | 8 | 1,479.4 | 2,820.6 | 1.91× |
| SGLang | 4× B300，TP4 | 64 | 3,925.3 | 5,281.3 | 1.35× |
| SGLang | 1× MI355X，TP1 | 8 | 552.7 | 1,145.9 | 2.07× |
| SGLang | 1× MI355X，TP1 | 32 | 1,269.2 | 1,980.8 | 1.56× |
| vLLM | 4× B300，TP4 | 1 | 241.6 | 722.8 | 2.99× |
| vLLM | 4× B300，TP4 | 8 | 1,699.9 | 2,883.9 | 1.70× |
矩阵中还有更高的行：SGLang 在单卡 B300、单并发下测得 3.33×，8 卡 B300、单并发下测得 3.43×，是全部表格中最高的两条。趋势也一致：SGLang 在 4 卡 B300 上从并发 8 的 1.91× 降到并发 64 的 1.35×，vLLM 从单并发的 2.99× 降到并发 8 的 1.70×。文档自己的措辞是：这些是特定配置的测量，不构成在每个 batch size 都有加速的声明。
一个更接近真实负载的检查结果更谨慎：128 个请求、每请求上限 256 token、运行上限 64 的短负载检查中，随包 rounds 调度达到 8,288.6 tokens/s，相当于同机一次更早的匹配 no-spec（无投机解码）对照（8,541.1 tokens/s）的 0.970×。文档注明那次对照没有在同一检查中复测，因此这个比值不构成新的资格结论。
正确性规则也写得具体：greedy 输出出现无法解释的不一致，即使投机服务器更快也判失败；首分歧处参考 logprob（对数概率）差不超过 0.13 记为近似一致（near tie），更大差距用 fp32（单精度浮点）前向仲裁；通过这些规则也不等于与原生 BF16 逐 token 一致。
论文口径与推文口径：单请求 3.59× 与 961.6 tokens/s
仓库 README 转载的论文图 1(a) 给出的是单请求成绩：Qwen3.8-27B、SPEED-Bench qualitative split、4× NVIDIA B300、温度 0 下，EAGLE-4 相对 Vanilla（基线逐 token 解码）加速 3.59×，高于对比方法 DFlash 2（2.80×）、DSpark（2.57×）和 MTP（2.22×）。
给出了同一图表对应的吞吐数字：并发 1、4× B300（TP4，4 卡张量并行）、最大输出 4,096 token、所有方法用同一引擎并关闭 MegaKernel 的条件下，温度 0 时 EAGLE-4 为 863.8 tokens/s（3.59×），Vanilla 为 240.5；温度 1 时 EAGLE-4 为 608.6 tokens/s（2.59×）。
官方推文引的则是另一个数字：961.6 tokens/s，条件是 TokenSpeed、BF16、4× B300、TP4、单请求、温度 0。与推文口径相对，release 的支持矩阵写明「不为 TokenSpeed 主张吞吐数字」。
Eagle 4 许可：源码可得，营收超 2,000 万美元须另签商业协议
全文开头写明，这是源码可得许可、不是 OSI 认证的开源许可证，版权方为 Eagle AI Corp。条款对两类商业使用分别设限：与 Eagle 4 构成竞争的产品（Competing Offering）无论营收多少都需要另行书面商业授权，且不得通过改名、换壳等方式规避；其余商业使用在被许可方（Licensee）与全部关联方合并口径、任一连续 12 个月总营收不超过 2,000 万美元时被允许。一旦超过，必须先与 Eagle AI Corp 签订单独协议才能开始或继续商业使用，这一要求在随后营收回落时依然适用，且没有谈判期或宽限期；触发前的使用不被追溯禁止。
许可证把内部评估、学术与非营利研究、教育、个人非商业用途排除在商业使用之外。下载、clone、fork、修改、托管或分发都构成对许可的接受；由 sglang、vLLM、FlashInfer 等项目衍生的文件保留这些项目自己的声明。贡献条款则规定，向仓库提交内容即接受 Eagle 贡献许可条款，被接受贡献的对外授权由 Eagle AI Corp 控制。
首日反应，以及 release 页自己列出的限制
官方推文在发布数小时内获得 947 次点赞、274 次转发，浏览量 726,511 次（截至检索）。TokenSpeed 的开发方 LightSeek Foundation 称「有幸成为 day-0 引擎伙伴」，并主张训练用 TorchSpec、推理用 TokenSpeed；仓库致谢部分同样把 TokenSpeed 实现归功于 LightSeek 的贡献者。X 上有用户帖引用论文数字： 称论文在 512 并发请求的测试中报告 EAGLE-4 相对 DFlash 2 为 1.70×、相对 DSpark 为 1.99×（Qwen 3.8 27B、4× NVIDIA B300）——这是对论文的转述，不是独立复测。
在「Limits in this release」里列出的边界：TokenSpeed 为实验性、仅 CUDA、无吞吐主张；AMD ROCm wheel 仍在验证中；其余未达标配置收录在已知限制文档。仓库内的 自我标注为「初始发布的草稿，不是发布公告」，写明性能证据以支持矩阵为准、不做 release 范围的速度声明；Nemotron（latent-MoE）与 Mamba2 适配器随源码提供，但文档未给出一般性的合格加速声明。支持矩阵的工件安装检查还记录了一个具体失败：TokenSpeed wheel 的静态（static）模式在 20 个提示的检查中取得 5 个 exact、14 个 fp32 通过和 1 次失败，首分歧差距 0.178637 超过 0.125 的门槛，被标为 Not qualified；serve 模式则以 4 exact、16 个 fp32 容差通过。