AREX Feed Article
DeepSeek 完全开源自研推理框架 DeepInfer，同步开源编解码组件 deepseek-recipe
北京时间 10 月 20 日 17 时 30 分，DeepSeek 官方 X 账号 @deepseek_ai 通过宣布，自研推理框架 DeepInfer「现在完全开源」，代码位于 ，采用 Apache-2.0 许可证。官方称 DeepInfer 正以高吞吐、低延迟支撑 DeepSeek-V4.1-Flash 的大规模推理，并称分享这套生产级推理栈是为了帮助社区降低计算成本、减少能耗。截至发稿（发布约两个半小时后），该仓库已有 6,300 余 stars。
同一串帖还宣布开源 ，官方称之为「生产级 token 编码与解码组件」，称其与官方 API 背后的处理逻辑一致，让社区部署获得相同的 API 行为。这些定位与效果的说法均属厂商单方口径，尚未经独立核实；但两个仓库都已可以访问，README 里的功能清单、基准数据和限制条件能够直接核对。
两秒连发的四帖，和仍在更新的仓库
四帖的时间戳从 09:30:19 到 09:30:21（UTC），间隔两秒。首帖宣布 DeepInfer 完全开源；列出要点——高性能 kernel（算子）与优化的推理引擎、分布式推理与投机解码（speculative decoding）、SWA Bounded Replay（滑窗注意力有界重放）与结构化输出，并称未来 DeepSeek 模型的推理代码和持续优化也会落入该仓库；宣布 deepseek-recipe 开源；以「Open models. Open kernels. Open inference.」收尾，称将持续与社区合作，提升从私有部署到公有云的大规模推理效率。
仓库状态与官宣可以相互印证：GitHub 显示 DeepInfer 以 Python 为主、采用 Apache-2.0 许可证，仓库记录创建于 10 月 16 日，最后一次代码推送发生在北京时间 10 月 20 日 19 时 03 分（UTC 11 时 03 分），即官宣之后仍在更新。
README 里能逐一核对的功能与边界
DeepInfer 的 README 目前列出的受支持模型只有 DeepSeek-V4.1-Flash，默认检查点为 ，首次运行时自动下载。功能清单与官方帖文一一对应，且更具体：
- 优化 kernel：直接复用 DeepSeek 已开源的 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect，外加自研 TileLang kernel；
- 并行方案：注意力数据并行（Attention DP）、平衡的上下文并行（CP）、混合专家的专家并行（MoE EP）加专家负载均衡（EPLB）；
- 投机解码：README 写作「DSpark 与置信度调度验证」——用草稿 token（词元）加速解码，再按置信度估计调度验证，环境变量 DEEPINFER_USE_NEXTN_DECODE 控制最大草稿长度，默认 5；
- SWA bounded replay：解码阶段只重放一段有界后缀，以减少预填充（prefill）阶段的工作量；默认 V4.1 设置保留 140 个 token，且该后缀必须覆盖 SWA 窗口加最大回溯长度；
- 异步调度：CPU 批调度与设备执行重叠进行，默认开启；
- 结构化输出：支持以 regex（正则表达式）、JSON schema 或 EBNF（扩展巴科斯范式）文法约束生成；
- 批不变推理与确定性采样：不同批组合下模型结果一致，相同输入与采样参数产出相同输出，README 标注这两项仅限 NVIDIA。
致谢部分交代了这套代码的来历：DeepInfer 最初主要基于 vLLM 构建，并参考了 SGLang 与 TensorRT-LLM。
边界同样写在明面上：本次开源发布只提供离线推理。要组成完整的推理服务，还需要 KV cache（键值缓存）系统、VE/Prefill/Decode 分离部署、跨数据并行副本的负载均衡，这三块在 README 中明确标注「未包含在本发布中」。
吞吐与延迟：官方自测的两条曲线
README 附带两张基准图，测试条件写在图注里：prefill 用 4 张 SM100 GPU、decode（解码）用 64 张，各自位于一个纵向扩展（scale-up）域内；仓库提供 run_sweep.sh 脚本供复现。两组数字都是官方自测口径。
Prefill 曲线在 131,072 上下文、EP4DP4、384+32 experts、启用 140 token Decoder Bounded Replay 的配置下测得：每个 DP rank（数据并行副本）输入 4,096 个 token 时，延迟约 60 毫秒每步、单卡吞吐约 6 万 tokens/s；批大小（batch）增至 65,536 个 token，吞吐升至约 8.9 万 tokens/s/GPU，每步延迟也随之升至约 740 毫秒。
Decode 曲线展示的是吞吐与交互性的取舍：EP64DP64、384+64 experts、上下文同为 131,072。每个 DP rank 承载 256 个并发请求时，单卡输出吞吐约 2.6 万 tokens/s，单用户速度被摊薄到约 100 tokens/s；请求降到 8 个时，单用户速度升到约 327 tokens/s，单卡吞吐只剩约 2,500 tokens/s。图注同时给出投机解码参数：每步验证 3 个草稿 token（nextn=3）、单 token 接受率 75%，对应每步期望产出 τ=3.25。
deepseek-recipe：Rust 与 Python 双实现，缺口同样列明
第三帖宣布的 deepseek-recipe 是一套 Rust 库加 Python 绑定。按 README 的描述，它把 Messages、Chat Completions、Responses 三种格式的 API 请求统一转换为 Conversation 格式，编码成 DeepSeek 模型的提示词或 token ID，再把模型输出解析回对应格式的响应，支持流式输出。编码覆盖 DeepSeek V4 与 V4.1 两代对话格式；请求侧支持文本、图片、thinking 模式与客户端工具调用，图片经 OpenCV 做 V4.1 预处理；生成设置覆盖 thinking 模式、reasoning effort、temperature、top_p 与输出 token 上限。
安装路径直接写在 README 里：Python 3.10 以上用 pip install deepseek-recipe，Rust 侧 cargo add deepseek-recipe@0.1 deepseek-recipe-encoding@0.1；仓库附带一个网页版编码解码演示，以及基于 Axum 和 FastAPI 的模拟（mock）推理示例服务。GitHub 数据显示该仓库采用 MIT 许可证，官宣两个半小时内已有 1,100 余 stars。
「与官方 API 行为一致」是 DeepSeek 的说法，实际效果要靠社区部署检验；这套组件覆盖什么、缺什么，README 列得同样清楚：token 概率（logprobs）、文档与音视频输入、web_search 一类服务端工具的执行、JSON Schema 与 regex 输出约束、一次请求多个补全（n>1）等均不支持；模型推理、工具执行和 HTTP 传输需要使用方自行提供。
双硬件路线：SM100 与昇腾 950
README 列出的受支持硬件为 NVIDIA SM100 GPU 与华为 Ascend 950 NPU，依赖分成两套：NVIDIA 侧需要 CUDA 13，昇腾侧需要华为昇腾 AI 计算架构 CANN 9.2，两者都要求 Linux、GCC 13.0 以上和 Python 3.12，构建时用环境变量 DEEPINFER_ACCELERATOR 指定 nvidia 或 ascend。前述批不变推理与确定性采样，README 标注目前仅限 NVIDIA 平台。
DeepInfer 目前支持的模型在三天前刚更新：10 月 17 日，DeepSeek 宣布 上线官网、App 与 API，官方称其相较上一版本是性能与成本的「帕累托（Pareto）改进」——基准更强、任务完成更快、输出更短。
未随本次开源的组件，和两个半小时内的追问
第二帖预告未来 DeepSeek 模型的推理代码与持续优化会继续落入该仓库；至于 README 标注「未包含在本发布中」的三块必需组件何时开源，官方帖文没有给出时间表。
首帖发出约两个半小时，点赞超过 1.2 万次、浏览约 66.9 万次、转发 1,400 余次。本地部署工具 Unsloth AI ，已让 DeepSeek-V4.1-Flash-1017 通过 Dynamic GGUFs 在 128GB 内存的配置上本地运行；用户 @realzecod 则，OpenAI 这家「本应为人类利益而开放」的公司最终仍保持封闭。追问也已出现：OpenFaaS 创始人 Alex Ellis ，是不是该加上 SM121 支持——而 DeepInfer 目前的硬件清单只有 SM100 和昇腾 950。