Baseten 开源 deepseek-ultrafast：为 DeepSeek-V4.1-Flash 从零编写的 Rust + CUDA 推理引擎

北京时间 11 月 14 日 6 时 43 分（UTC 2026 年 11 月 13 日 22:43），推理基础设施公司 Baseten 在官方 X 账号宣布：团队用 Rust 和 CUDA 从零为 DeepSeek V4.1-Flash 写了一个推理引擎，代码已经开源（Baseten 官方帖文）。帖文列出的数字是：4×B300 解码约 1,740 tokens/s，8×B300 约 2,060 tokens/s，100 万 token 的 prefill（预填充）约 12 秒。

对应的 GitHub 仓库 basetenlabs/deepseek-ultrafast 已经可以访问。GitHub API 元数据显示，仓库创建于 2026 年 10 月 27 日，最后一次代码推送在 11 月 14 日 05:24（UTC）；截至发稿有 156 stars、4 forks，许可证一栏标为「Other」，未匹配到标准开源许可证（API 数据）。需要说明：帖文与 README 里的性能数字全部为厂商自报，目前没有独立第三方的验证结果。

为一个模型从零写起，内核出自编码智能体

deepseek-ultrafast 是为 DeepSeek-V4.1-Flash 定制的。按 DeepSeek 发布在 Hugging Face 的模型卡片，这是一个多模态混合专家（MoE，Mixture-of-Experts）模型，主干参数 552B，上下文最长 100 万 token，卡片标题就叫「把 KV cache 压缩推向极限」（Pushing the Limits of KV Cache Compression）；它采用 CED（Causal Encoder-Decoder）架构，40 层 Transformer 拆成 20 层因果编码器加 20 层解码器，解码器的全局 KV cache 从编码器最终隐状态投影而来，每个 token 在 prefill 时激活 8B 参数、在解码（decode）时激活 16B。模型页面发布于 2026 年 9 月 10 日。

引擎的形状跟着模型走：模型原生处理图像和文本，引擎就带了独立的视觉编码器——cuDNN 和 cuBLAS 提供算子，OpenCV 负责图像解码；上下文长，100 万 token 支持便列为基本能力。仓库代码按功能拆成多个 crate：CUDA 绑定、engine 主逻辑（fp4、kvstore、sampling、vision、weights 等模块），外加一组手写的 .cu 内核文件（attn.cu、comm.cu、draft_head8.cu、draft_markov.cu）。第三方依赖清单很短：DeepSeek 官方的 deepseek-recipe 负责提示词渲染和响应解析，Hugging Face 的 tokenizers 做分词，Dynamo（ai-dynamo）项目里的 Velo 负责 RDMA（远程直接内存访问）跨机传输——README 声明不依赖 PyTorch 和 SGLang。

README 的致谢部分写明，内核由「能够阅读 FlashInfer 和 SGLang 源码」的编码智能体优化。硬件要求是 CUDA 13 工具链，加 4×GB300、4 或 8×B300（均属 sm_103a），或 4 或 8×B200（sm_100a）。

解码数字怎么来的：一条 Tetris 提示词，每步起草再验证

性能表把两组配置并列：4×GB300（TP4）解码 1,740 tokens/s、每步 3.30 ms；8×B300（TP8）解码 2,060 tokens/s、每步 2.71 ms；接受长度 5.6 tokens/step；prefill 为 100 万 token 用时 13.2 秒（约 76,000 tokens/s）与 11.7 秒（约 85,000 tokens/s）。

README 写明测量口径：解码速度、步进时间和接受长度都在同一条提示词上测得——「implement the tetris game. output HTML code directly - no explanation.」。5.6 这个数字的来历也在表注里：每个解码步先起草一段候选 token，再一次验证，接受长度即每步平均最终发出的 token 数。两组数字在算术上能对上：1,740 tokens/s 乘以 3.30 ms 约 5.7，2,060 乘以 2.71 ms 约 5.6。

仓库底部附了完整的复现脚本。README 记录的多次运行区间是：4×GB300 上 1,700～1,770 tokens/s，8×B300 上 1,980～2,170 tokens/s；30 次运行里，4×GB300 的步进时间 3.24～3.37 ms、接受长度 5.1～6.1 tokens/step，8×B300 为 2.69～2.74 ms 和 5.3～6.1 tokens/step。脚本输出的末行形如「5,142 tokens at 1,717 tokens/s (first token after 0.04 s)」——首个 token 在请求发出后 0.04 秒出现。

README 嵌入的演示动图与表格互相印证：速度表指针最终停在平均 2,206 tokens/s、峰值 2,407，一次生成共发出 5,448 tokens；生成一结束，浏览器窗口里的俄罗斯方块就能直接操作。README 注明动图按实时速度播放。

一个口径差异：X 帖文把 1,740 tokens/s 写在「4×B300」名下，仓库性能表则把同一数字列在「4×GB300（TP4）」列，而 README 的硬件要求把 GB300 与 B300 都归入 sm_103a。

会话换机不再重算 prompt：RDMA 搬缓存，Redis 记归属

README 用专门一节说明多机部署下的 KV cache 共享。机制是：每台服务器把近期会话的 KV cache 留在主机内存里；当某个会话的下一轮请求落到另一台服务器，那台机器通过 RDMA 直接从持有缓存的服务器取——主机内存对主机内存——而不是重算整段 prompt。哪个会话的缓存归哪台服务器，由 Redis 记录，所有权变更也由它公告。

Baseten 把传输速度归功于模型本身：「得益于 DeepSeek 极致的 KV cache 压缩，传输非常快，可以做到每个请求都执行。」按 README 的说法，这套方案「免去了前缀感知路由的必要，并带来更好的负载均衡」——系统不再需要把请求派给恰好存着该会话前缀缓存的那台机器。仓库附 deploy/kubernetes.yaml 作为多机部署示例。

四卡起步：从构建到第一个 token

动手门槛写在 README 的 Quickstart 里。系统依赖一栏就有 libibverbs-dev 和 librdmacm-dev（RDMA 用户态库）以及 redis-server；构建是一条 cargo 命令，按 GPU 型号传入 DSUF_SM=sm_103a 或 sm_100a；模型权重从 Hugging Face 放入 models/ 目录，Redis 在本机跑一个实例即可。服务启动约 20 秒后，/readyz 返回 200 即就绪。

接入走 OpenAI 兼容接口。README 的示例直接把 DeepSeek 官方 CLI 指向本地服务：设好 DEEPSEEK_BASE_URL=http://localhost:8000，跑 npx @deepseek-ai/dsh headless "summarize this repo"。不想自己部署的话，README 称 DeepSeek-V4.1-Flash-Fast 已在 Baseten Model APIs 上线，并预告「更多性能改进和开源发布在路上」——这是厂商的说法与计划。

回复区的追问，和 README 没写的事

截至发稿核验（11 月 14 日），帖文有 278 个赞、121 个收藏、约 9,700 次浏览和 15 条回复（Twitter API 数据）。Jerry Liu（@tfmlab）在回复里按帖文口径算了笔账——100 万 token 约 12 秒对应约 83k tok/s 的 prefill，属于算力受限的表现；4 卡到 8 卡只换来 1.18 倍解码速度（2,060 对 1,740），他据此推断瓶颈在通信或带宽，并追问批大小、测量时的上下文长度以及解码是否为投机式（回复原文）。

三问之中，最后一问 README 已有答案：解码正是先起草、后验证，接受长度就写在性能表里；批大小与测量时的上下文长度则没有交代。其他回复问的也是工程细节：Vito Botta 问 100 万 token 上下文的显存代价是多少（回复），Shanay Gaitonde 问为什么不基于 vLLM 或 SGLang 改而要从零写（回复），还有人问「是不是 vibe coded 的」（回复）——对最后一个问题，README 致谢里那句「内核由编码智能体优化」算是部分回应。Twitter API 返回的全部回复中，没有 Baseten 官方账号。

检验这组自报数字，现成的途径是仓库底部那份复现脚本——前提是先凑齐 4 块 GB300、8 块 B300 或 8 块 B200。

参考链接

• Baseten 官方 X 帖文（2026 年 11 月 13 日）：https://twitter.com/baseten/status/2121373358717862213
• GitHub 仓库 basetenlabs/deepseek-ultrafast：https://github.com/basetenlabs/deepseek-ultrafast
• GitHub API 仓库元数据：https://api.github.com/repos/basetenlabs/deepseek-ultrafast
• DeepSeek-V4.1-Flash 模型卡片（Hugging Face）：https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash
• Baseten Model APIs 产品页：https://www.baseten.co/products/model-apis/
• Jerry Liu（@tfmlab）的回复：https://twitter.com/tfmlab/status/2121404435553202254
• Shanay Gaitonde 的回复：https://twitter.com/shanaygaitonde/status/2121411854153183372
• Vito Botta 的回复：https://twitter.com/vitobotta/status/2121429606083469469
• Adam（@wickedbrok）的回复：https://twitter.com/wickedbrok/status/2121480670417412472