Together AI 发布 Together Compiler，公司称一夜调优能追平乃至超过数周专家手工

11 月 4 日，面向开源模型的推理服务商 Together AI 在其上宣布推出 Together Compiler（简称 TKCC）——一套面向 LLM 推理的持续性、代理式（agentic）编译系统。公司的说法是：这套系统通宵运行一轮，得到的优化就能追平乃至超过过去需要数周的专家手工调优；配套的给出了具体口径——不到 24 小时，TKCC 在多款前沿开源模型上取得最高 2.6 倍的 TPS（tokens per second，每秒生成 token 数）提升。这些数字均为公司自报基准。

同一天，官方账号称出自研究 SVP Simran Arora 与 Dan Fu 之手的上线，把整个方向命名为 Polymorphic Inference（多态推理）：模型每周发布、流量形态每日变化、硬件一年一换代，推理系统必须随之持续自适应，而不是像过去那样，为单一模型、单一流量形态、单一芯片一次性调优；Together Compiler 则被定位为进入这个时代的「第一步」。

模型、架构、流量、硬件：催生「多态推理」的四股变化

Polymorphic 取自希腊语「多种形状」。路线图博客给出的行业判断是：OpenRouter 上 80% 的流量流向最近三个月内发布的模型；当前在用的十大热门开源模型，架构各不相同；硬件侧，公司刚经历从 B200 到 GB300 的推理服务能力跃迁，第一批 Vera Rubin 部署已在眼前。

流量形态本身也在变。产品博客记录了三种漂移：不同国家工作时段的 prompt 均长可以相差 1.4 倍（97k 对 70k token）；一款新模型发布后，用户先以聊天式交互做试用和评测，两周内 prompt 均长增长 80%，负载转向 agentic 工作流；突发流量则可能让 prompt 长度瞬间翻倍、KV 缓存命中率随之下跌。

公司也把这笔账算到自己头上：博客承认，FlashAttention 至今仍是训练负载和许多预填充（prefill）负载的最佳选择之一；但去年把第一批 megakernel——为单一静态形状手工打磨的单体 GPU 内核——投入生产后，得到的教训是「megakernel 融合并不是多态推理的正确设计目标」，每种模型架构、每类负载都需要不同的技术方案。

路线图给出的解法带着 Together 自己的口吻：「当生产流量越来越多样怎么办？让 AI 代理自己优化自己。这就是开源模型的 RSI（recursive self-improvement，递归自我改进）时刻！」

把编译问题改写成代理搜索：一次启动、热加载的常驻引擎

产品博客把 TKCC 定义为「第一个真正持续的优化循环」：输入流量形态、模型和硬件，用一群代理为推理引擎生成一连串优化。路线图博客把其中的思路概括为：把经典的推理优化从「编译器翻译问题」改写成「代理搜索问题」——识别一组核心优化模式，让一群代理与高保真的常驻引擎（persistent engine）配对、快速迭代。

第一项改造针对实验速度。博客解释，现有代理优化系统每验证一个想法，都要重新启动一次 vLLM、SGLang 或 TRT-LLM 引擎；公司表格显示，传统冷启动从进程初始化、权重加载、KV 缓存定容、内核预热到自动调优，总计约 467 秒，仅自动调优一项就占 193 秒。TKCC 改用常驻引擎：引擎只启动一次，之后热加载（hot-reload）任意候选前向计算，约 9.0 秒即可开始服务；多个代理通过一块留言板（message board）并行产出待测想法。

第二项改造针对测量的保真度。只在引擎外优化孤立内核的系统，常用随机输入做评测；但在 MoE（mixture-of-experts，混合专家）、稀疏注意力这类数据依赖的原语上，输入分布会直接改变哪种优化占优。TKCC 用两层常驻引擎平衡吞吐与保真：fast tier 只载入少数层，用于快速迭代和低方差计时；slow tier 载入更多层，验证优化在真实数据分布上是否依然成立。

第三项改造是并行策略的选择。TKCC 内置一个自定义成本模型，在 TP、EP、DCP 等并行配置中挑选，用硬件规格、微基准与实测前向计算的分层测量快速剪枝搜索空间。公司称，这套设计整体带来比基线代理性能优化系统高 252 倍的实验吞吐。

自报成绩单：两条低延迟纪录与 megakernel 反超

产品博客把结果分成三组。对 SemiAnalysis 的 InferenceX/AgentX 基准，公司称从各推理引擎、各硬件平台上已知最优的开源配置出发，TKCC 在不到 24 小时内把 Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash 四款前沿开源模型的 TPS 最多提升 2.6 倍。在 batch size 1 的低延迟场景，公司称刷新该基准纪录：MiniMax M3.1-Flash 达 1,111 TPS，DeepSeek v4.1-Flash 达 1,205 TPS——这两项用的是自家成本模型选出的并行配置，而非 InferenceX 配置。补充了参照系：两个数字分别比专家调优设置快 1.8 倍和 1.3 倍。对 megakernel，TKCC 在其主力场景 Llama 1B、batch size 1 上比可用的开源 megakernel 快 1.7 倍，并在 H100 和 B200 上、所有测试过的输出长度下保持最快。

公司还强调方法不限于语言模型：在气象模拟、PDE（偏微分方程）、时间序列和生物模型四类开源代码库上，TKCC 在其中三个找到了比用 Claude Code 跑 /goal 命令更大的加速。

部署与规模方面：路线图博客称 TKCC 已在公司部分最热门的 serverless 端点上生产运行，在「本已高度优化的代码」之上继续找出增益；同日的称客户负载最高提速 50%，公司每天服务数万亿 token，并称 10 月首次在 OpenRouter 上服务了超过封闭模型实验室的 token 量。

边界也写在博客里：脚注注明 Trainium2 芯片上的测试未跑 AgentX，而是用一份合成多轮数据集（70k 输入长度、3.5k 新增输入且 95% 缓存命中、700 输出长度）替代，原因是其实现尚不支持在有限 HBM（高带宽显存）容量下运行更高并发。

SemiAnalysis 称复核了一项结果，Forbes 与同行看见「AI 优化 AI」

这项发布在同一天得到了多方回应。——InferenceX 基准的出品方——发帖称 TKCC「是我们见过最酷的东西之一」，并称「我们已经验证了其中一项 InferenceX/AgentX 结果」；该账号还说，「在确保精度的同时持续自动提升性能」足以支撑快速部署到生产。这份复核声明出自基准出品方自己。

同日，Forbes（Tim Keary）刊发报道，把这次发布放进「递归自我改进」的框架。Together AI 联合创始人兼 CEO Vipul Ved Prakash 在视频采访中说，开源模型近年「在质量上追平了前沿实验室」，主要模型大约每六周一次大版本发布；在 GPU 与电力短缺的背景下，「把已经埋进地里的 GPU 的价值最大化，变得比以往任何时候都重要」——报道同时引述 ISG 的调研称，三分之二的企业预计将出现中度或严重的加速算力短缺。Forbes 还提供了公司背景：Together AI 今年 7 月完成 8 亿美元 C 轮融资，估值 83 亿美元。

Arora 在同篇报道中给出时间线：相关工作以不同形式进行了约两年，编译器专项团队约五人；她把出发点归结为 PyTorch——Meta 十年前发布、为软件模块化设计的框架，「但现在要 token 的人这么多，我们必须从所用的芯片里榨出更高的利用率」。按路线图博客的自我介绍，这支研究团队是 FlashAttention、ThunderKittens、ThunderAgent 背后的团队。Arora 回顾的路径是：先与 Stanford 合作构建 GPU 编程原语 ThunderKittens，再把原语串成 megakernel；因为手写一个 megakernel 要花好几个月，公司转向自动生成。

报道还引述了 AI21 Labs 联合创始人兼 CEO Ori Goshen 的邮件评论：「AI 正在改进运行 AI 的系统。」他把 AI 负载拆成三层——编排层（harness）、模型权重和推理引擎，「每一层都需要自动优化，也都可能带来可观收益」，并预计各层将递归地自我改进、最终联合改进，「因为某一层的收益会改变其他层的可能性」。

路线图下一步：一键自助编译、会变形的投机解码与 workload 路由

路线图里与产品最贴近的下一步是自助版持续编译：公司称「很快」客户就能一键为专属端点上的独特负载运行 Together Compiler。再往外是四条研究线：会「变形」的投机解码（speculative decoding）——现有开源引擎用固定草稿模型和前瞻（lookahead）参数启动，而它应当按领域、按请求、按 token、按流量负载自适应；ThunderAgent Router，在异构部署间动态路由请求，其基础 ThunderAgent 已作为 ICML 2026 Spotlight 论文发表；Together Post-Training，与 Moonshot、Minimax 等模型实验室合作帮客户定制开源模型；TogetherLink，workload 感知的模型路由，主张把多个「相当好」的模型正确组合可以胜过单个「最强大」的模型，思路承接自 Stanford Hazy Research 的弱监督研究与公司自己的 Mixture-of-Agents（ICLR 2025）。

就当下而言，Together Compiler 的可获得范围仍然很窄：限量 beta 需要主动联系销售获取，「一键自助」被列为即将推出，没有时间表。而支撑整场发布的成绩单，眼下可见的第三方复核只有 SemiAnalysis 对 InferenceX/AgentX 一项结果的确认，其余——包括「一夜抵数周」本身——仍是 Together AI 的自报口径。

参考链接

Together AI 官方账号宣布 Together Compiler 与 Polymorphic Inference（X，2026-11-04）：
Polymorphic Inference: self-tuning inference for open models（Together AI 博客，2026-11-04）：
Together Compiler: Continual Compilation for AI inference（Together AI 博客，2026-11-04）：
Together AI 配套产品帖（X，2026-11-04）：
Together Brings Recursive Self-Improvement To Open Models（Forbes，2026-11-04）：
SemiAnalysis 称已验证一项 InferenceX/AgentX 结果（X，2026-11-04）：_