AREX Viewpoint Article
为何扩散模型将赢得AI推理？对话Inception CEO
导读
9月29日，Inception Labs发布Mercury Voice，一款基于扩散架构的LLM，专门用于实时语音代理。据Inception官方博客和AlphaSignal报道，其中位首字响应时间仅320毫秒，输入/输出定价为每百万token 0.40美元和1.50美元。此时距离Stefano Ermon在No Priors播客中解释“为什么扩散会赢得AI推理”仅过去11天，使这段访谈从技术展望变成了对现实产品的机制说明。
语音代理对延迟和成本极其敏感，传统自回归模型逐token生成，难以同时满足实时交互与规模经济。Mercury Voice以并行生成token的扩散架构切入这一场景，显示扩散LLM已从研究走向生产。Ermon在访谈中指出，自回归模型的工作负载受内存带宽限制，GPU大部分时间在搬运权重而非计算；扩散模型则同时处理多个token，推理负载接近训练负载，因此能在标准GPU上实现更高的智能/瓦特和智能/美元。这正是Mercury Voice能够达到320毫秒响应的底层原因。
视频还给出量化证据：Inception团队2024年发表论文，首次在GPT-2规模证明扩散模型可以达到与自回归模型相同的困惑度，同时生成速度快约10倍。官方产品资料也显示，Mercury模型在质量上对标前沿速度优化模型，并实现了亚300毫秒首字响应和高吞吐。Ermon强调扩散架构并未牺牲质量，而是通过并行token生成同时提升速度。
在商业落地层面，Ermon分享了语音客户OpenCall的迁移案例：该客户此前依赖Cerebras定制芯片满足低延迟需求，切换到Mercury后在Nvidia标准GPU上获得同等速度，并降低成本和提升可用性。这一案例表明，软件层面的并行加速与硬件加速互补，扩散模型可以用通用硬件替代专用芯片，改变语音AI的成本结构。
Ermon进一步认为，扩散模型的粗到细生成方式带来天然可控性，能够在生成过程中根据外部奖励或约束逐步引导，而自回归模型必须等完整对象生成后才能评估。这意味着Mercury Voice可能只是新交互能力的起点，未来扩散LLM有望提供自回归模型无法复制的产品体验。视频将速度定位为当前“可测试的切入点”，而非全部价值。
当AI竞争从拼参数转向拼效率，Mercury Voice的发布成为一个可检验的节点。视频给出的判断标准——质量持平、推理扩展能否反哺RL后训练、真实客户是否愿意迁移——为评估扩散模型能否真正“赢得AI推理”提供了框架，也直接引出下一部分的核心结论。
核心结论
- 扩散模型以并行推理取代逐token生成，在效率上对自回归模型形成结构性优势：自回归模型的顺序生成方式无法充分利用GPU并行能力，而扩散模型同时处理多个token，使推理负载接近训练负载，从而在智能/瓦特和智能/美元上占据优势。这一架构差异直接决定了推理扩展和RL后训练的上限。
- 扩散模型在文本生成上已实现与自回归模型同质量但快约10倍，商业化基础已经具备：Inception在2024年发表的论文首次在GPT-2规模上证明扩散模型可以达到与自回归模型相同的困惑度，同时生成速度快约10倍。这一实证结果打破了扩散模型难以处理离散文本的假设，为后续产品化提供了关键依据。
- Mercury模型用标准GPU实现了定制芯片级别的速度，正在改变语音AI的成本结构：语音客户OpenCall从Cerebras定制芯片切换到Mercury后，在Nvidia GPU上获得了同等速度，同时降低了成本并提高了可用性。这证明扩散架构能够用通用硬件替代专用芯片，软件层面的加速与硬件加速形成互补而非替代关系。
- 扩散模型天然具备更强的可控性，可能催生自回归模型无法提供的新产品体验：扩散模型从粗到细的生成方式允许在生成过程中根据外部奖励或约束逐步引导输出，而自回归模型必须等完整对象生成后才能评估。这种可控性差异为AI产品带来了全新的交互界面可能性，超越了单纯的速度优势。
- 生态不成熟是扩散LLM采用的主要障碍，但Inception通过自建全栈形成了技术护城河：扩散LLM无法复用vLLM或SGLang等现有推理引擎，Inception必须自建serving engine和SFT/RLHF/RL工具链。这些自研组件虽然增加了采用难度，但也成为难以复制的IP，构成了公司的竞争壁垒。
观点拆解
1. 扩散模型将取代自回归模型成为AI推理的核心架构
-
自回归模型的顺序生成方式在推理时无法有效利用GPU并行能力：Stefano Ermon指出，自回归模型必须从左到右逐token生成，第10个token必须等前面所有token生成完毕才能开始计算。这种顺序工作负载无法很好地映射到GPU上，导致推理过程极度受限于内存带宽，大部分时间花在搬运权重而非执行算术运算。
“自回归模型仍然是顺序的，计算是从左到右、一次一个token。你无法生成第10个token，除非你已经生成了它之前的所有内容。这种工作负载无法很好地映射到GPU上。”
“这种工作负载极度受限于内存带宽。你大部分时间都在内存层级之间搬运权重，而做的算术运算非常少，这是自回归模型的一个根本性问题。”
-
扩散模型在推理时并行处理多个token，使推理负载接近训练负载：Ermon将扩散模型与自回归模型进行对比：扩散模型在推理时天然支持同时处理多个token，其工作负载与训练时高度相似。这意味着扩散模型能够充分利用GPU擅长的并行计算能力，从而在标准硬件上实现更好的推理效率。
“扩散模型在推理时的工作负载，基本上与训练时的工作负载非常非常相似，因为你在同一时间并行处理许多token。”
“它本质上被构建为拥有一种能够非常好地映射到GPU擅长的事情上的推理工作负载。”
-
推理效率决定智能/瓦特和智能/美元，扩散模型将主导推理扩展：Ermon认为，经济性由智能/瓦特和智能/美元决定，而推理时间扩展将成为关键竞争维度。扩散模型在推理时更好的扩展能力不仅直接提升推理效率，还能加速强化学习后训练中的rollout生成，形成正向循环。他引用“苦涩的教训”，指出更并行的解决方案最终会胜出。
“经济性是由你能够实现的智能/瓦特、智能/美元所主导的。”
“如果你有一个在推理时扩展性更好的模型，那么你在后训练阶段也会自动获得更好的扩展。这就是为什么我们决定押注基于扩散的LLM，因为它本质上更并行，而苦涩的教训是，更并行的解决方案最终会胜出。”
2. 扩散模型在文本和代码生成上已实现与自回归模型同质量但快10倍
-
2024年论文首次在GPT-2规模实现扩散模型与自回归模型质量持平：Stefano Ermon指出，Inception团队在2024年发表的论文中，首次证明在GPT-2规模（不到10亿参数）下，用扩散方式训练的Transformer模型可以达到与自回归模型相同的困惑度，也就是对数据结构的拟合能力相当。这一结果打破了扩散模型难以处理离散文本的假设，为后续商业化扩散语言模型提供了关键实证基础。
“我们在2024年取得了一个突破。我们发表了一篇论文，基本上首次证明，在GPT-2规模上，有可能匹配自回归模型的质量。”
“我们能够达到相同的困惑度，也就是说，在相同参数量下，你对数据的拟合效果与自回归模型一样好。”
-
扩散模型在同等质量下生成速度快约10倍：Ermon强调，扩散模型之所以更快，是因为它能够同时输出多个token，而不是像自回归模型那样逐token生成。在GPT-2规模的对比中，扩散模型生成文本的速度比自回归模型快约10倍，这直接回应了AI推理中的延迟瓶颈问题，也构成了Inception商业化的核心卖点。
“但扩散模型明显更快，因为它是扩散式的，你可以同时输出很多token。我们生成文本的速度比自回归模型快了大约10倍。”
-
困惑度持平意味着扩散模型确实学到了文本中的结构：针对离散模态中是否存在可学习结构的疑问，Ermon用困惑度这一指标进行回应。他认为，困惑度衡量的是模型从数据中识别出了多少结构，而扩散模型在GPT-2规模上达到与自回归模型相同的困惑度，说明文本和代码中的结构确实存在，并且扩散模型能够有效捕捉这些结构。这为扩散架构在离散模态上的可行性提供了理论层面的支撑。
“当我提到2024年的那篇原始论文时，我们用来证明与自回归模型达到同等水平的指标基本上就是困惑度，它衡量的是你在数据中识别出了多少结构。”
“显然，我们实际上能够在GPT-2规模上识别出与自回归模型相同数量的结构。”
3. Mercury模型以标准GPU实现定制芯片级别的速度，正在改变语音AI的成本结构
-
Mercury模型在质量对标前沿速度优化模型的同时，实现了显著更快的推理速度：Stefano Ermon明确表示，Inception训练的扩散架构LLM在基准测试上与OpenAI的Haiku、Flash、Mini、Nano等速度优化模型质量相当，但速度显著更快。这意味着扩散模型并非以牺牲质量换取速度，而是在同等质量水平上提供了新的性能维度，为后续商业落地奠定了基础。
“我们的Mercury模型在基准测试上与OpenAI的Haiku、Flash、Mini、Nano模型相当，同时速度显著更快。”
-
语音客户OpenCall从Cerebras定制芯片切换到Mercury后，在Nvidia GPU上获得了同等速度：OpenCall此前依赖Cerebras定制芯片来满足语音代理对低延迟的苛刻要求。切换到Inception的扩散LLM后，由于模型在软件层面实现了并行加速，OpenCall在标准Nvidia GPU上就能获得与定制硬件上自回归模型相同的速度。这一案例直接证明了扩散架构能够用通用硬件替代专用芯片，从而改变成本与可用性结构。
“他们之前用Cerebras来服务他们的LLM，也就是用定制芯片来获得为客户提供最佳体验所需的速度。后来他们切换到了我们的扩散LLM，因为他们基本上可以获得和在定制硬件上运行自回归模型一样的速度。”
“如果你有一个为并行而构建的扩散LLM，它在软件层面加速，那么你就能在Nvidia GPU上获得同样的速度，这意味着更高的可用性、更低的成本和更高的质量。”
-
软件层面的加速与硬件加速是互补关系，而非替代关系：当被问及扩散模型与硬件格局的互动时，Ermon强调硬件是加速的一种方式，但软件层面的优化同样有效，且两者是互补的。软件带来的增益与硬件带来的增益是相乘关系，这意味着扩散架构在标准GPU上已经具备竞争力，未来若与专用硬件结合，性能上限还会进一步提升。
“硬件是加速的一种方式，但如果我们能利用现有硬件，软件可能更好。”
“它们尤其是互补的。令人兴奋的是，在某种程度上，你从软件获得的增益与从硬件获得的增益是相乘的。”
4. 扩散模型天然具备更强的可控性，为AI产品带来自回归模型无法提供的新交互能力
-
自回归模型必须等完整对象生成后才能评估，扩散模型则可在生成过程中逐步引导：Stefano Ermon指出，自回归模型在生成分子等对象时，必须等到完整对象产生后才能用奖励函数或约束条件进行评分；而扩散模型采用从粗到细的生成方式，从最初阶段就能判断生成方向是否符合目标，并据此逐步调整。这一差异是扩散模型更易控制的结构性原因。
“如果你考虑自回归模型，你基本上必须等到生成了完整对象，才能知道它是否满足某个约束，或者是否对齐。”
“扩散模型更多是从粗到细的生成。所以从一开始你就能判断：这是不是我想要的那种对象？你可以沿着外部奖励函数或一组约束所给出的方向来引导生成。”
-
扩散模型的可控性优势可能催生自回归模型无法提供的新产品体验：Ermon强调，学术文献中已有大量证据表明扩散模型更容易控制，并且存在多种引导方式，这些方式在自回归模型上根本无法实现。这意味着扩散模型可能带来一种全新的模型交互界面，而团队正在思考如何围绕这些自回归模型不具备的新能力构建产品体验。
“学术文献中至少已有大量证据表明扩散模型更容易控制，而且存在多种引导它们的方式，这些方式在自回归模型上根本不可能实现。所以那会是一种不同的模型界面，可能是自回归模型根本无法提供的。”
“我们一直在思考很多：围绕这些自回归模型无法提供的新能力，我们能够构建什么样的正确产品体验。”
-
速度只是当前可验证的切入点，可控性带来的新能力仍属未知且令人兴奋的涌现空间：Ermon承认，目前团队以速度作为切入点是出于务实考虑——速度更容易测试和衡量，也显然具有价值。但他同时指出，随着对扩散模型训练方式的理解加深，可控性可能带来的新能力尚不可预知，这种涌现性正是让他感到兴奋的原因。
“现在速度是我们的切入点，我们知道它们快得多。这是最初的赌注，因为它更容易测试，也容易衡量，而且显然有价值。但这就是为什么我觉得如此兴奋：随着我们更多地了解如何训练这些模型，我们不知道会发现什么。”
5. 扩散模型可能比自回归模型更数据高效，为低数据场景带来优势
-
扩散模型的去噪训练天然构成数据增强，这是其数据效率优势的机制来源：Stefano Ermon 指出，扩散模型通过“加噪—去噪”的方式学习，同一个数据点会被多个噪声视图增强，因此训练过程本身就相当于在做数据增强。这解释了为什么学术文献认为扩散模型比自回归模型更数据高效，也为低数据场景的应用提供了理论基础。
“学术文献中有例子表明，基于扩散的模型比自回归模型更数据高效。直觉上，如果你想想训练一个扩散模型，你是通过去噪来学习的。你从一张图像开始，加入噪声，然后学习如何去除噪声。所以它实际上是在做数据增强，因为同一张图像被许多噪声视图增强了。”
-
如果扩散模型的数据效率优势在大规模下成立，将打开低数据任务的应用空间：Ermon 将数据效率优势与规模化验证联系起来：如果这一特性在大规模训练中依然成立，扩散模型就有机会进入数据更稀缺的任务场景。这意味着扩散架构的价值不仅在于推理速度，还可能拓展到那些自回归模型因数据不足而难以胜任的领域。
“所以它们往往数据效率更高一些，如果这一点在大规模下成立，那么也许我们会进入那些数据更少的任务。”
6. 扩散LLM的采用障碍在于生态不成熟，但Inception通过自建全栈形成了技术护城河
-
扩散LLM无法复用现有推理引擎，Inception必须自建serving engine：Stefano Ermon明确指出，基于扩散的LLM无法运行在vLLM或SGLang等现有推理引擎上，团队不得不从零构建自己的serving engine。这意味着扩散模型在商业化早期面临更高的工程门槛，但也迫使Inception掌握了从模型到推理部署的完整能力。
“你无法在vLLM或SGLang上运行这些基于扩散的LLM，我们必须构建自己的serving engine。”
“这是一个不同的技术栈，所以挑战之一是我们必须在内部构建大量东西，serving engine或kernels等很多东西都必须在内部开发。”
-
自建SFT、RLHF和RL工具链成为Inception的技术IP和护城河：由于扩散LLM缺乏成熟的训练和对齐工具，Inception不得不自建SFT、RLHF和RL的完整工具链。Ermon认为这些自研组件本身就是IP，这也是公司选择不完全开源的重要原因，从而形成了难以复制的技术壁垒。
“即使你训练出了基于扩散的LLM，如果你没有serving engine，没有相当于vLLM的工具来服务它，你仍然会被卡住，仍然无法使用它。”
“我们必须构建自己的技术栈来做SFT、RLHF和RL，这在某种程度上就变成了IP。这也是我们决定不完全开源的原因之一，就是为了把IP保留得更靠近自己。”
-
生态不成熟带来采用和本地部署障碍，但真实客户反馈强化了技术壁垒：Ermon承认，扩散LLM生态的不成熟使得客户采用和本地化部署更加困难，开源模型质量也不够好。但Inception通过服务真实客户、收集反馈和迭代模型，将这些实践经验转化为更难复制的技术护城河。
“我们与真实客户合作，获取模型反馈，弄清楚什么有效、什么无效，有时从他们那里收集数据，并根据他们看到的情况创建evals。这些都会成为技术护城河的一部分，因为这些东西更难被复制。”
“没有真正可用的开源方案，或者有一些开源模型但质量并不好，这让部署和让客户尝试变得更加困难，因为他们不习惯这些。”
“但也有不利的一面，比如社区贡献的机会更少，采用更难，本地化部署也很困难。”
7. 学术界仍是AI前沿创新的重要来源，扩散模型、Flash Attention和DPO均源于学术研究
-
扩散模型、Flash Attention和DPO等关键AI技术均源自学术实验室：Stefano Ermon以自身实验室的早期扩散模型研究、共同指导的Flash Attention项目以及DPO算法为例，说明这些后来对产业产生巨大影响的技术最初都诞生于学术环境。这直接支撑了“学术界仍是AI前沿创新重要来源”的核心观点。
“后来发展成Stable Diffusion、Midjourney，所有这些都是从学术界、从我的实验室里产生的想法开始的。”
“Flash Attention是另一个来自学术界的成果，后来在产业界产生了巨大影响。DPO也是完全在学术界开发出来的，它基于一个巧妙的洞察，利用了问题中一些有趣的数学结构。”
-
学术界的核心优势在于允许研究者进行逆向押注：Ermon指出，尽管学术界面临资源不足的挑战，但其独特优势在于允许研究者进行“逆向押注”——即探索那些不被主流看好但可能带来突破的方向。这种自由探索的环境是学术界持续产生高影响力创新的关键原因。
“学术界的一个好处是它允许你进行这些逆向押注。”
“你可以接触到优秀的学生，每个人都在尝试开发新东西，人们不害怕去冒险下注，这就是学术界如此有影响力的原因。在AI领域，很多重要的想法都根植于学术界，甚至就是在学术界被创造出来的。”
8. AI竞争的下一个时代将由效率定义，而扩散模型是效率竞赛中的结构性优势
-
扩散模型的并行推理负载天然匹配GPU，使智能/瓦特和智能/美元成为其结构性优势：Stefano Ermon指出，扩散模型在推理时同时处理大量token，其工作负载与训练时高度相似，因此能充分利用GPU擅长的并行计算能力。这意味着在算力成本主导AI经济的条件下，扩散架构从设计上就更适合以更低的单位成本产出智能。
“扩散模型在设计上就具有一种推理时的工作负载，即同时处理许多token。因此，扩散模型在推理时的工作负载基本上与训练时的工作负载非常非常相似，都是同时并行处理许多token。”
“经济是由你所能实现的每瓦特智能和每美元智能所主导的。”
-
推理效率不仅决定服务成本，还直接限制RL后训练和推理时间扩展的上限：Ermon将推理效率的重要性从部署环节延伸到模型训练与进化环节。他指出，推理时间扩展和RL后训练中的rollout生成都高度依赖推理速度，因此一个在推理时扩展性更好的模型，会自动获得更好的后训练扩展能力。这使扩散模型的并行性成为贯穿模型全生命周期的竞争优势。
“推理同样是RL后训练的一个关键瓶颈。因此，如果你有一个在推理时扩展性更好的模型，那么你在RL后训练中自然也会获得更好的扩展性。”
“这就是为什么我们决定押注基于扩散的LLM，因为它本质上更具并行性，而苦涩的教训是，更具并行性的解决方案最终会胜出。”
-
在算力和电力供给受限的环境中，效率将从次要考量上升为AI竞争的核心决策变量：Ermon认为，AI产业正进入一个计算和电力供给根本性受限的阶段。过去效率只是能力扩展之外的次要因素，但未来企业必须认真权衡每一瓦特电力的最佳用途。这一判断将效率从技术优化问题提升为AI公司战略层面的核心竞争维度。
“我们正处在一个越来越根本上受计算和供给约束的环境中。”
“如果你从根本上相信我们可以用掉所有拥有的电力，并且有经济理由这样做，那么我认为对效率的关注将会急剧上升。”
“我认为现在很多人会说，AI领域公司最重要的决策之一，就是如何在训练和最有价值的用例之间分配我们拥有的每一瓦特电力。”
总结
扩散模型对自回归模型的挑战，本质上是AI产业从能力竞赛转向效率竞赛的缩影。当算力和电力成为硬约束，智能/瓦特和智能/美元取代参数规模成为核心指标，架构层面的并行性优势将直接转化为商业竞争力。Inception用Mercury模型证明了扩散LLM在真实生产环境中可以替代定制芯片，这不仅是技术路线的胜利，更预示着AI服务的成本结构将被重新定义。那些率先拥抱效率优先架构的公司，将在下一阶段的AI竞争中占据结构性先机。
信息源
视频来源
- Why Diffusion Will Win AI Inference with Inception Co-Founder and CEO Stefano Ermon：
外部资料
- Introducing Mercury Voice：
- Inception Labs' Mercury Voice Hits 320ms Response for ...：
- Introducing Mercury, the World's First Commercial-Scale ...：
- Why Diffusion Will Win AI Inference with Inception Co-Founder ...：