AREXOpen in interactive Feed

AREX Feed Article

Google DeepMind 发布实时世界模型 Genie 4:原生音频与实时改写场景,先向可信测试者开放

October 27, 2026

Google DeepMind 于北京时间 10 月 28 日凌晨(美国太平洋时间 10 月 27 日上午)在与同步发布世界模型 Genie 4,称其为迄今「最真实、交互性最强」的世界模型:用户可以在生成的动态环境里实时行走、转动镜头,观察场景如何响应、发声,以及其中的人如何移动、反应和说话。

按官方公布的节奏,Genie 4 已开始以「研究预览」(research preview)形式向可信测试者推出;下一步将进入面向 Google AI Ultra 订阅者的 Project Genie,候补名单已经开放;随后再向 Gemini API 与 Google AI Studio 的早期访问合作伙伴开放。官方博客同时称,Genie 4 是 DeepMind 首个原生生成音频的实时世界模型,环境声、音乐与能随机应变的角色对话,都和世界画面同时生成。

官方主视觉短片中的一帧:Genie 4 演示「一只冠鹤在渐暗的雪原天色下行走」,左下角是 WASD 导航键、右下角是镜头方向键,底部有官方标注「Results for illustrative purposes. Sequences shortened.」(结果仅作演示,序列经过删减)。截自 。

官方列出的五项新能力

列出了五项新特性:基于 Gemini Omni 构建的照片级真实感(photorealism),官方称其在空间与对象上呈现「逼真细节」;高级物理效果,包括空气动力学、碰撞,以及动作自然的人物;实时控制,用提示词改变场景、添加元素或与角色互动;原生音频,覆盖环境声、音乐、背景噪音与交互式对话;以及 Gemini 推理,负责规划多步事件、随场景演化保持连贯。

将四项能力逐一展开。音频部分,「每个世界都带着所处环境自己的声音,从林间风声到海滩浪声」,而「真正的最前线」是人类语音:角色对话会对用户的输入或世界中发生的事件实时做出反应。物理部分,官方举例空气动力学与碰撞,并称「最戏剧性的跨越在于人」——角色移动自然、对环境有自发的反应,且能被实时引导。博客强调,这些能力演示均为实时交互录屏:用户用标准键盘控制导航与镜头,用文本提示词在场景推进中随时改写它,官方放出的示例提示词包括「上世纪 80 年代拥挤的日本乡间车站」「黄昏雪地上行走的冠鹤」等。

以上能力描述全部来自 Google 自己的口径。指出,其作者未能亲自试用 Genie 4——它目前只对可信测试者开放——报道中引用的演示均来自 Google 官方材料。

The Verge 在报道中截取的官方演示画面,对应官方「1995 年香港独立爱情电影」示例提示词:黄昏大桥上骑摩托车的两个年轻人。画面同样带有键盘导航、镜头控制图标和官方演示标注。图片来源:。

Gemini 在幕后做什么:翻译请求、拆解步骤、盯住每一帧

把机制说得最直白:Gemini 充当模拟的「大脑」,把用户的请求翻译成动作,规划复杂事件,观察场景展开以跟踪进展,并随用户改写剧情而调整。官方博客给出更具体的分工——Gemini Omni 负责把模拟「锚定」在真实世界的外观与行为上,复杂的推理由其他 Gemini 模型承担,用来维持模拟的连贯与延续。

实时性靠 在环内充当「引导代理」:Genie 4 实时生成世界的同时,Gemini 持续观察画面,把目标拆解成一系列步骤,逐帧核对每一步是否完成,并在世界变化或用户干预时当场修改计划。The Verge 的报道同样确认了模型底层使用 Gemini 3.8 Flash。

机器人仿真是官方展示的方向之一。DeepMind 正在试验让 Gemini 4 Argon 与 Genie 4 协作:Argon 把用户交代的任务拆成步骤,以文本说明的形式逐步喂给正在渲染中的 Genie 4;在官方演示里,两个模型合作模拟了 Apptronik 的 Apollo 人形机器人下跳棋。按官方的说法,这为「在把 AI 系统放进真实世界之前,先在想象世界里测试它」提供了一条路径。

可信测试者已经拿它做什么

官方博客称,DeepMind 与横跨创意产业、新闻、教育、游戏和工程的可信测试者群体合作,已经跑出四类用例:电影人把 Genie 4 当作快速「草稿模式」,走进一场活的场景模拟,实时连拍好几条,随手调整机位、灯光、台词和动作;摄影记者尝试把一张二维档案照片在几秒内变成有据可依的环境模拟,或推演山洪、野火这类短期环境事件如何展开;游戏开发者从点子到可探索原型只要几秒,先用自然语言试美术风格、材质和交互机制,再动手写引擎代码;企业伙伴则把它当作「从零到一」的场景生成工具来评估。

补充说,早期反馈覆盖从 VFX(视觉特效)预可视化到用经核实的档案重现历史时刻,测试者认为最大的提升在照片级真实感、动态文字事件与实时音频。

,在发布会简报上,Google DeepMind 工程师 Diego Rivas 说:「实时性最有价值的地方,是那些保持创作心流极其重要的环节——比如构思阶段、分镜阶段,任何需要快速出想法的时候。」Google 研究总监 Tejas Kulkarni 则把方向指向「混合世界模型」:「Gemini 负责写代码和文本,Genie 实时将其摄入,在不同抽象层级上模拟现实——未来我们会越来越多看到这种组合。」

官方写明的边界:细节会漂移,音频未必准

官方博客专门列出「当前局限」:Genie 4 能在短时段内保持环境连贯,但视觉细节和物体的存续状态(离开视野后是否仍在原处)会随时间漂移——模拟运行越久、提示词改动越复杂、在场景中移动越多,问题越明显;复杂物理交互、实时音频的准确性、画面文字的可读性、空间精度与长期一致性,都还是「仍在研究中的方向」。

具体数字来自 Google 简报:,Genie 4 能将一致场景维持约两分钟,是上一代的两倍。The Verge 记者未能亲自试用 Genie 4,他对上一代产品的印象是——用基于 Genie 3 的 Project Genie 生成的「蹩脚任天堂仿品」。Rivas 在简报会上也坦言,端到端的产品体验最终会是什么样,现在还不清楚;至于测试者做出的原型能否靠 Gemini Omni 转成可用的创作素材,他称那「还有相当一段距离」。

发布节奏、安全护栏,以及一个正在整合的行业

Project Genie 目前是,用于「创建并探索无限多样的世界」;Genie 3 于 ,能在 720p、每秒 24 帧的参数下实时生成可导航世界。

安全方面,官方称 Genie 4 带有与 DeepMind 其他模型一致的安全护栏,发布预览前经过内部安全评估,并且「有意」先只发给可信测试者;所有生成的视频和音频都会打上 SynthID 数字水印。

至于为什么做世界模型,官方口径指向 AGI:Google AI 的帖文和官方博客都称「模拟世界是通往 AGI 路上的关键一环」,DeepMind 则说这些能力「是开发安全虚拟环境的一步」,用于观察 agent(智能体)和机器人如何导航周围环境。这个领域的其他玩家也在动作——TechCrunch 盘点:AI 视频公司 Runway 两个月前刚发布其第二款世界模型 GWM Worlds 2;李飞飞的 World Labs 正在被 AMD 收购;Amazon 在谈判收购 Decart;Rivian 则买下 Third Dimension,为的是把自动驾驶测试的仿真能力收归自用。

下一步的可核实节点是开放节奏:TechCrunch 报道称,Genie 4 将在未来几周内向 Google AI Ultra 订阅者与 Gemini API、Google AI Studio 的早期访问合作伙伴开放。

参考链接

More from this developing story

  • Google DeepMind 发布实时世界模型 Genie 4:原生音频与实时改写场景,先向可信测试者开放Oct 27, 2026
  • 沃顿教授实测 Genie 4:实时改写维多利亚下午茶场景,评「有毛刺,但先进得难以置信」Oct 28, 2026