AREXOpen in interactive Feed

AREX Feed Article

Google AI Studio 官宣支持 XR Blocks:单个提示词 vibe code 交互式 3D 应用

October 30, 2026

北京时间 10 月 30 日凌晨 4 时 25 分,Google AI Studio 官方账号 @GoogleAIStudio 在 X 上宣布:AI Studio 新增对 XR Blocks 框架的支持,用户用一个提示词就能 vibe code(氛围编程,即用自然语言让模型直接生成可运行代码)出可交互的 3D 应用。帖文列出三项能力:手部追踪与捏合(pinch)手势、真实世界的桌面与墙面物理(real-world tabletop and wall physics),以及从文本或照片生成 360° 3D 全息()。

帖文本身只有三行能力列表,设备和模型的细节在官方跟帖链接的教程页面里:这篇 10 月 28 日发布、由 AI Studio 与 Android XR 团队三位负责人(交互感知与图形负责人 Ruofei Du、Android XR Group Product Manager Asier Ríos、AI Studio 产品经理 Mike Taylor-Cai)署名的教程《XR Blocks in AI Studio》()写明,此次接入与 XREAL AURA 的发布同步,XR Blocks 这个官方称为获得过 Auggie 奖的开源框架正式进入 Google AI Studio Build()。由 Gemini 驱动,单个提示词可以生成完整、带物理效果的 WebXR(浏览器中的 XR 标准)应用——既能直接跑在有线 XR 眼镜或 Android XR 头显(如 XREAL AURA 与 Samsung Galaxy XR)的 Chrome 浏览器里,也能在电脑上用 XR Blocks 内置的桌面模拟器完成。整个流程无需安装,应用可通过链接分享,也能经 AI Studio 直接发布。

入口在 Build 页面:一个按钮预装整套 SDK

教程给出的操作入口是 AI Studio Build 中的「Build an XR Blocks app」按钮,或在 Settings 里选择 XR Blocks 框架。选定后,工作区会自动预配置最新版 XR Blocks SDK(软件开发工具包)、空间 UI(用户界面)与全息技能,并套用兼容 Android XR 的人体工学默认值;用户可以在 Settings 里按 3D 世界的复杂度切换不同的 Gemini 模型。

页面上线时附了八个可直接试玩和 Remix 的示例应用:Spatial Dominoes(空间多米诺)、Wall Dart Game(墙上飞镖)、XR Chemistry Lab(化学实验室)、Solar systems(太阳系)、Voxel Garden(体素花园)、Hologram Museum(全息博物馆)、Hologram Memories(全息回忆)和 Schrödinger's Cat(薛定谔的猫)。点 Launch 或 Remix 即可在桌面浏览器里测试——WASD 移动、鼠标瞄准、右键环视——或在 Android XR 设备的 Chrome 中打开链接、捏合「Enter XR」按钮进入真机。教程结尾的原话是:现在就可以在 Google AI Studio 里开始 vibe code 自己的 WebXR 体验。

提示词拆成三段:Stage 定场景,Interact 定手势,Feedback 定界面

用户看不见的环节由 XR Blocks 引擎托管。教程列出了四个组件:WebXR 会话生命周期、three.js(3D 渲染库)渲染循环、Rapier 3D(物理引擎)物理,以及 LiteRT.js(浏览器端侧机器学习推理库)。为了让 Gemini 可靠地接线,官方建议把空间提示词拆成三段:Stage 定义场景与目标,例如「做一个桌面多米诺玩具」;Interact 描述交互机制,例如「每次射线点击在网格命中处生成一枚直立的多米诺,手部直接接触施加物理冲量把它推倒」;Feedback 设计悬浮界面,例如「加一个悬浮记分板和一个清空棋盘的 Replay 按钮」。

公告强调的两项能力在这页也有对应的技术说明:真实世界的桌面与墙面碰撞由 Rapier 3D 结合深度感知实现;手部方面支持自然手射线、捏合手势,以及手对虚拟物体的直接物理冲量。

360° 全息是亮点,也是页面里唯一标明付费的技能

360° 3D 全息在框架里对应 Holograms skill:输入一段文本或附上参考照片,生成 360 度转台式全息资产,悬浮在半空中,可从任意角度查看。教程的两个示例,一个用文字提示生成了法老黄金面具与明代龙凤纹瓶两件「全息博物馆」展品,另一个把上传的两张 2D 照片变成悬浮在房间里的 3D「全息回忆」。

页面同时给这项技能标了门槛:Holograms skill 在底层编排图像与视频生成模型,需要在 Google AI Studio 中绑定付费的 Gemini API Key(接口密钥)才能使用。在教程末尾的能力清单里,它是唯一带「Paid API key」标注的一项。

XR Blocks 不是新面孔:3 月已在 Gemini Canvas 走通流程

XR Blocks 并非随这条帖文问世。它是 Google 开源的 WebXR 框架,GitHub 仓库为 google/xrblocks,基于 WebXR、three.js、LiteRT.js 等 Web 技术,把用户表征、环境感知、手势和空间 UI 做成即插即用的模块,目标是「从想法到现实的最少代码」(、)。

今年 3 月 25 日,Google Research 发布了 Vibe Coding XR 工作流:用一份专门设计的系统提示词,把 XR Blocks 的架构、包管理规则、模板与示例源码放进 Gemini 的上下文,让模型把自然语言直接翻译成带物理效果的 Android XR 应用;官方当时称翻译过程可在 60 秒内完成,并演示了用一句「造一株漂亮的蒲公英」("Create a beautiful dandelion")在头显里生成一株捏合即吹散的蒲公英()。当时的入口是 Gemini Canvas 里的 XR Blocks Gem;这一次,官方把 XR Blocks 直接接进了 AI Studio Build。AI Studio 教程页面也提到,团队今年早些时候介绍过 Vibe Coding XR,并按 3 月博文的预告,在 ACM CHI 2026 的 Google 展位安排了现场演示。

官方初步评测:60 条提示词,早期约七成一次跑通

Google 在 3 月博文里附过一份初步评测,可作为这套流程可靠性的参照。他们用四场各一小时的内部工作坊,收集 20 名 Google 员工提供的 60 条独特提示词,组成 VCXR60 数据集,以「在模拟现实环境中零错误运行」为标准统计一次成功率与推理耗时。博文披露,早期约 70% 的提示词能一次跑通,多数初始错误来自 XR Blocks 本身的 bug,或模型臆造不存在、已弃用的 API;经过 11 个大版本迭代,团队用 XR Blocks Gem v0.11.0 在 VCXR60 上给出了基线结果(每种配置跑 5 次,使用 2026 年 3 月的 Gemini preview 模型),并建议开发者开启「Pro Mode」以获得最可靠的结果。博文举例:「造一株我拿起时会被吹散的蒲公英」这类提示在 Gemini Flash 上可能 20 秒内完成,但动画和手部交互在思考阶段要消耗更多 token(模型处理的基本文本单位),运行时出错概率比 Gemini Pro 高。

设备清单点名 Android XR,Quest 不在官方名单里

设备范围是这条公告没有展开的问题,答案在教程页面:运行环境一类是 Android XR 头显与有线 XR 眼镜的 Chrome 浏览器,另一类是任何电脑上的桌面 WebXR 模拟器。XR Blocks 官网 FAQ 补充了设备现状——Samsung Galaxy XR 已开售,XREAL AURA 处于预订购阶段。

回复区里,用户 Aarav Y 在称「单个提示词就有捏合手势有点离谱」的同时追问:「它能在普通 Quest 上跑吗,还是桌面物理需要更新的头显?」()。Meta Quest 没有出现在这两份官方材料的设备清单里。另一位回复者、创业者 Raúl Nogales 给出了更直接的判断:XR 曾是软件里原型耗时最久的角落,「如果一个提示词就能让你得到可以捏、可以移动、可以对着真实墙面测试的东西,第一稿就不再是成本最高的部分」()。截至本文核实数据时,这条公告帖文获得约 15,000 次浏览、285 个点赞和 22 次转发,而 Quest 兼容性的追问仍悬在回复区里。

参考链接