AREXOpen in interactive Feed

AREX Feed Article

Google AI Studio 官宣:Gemini API computer use 工具正式普遍可用,与 preview 无破坏性变更

November 4, 2026

北京时间 11 月 5 日凌晨(UTC 时间 11 月 4 日 17 时),Google AI Studio 官方 X 账号:Gemini API 中的 computer use 工具现已正式普遍可用(generally available,GA)。帖文称,与 preview 相比「没有破坏性变更,只是为你的浏览器、移动和桌面 agent 提供生产就绪的稳定性」,并附上链接。

时间线上更早的一步是:已在 10 月 30 日写入这次变更——「Computer Use 普遍可用(GA):将 Computer Use 工具发布至普遍可用(GA),覆盖 Interactions 与 GenerateContent 两套 API。」帖文本身未披露支持模型、定价或用量限制;这些细节由官方文档与定价页补齐。

更新日志比官宣早五天

官宣五天前, 已对照发布说明与文档做了解读:GA 同时覆盖两套 API,意味着已有 GenerateContent 管线的团队无需迁移即可接入 computer use,新项目则可以直接用 Interactions API 的服务端状态管理——后者通过 previous_interaction_id 把 agent 循环的每一轮状态留在服务器,官方代码示例正是用它续接多步任务。Data Studios 还提到,谷歌文档如今把 GenerateContent 标注为 legacy(遗留接口),但它仍是大多数现有 Gemini 集成所依赖的请求—响应式 API。

对已经在测试这项功能的开发者,「无破坏性变更」意味着 preview 期间验证过的工具声明、动作词表和安全机制照常可用——按 Data Studios 的读法,变化的是状态而非语法。Data Studios 当时还记录了一个细节:文档页面彼时仍保留着「作为 Preview 能力,Computer Use 可能包含错误与安全漏洞」的措辞;截至本文发稿,现行文档的提示框已删去这句 Preview 表述。

截图进、动作出,点击发生在客户端

对工具的定义是:模型借助截图「看」屏幕,再以具体的 UI 动作「行动」;与函数调用类似,开发者必须自己实现客户端执行环境。官方文档把 agent 描述为一个四步循环:应用发出包含 computer_use 工具、目标环境、用户指令和当前屏幕截图的请求;模型返回一个 function_call,比如一次点击、滚动或按键,Gemini 4 与 3.x 系列模型还会附上解释动作意图的 intent 字段;客户端把动作解析出来并执行;然后截取新屏幕、以 function_result 回传,循环往复,直到任务完成或被终止。

坐标是这套接口的关键设计:模型在 0~999 的归一化 1,000×1,000 网格上给出位置,客户端按实际视口缩放后再交给 Playwright 这类自动化工具执行,因此请求无需声明屏幕分辨率。动作词表按环境区分——浏览器与桌面共用同一套 20 项动作(左键、双击、右键、中键、拖放、键入、热键、滚动、前进后退、直接导航 URL 等);移动环境面向 Android 优化,把精细鼠标控制换成了 open_app、list_apps、long_press 这类应用级动作,共 10 项。开发者可以用 excluded_predefined_functions 排除内置动作、注册自定义函数,文档给出的示例是 yield_to_user——当动作不安全或含糊时把控制权交还给人,用于人在回路(human-in-the-loop)场景。思考等级(thinking levels)也可配置,文档提示较低等级对标准自动化任务通常已经够用。

四个模型可选,账单跟着 token 走

官方示例统一使用 gemini-3.8-flash。据 对照文档整理,目前支持 computer use 的模型共四个,谷歌对各模型的定位是:Gemini 4 Argon 能力最强,面向复杂推理与 agentic UI 工作流;Gemini 3.8 Flash 是推荐的 computer use 首选;Gemini 3.5 Flash-Lite 定位低延迟、低成本;Gemini 3 Flash Preview 仍是预览模型。

定价上,没有单独的 computer use 计费项,成本就是所用模型的 token 价格——包括 agent 每一步都随请求重发的截图。据定价页,Gemini 3.8 Flash 付费层标准价现为每 100 万 token 输入 0.75 美元、输出 3.75 美元,2027 年 1 月 1 日起涨到 1.50 与 7.50 美元;Gemini 3.5 Flash-Lite 为 0.30 与 2.50 美元,页面上没有列出调整计划。Data Studios 引用定价页(2026 年 10 月 30 日口径)补充了 Gemini 4 Argon 的数字:现价 2.00 与 10.00 美元,2026 年 12 月 1 日起翻倍至 4.00 与 20.00 美元。该分析还指出,这类任务里输入 token 占大头,因为每一轮都要重发视觉状态——跑大批量常规自动化(比如网页表单回归测试)的团队会直接感受到即将到来的涨价,也有动力测试 Flash-Lite 在自己的流程里是否足够准确。

从独立模型到内置工具,再到 GA

这条产品线此前走过两个节点。2026 年 6 月 24 日, computer use 成为 Gemini 3.5 Flash 的内置工具,结束了它作为独立 Gemini 2.5 computer use 模型的阶段;官方当时称这带来「迄今最佳的 agentic 计算机使用表现」,并公布了 OSWorld-Verified 基准成绩——Gemini 3.5 Flash 得分 78.4(同图对比中,Gemini 3 Flash 为 65.1)。谷歌当时称已有客户在借这项能力创造价值,并引述了 Browserbase、Browser Use 和 UiPath 三家的评价。

据 Data Studios 的观察,这次 GA 让 Gemini 与其他通过 API 提供 computer use 的供应商形成直接竞争,其中点名了 OpenAI 近期发布的 GPT-6.1 Terra 及其 computer use 功能。谷歌自家产品线也在同步收拢:11 月 2 日,宣布弃用 gemini-2.5-pro 与 gemini-2.5-flash,12 月 1 日起对旧模型的请求将自动路由到新模型并按新费率计费。

安全决定由 API 返回,执行责任留给开发者

文档把相当篇幅放在安全机制上,这也是 GA 之后仍然需要开发者自己落实的部分。每个建议动作可能附带内部安全系统的 safety_decision,分为放行、require_confirmation(需用户确认)与阻止三类;按 Data Studios 对文档的整理,需要确认时应用应提示用户,并在用户同意后于回传的 function_result 里写入 safety_acknowledgement,被阻止的动作则应中断循环。策略分七个类别:金融交易、敏感数据修改、通信工具、账号创建、数据修改、用户同意管理、法律条款与协议。

这些策略可以部分覆盖:disabled_safety_policies 能关掉指定类别,但 Data Studios 转述文档的告诫——这类覆盖只是「表达偏好」,模型仍可能返回 require_confirmation,假设确认步骤永远不会出现的应用在设计上就是错的。另一道开关是提示注入检测:enable_prompt_injection_detection 会扫描截图里隐藏的对抗指令(例如「忽略之前的命令」)并在检出时阻断执行,默认关闭、需显式开启,且仅支持 Gemini 3.5 Flash-Lite 及之后的模型。部署侧的要求同样落在开发者身上——文档要求把 agent 跑在沙箱化的 VM 或容器里,附带的参考实现提供可直接使用的 Docker 沙箱;Data Studios 还整理了官方最佳实践:用允许列表限制可访问站点,并记录提示词、截图、建议动作与安全响应以便复盘。

用 Data Studios 的话说,GA 改变的是这套 API 的支持状态;谷歌文档里的警告也没有随之撤下:Computer Use 可能包含错误和安全漏洞,对重要任务应保持密切监督,并避开关键决策、敏感数据和出错后无法挽回的操作。从放行、确认到拦截,每一次点击的最终执行与把关都落在客户端代码里。

参考链接