AREX Feed Article
Google 推出 XR Language Teacher：Gemma 4 驱动的离线语言课堂，端侧 ASR/TTS 同步上线
2026 年 11 月 10 日 17:30（UTC），Google Gemma 官方账号 宣布：XR（Extended Reality，扩展现实）Language Teacher 现已登陆 。把手机摄像头对准陌生物体或菜单，就能与 AI 语言导师语音对话；帖文称应用由 Gemma 4 驱动、以 Google 的编程智能体 Antigravity 构建，且不需要网络。按 的口径，Gemma 是 Google DeepMind 基于 Gemini 技术打造的轻量开源模型系列。
给出另一半消息：主 AI Chat 里可以直接与 Gemma 模型语音对话——新增的端侧 ASR（Automatic Speech Recognition，自动语音识别）与 TTS（Text-to-Speech，语音合成）管线，把实时语音听写流式送进提示框，再把 Gemma 的回复按句高亮朗读出来，全程在设备上离线运行。同日刊出发布说明，称这套本地语音管线让 Gemini Nano 和 Gemma 4 这类端侧小参数语言模型（SLM）获得了「打字聊天之外」的自然、语音优先、完全离线的交互方式。
摄像头对准菜单，开口问「这是什么，想要一个该怎么开口」
官方博客把使用场景设在旅行途中：学语言发生在真实世界里，常常是在地下车站、热闹的集市，或没有 Wi-Fi 和漫游数据的国外。XR Language Teacher 是 Google AI Edge Gallery 中新增的示例（showcase）：摄像头对准街边招牌、菜单或一件陌生物体，开口问 "What is that, and how do I ask for one?"（那是什么？想要一个该怎么开口？），应用随即用用户的母语解释，同时用当地语言读出地道说法，屏幕上同步出现词汇卡——博客强调这一切 100% 在手机本地完成，无需网络连接。
机制上，端侧 ASR 把用户说出的提问实时转写，与摄像头画面一起在单次推理中交给模型。博客写明的分工是：Android 设备上交给 Gemini Nano，其他平台交给 Gemma 4。帖文则把整个应用概括为「由 Gemma 4 驱动」。博客配图里，XR Language Teacher 界面的语言方向为英语→日语，模型选择器显示经 AICore 调用的 Gemma 4 E 系列（截断为「Gemma 4 E…」，AI Chat 界面则完整显示 Gemma 4 E2B），消息气泡上挂着 ML Kit ASR、ML Kit TTS 两个标签，界面里还有一条「Glasses (Not connected)」的状态提示。
双语切换靠结构化输出实现：模型按固定格式把母语解释和外语短语分开标注，TTS 管线因此能在同一句话中途切换音色和口音，从母语直接过渡到目标语言的发音，配合屏幕上的词汇卡完成「听-说」对照。
主 AI Chat 的端侧语音：听写进提示框，回复逐句高亮
第二项更新落在主 AI Chat 功能上，让用户不必打字也能与 Gemma 模型对话。博客补充了操作细节：打开「Auto-play TTS」开关，或点任意回复旁的喇叭按钮，界面会弹出一条悬浮 TTS 播放条，正在朗读的句子实时高亮，点任意句子即可跳转到那句开始播放。ASR 和 TTS 的设置集中在 Model Management（模型管理）里，可选择可用的语音管线、预设音色和已下载的语言包。
开源代码库还演示了几处工程细节：朗读前先剥掉 Markdown 语法，跳过代码片段、表格这类不适合读出来的内容，并按句子为单位调度语音合成，避免合成与语言模型逐字生成 token 抢算力和内存。
两条语音管线：Android 用 ML Kit，跨平台用 MediaPipe Tasks 与 LiteRT
这次发布同时覆盖 Google 的系统级语音模型和开放权重生态。Android 一侧走 ML Kit 的 GenAI 语音 API：语音识别支持超过 100 种语言，官方口径的 FLEURS 词错误率（WER）为 8.0%～9.0%，转写速度约为实时的 10 倍（每 3 秒语音约 300 毫秒完成），端到端语音翻译等待时间缩短 35%～44%；语音合成由 NPU（神经网络处理单元）加速的少步扩散模型驱动，约 100 毫秒开口，输出 24 kHz 音频，提供 8 种表现力音色、覆盖 21 个语言区域，最高以 50 倍实时速度合成——27 秒的段落约 500 毫秒即可生成，运行功耗较传统自回归 TTS 模型降低超过 50%。这些模型由 AICore 与 Google 的端侧语音服务托管，不给应用 APK 增加体积（官方称 0 MB）。
跨平台一侧走 MediaPipe Tasks 与 LiteRT：统一的 ASR/TTS API 覆盖 iOS、macOS、Windows、Linux 和 Web；其中 ASR 任务自动处理音频分帧、可配置的语音活动检测（VAD）与解码。ASR 示例模型是 Parakeet-TDT 0.6B；TTS 提供 PocketTTS 100M、Kokoro-82M 两款多语言模型，以及 31M 参数的英语模型 Phonon 31M——官方称其在多数设备和平台上首音延迟（Time-to-First-Audio）低于 100 毫秒。各模型所需的子图、词表和音色资源打包成单个 .litertlm 文件随应用分发，Hugging Face 的 LiteRT Community（官方称超过 10,000 关注者）还提供 Whisper、Qwen3-ASR、Moonshine、Qwen3-TTS、Matcha 等开放权重模型。
博客解释了为何不直接让多模态模型处理音频：Gemma 4 这类模型本可以直接接受音频输入，但把轻量语音模型与端侧语言模型分开串接，是为了优化延迟、保留替换模型的灵活性。
从博物馆导览到智能眼镜：开发者可改造「看-问-听」循环
帖文末段引导开发者：把 Antigravity 指向开源的 ，把这套 Gemma 4「看-问-听」（look-ask-listen）循环改造成博物馆导览、烹饪助手或自己的点子。仓库采用 Apache 2.0 许可证。博客的对应建议是：让常用的编码智能体（博客点名 Google Antigravity）指向这份代码，即可改造流式 ASR、双语 TTS 中途切换、逐句同步播放这三段管线，用到自己的应用里。
博客还给出一条硬件延伸路线：推理跑在与眼镜配对的手机上，同一体验既能独立跑在手机上，也能自然延伸到免手持智能眼镜；Android Dev Summit 的一场演讲「Building Audio-First Experiences for Intelligent Eyewear with Gemini Nano」专门讲了语言教师如何适配眼镜。
下载渠道、第一小时的反馈，与尚未验证的数字
按开源仓库 README 的说法，Google AI Edge Gallery 定位是在移动设备上离线运行开源大语言模型；博客称最新版应用已可在 Android 的 Google Play 和 iOS App Store 下载，仓库另提供 macOS 安装包。截至北京时间 11 日凌晨约 2 时 20 分检索时，发布主帖有 61 个赞、8 次转发、8 条回复，浏览 3,675 次。
回复里有几种声音。 认为真正的价值在离线：「在没信号的地铁或航班上练口语。我的碎片时间大多耗在那里，而云端导师在那儿根本用不了。」 调侃道：「一个永远不会被你的发音惹烦的 AI 导师。门槛不高，但我喜欢。」用户 用中文回帖：「喂，是时候发 Gemma 5 了。」这些都只是个别人的即时观感，规模很小。
更关键的一条边界：帖文、博客和开源仓库里的全部能力描述与性能数字——包括本篇引用的每一项——都出自 Google 自己的测量口径，目前没有独立来源可以对照；这套离线语言课堂的实际教学效果，也同样等待第三方检验。