AREX Feed Article
Google Gemma 上线 EmbeddingGemma 2 涂鸦游戏:模型实时猜你画的是什么,相似度到 90% 过关
涂鸦画得像不像,由嵌入模型实时打分。北京时间 10 月 12 日 23 点 56 分前后,Google Gemma 官方 X 账号 @googlegemma 发帖,宣布推出一款基于 EmbeddingGemma 2 的实时猜画演示游戏:玩家选定目标物体后开始涂鸦,模型实时猜测画的是什么,画作要不断修改,直到与目标的相似度达到 90%、压过同主题的干扰项,才算清关。帖内附了试玩入口和 Developer Guide 链接:前者指向 Hugging Face Spaces 上的应用,后者指向 Google Developers Blog 上的。
该账号在一秒后发出的跟帖中还写道,EmbeddingGemma 2 能把文本、图像、视频、音频和代码「无缝映射进单一、统一的向量空间」。这句能力描述出自官方帖文,属单方口径,尚未经独立验证。
选定目标开始画,同主题 8 个物体始终挂在计分板上
游戏目前有四个主题:Fruit(目标 Banana)、Vehicle(Sports Car)、Animal(Elephant)和 Country (Shape/Icon)(Korea)。每个主题配 1 个目标物体和 7 个干扰项,四组共 32 个物体。玩家从下拉菜单中选定主题和目标后开始作画,主题内的全部 8 个物体同时列在「Similarity Scoreboard」(相似度计分板)上——干扰项是实时对手,不是摆设。这些设置来自该 Space 公开的服务端代码 ,与推文附带的演示画面一致。
界面顶部用一句话写明规则:「画出下方目标物体,EmbeddingGemma 2 会实时猜你正在画什么,目标相似度达到 90% 即可清关!」(界面原文为英文,下同。)提示栏随进度更新,给出目标物体的画法建议;得分逼近时提示「你已非常接近 90% 的阈值」;当某个干扰项比目标高出 5 个百分点以上,界面显示「Vector Drift Alert」(向量漂移警报),提示当前画作更像那个干扰项而不是目标。达到 90% 后,界面显示「Semantic Lock Achieved」(语义锁定达成)和最终得分,并弹出过关对话框。上述文案均可在代码中逐条对应。
90% 的相似度是映射出来的分数,不是原始余弦值
计分板上的 90% 并不直接等于涂鸦图像嵌入与文本嵌入之间的余弦相似度。app.py 的评分流程是:把画作合成到白色背景并缩放至 240×240,与每个物体的文本提示「A simple drawing of {obj}」一起编码,先算出原始余弦值,再重新映射成 0~100% 的展示分——65% 权重来自目标与各干扰项的相对优势(同主题物体间按 softmax 归一占比分配),35% 来自原始余弦值,另加两项与空白画布差值挂钩的奖励,分数上限 99.2%。
代码里还有两处直接影响得分与手感的工程处理。一是防分数虚高的「热身」:画布墨迹覆盖低于 0.05% 视为空白,不调用模型、直接返回 0 分;墨迹占比在 0.05%~0.6% 之间时得分按比例缩放,代码注释写明这是为了让「单个墨点不会冲到 90%」。二是实时性:画布每次变化都会触发一次重新评估,代码注释称图像编码器参数已按「低于 0.5 秒延迟的实时笔画评估」调整。推理不发生在浏览器里——评估函数被注册为 Hugging Face Spaces 的 ZeroGPU 任务,在服务端 GPU 上执行,单次申请时长上限 60 秒。
一幅涂鸦和一句文本,直接放进同一组向量里比较
这个游戏的关键在于:涂鸦和「A simple drawing of an apple」这样的文本提示之间没有 caption(把画面转成文字描述)之类的中间步骤,图像嵌入与文本嵌入直接算余弦相似度,谁的分高就上计分板。代码实现的正是官方说法里图像与文本同处一个向量空间的那部分。
app.py 用 SentenceTransformer 加载 Hugging Face 上的 EmbeddingGemma 2(仓库 google/embeddinggemma-2),并把嵌入截断到 128 维;返回的数据里除了展示分,还带有每个物体的原始余弦值和推理延迟遥测。不过,演示只动了图像和文本两端,视频、音频和代码的统一映射目前仍只是官方帖文与模型卡的描述。
模型 10 月 6 日发布,演示游戏 6 天后跟进
EmbeddingGemma 2 是 Google DeepMind 推出的开放、轻量多模态嵌入模型,10 月 6 日在 Google 官方博客发布,官方博客的措辞是「从文本向外扩展」(expanding beyond text)。模型卡称它构建于 Gemma 4 的架构之上;科技媒体 marktechpost 报道其参数量 740M,把文本、代码、图像、视频和音频嵌入同一个 768 维向量空间。Google DeepMind 的模型页面对它的定位是「能在日常设备上运行的搜索、路由与检索系统」。
帖内链接的《EmbeddingGemma 2: The Developer Guide》发布于 10 月 6 日,署名 Maarten Grootendorst(Member of Technical Staff,即技术团队成员)和 Ian Ballantyne,页面简介称内容是用 EmbeddingGemma 2 构建多模态搜索与 RAG(检索增强生成)应用。截至本文核验时,google/embeddinggemma-2 在 Hugging Face 上已获 98,829 次下载、1,787 个赞,许可证为 Apache 2.0。
帖子下面的用户提问,公开代码已能回答其中两问
发帖约两小时后,这条推文已收到 8 条回复、116 个赞和约 8,500 次浏览。AI 博主 Amelia(@AmeliaonAI)留言称「喜欢这个概念——让 EmbeddingGemma 当实时艺术评论家,妙极了」;更多人是技术提问:用户 GeekusFr 问演示是把涂鸦的图像嵌入直接与文本标签比较,还是要先经过某种 caption 步骤,「好奇一幅潦草的涂鸦怎么才能到 90% 相似度」;用户 Rohan(@proxy_vector)问模型是否「在浏览器里本地运行」;用户 _NN(@nethnadck)则问它是否已进入 LM Studio。
前两个问题已有公开答案:按 app.py 的实现,评分是涂鸦图像嵌入与文本提示的直接比较,没有 caption 中间步骤;推理发生在 Spaces 的服务端 ZeroGPU 上,不在浏览器本地。截至本文完稿,@googlegemma 尚未在可见回复中回应这些提问,LM Studio 的问题也仍无答案。
参考链接
- _