Google Gemma 官方转述 AirbnbEng 新基准:微调 Gemma 4 E2B 自报 max F1 升至 0.902、中位延迟 35ms、高用量下成本约为前沿 API 的 1%
2026 年 11 月 19 日 17:02(UTC,北京时间 20 日凌晨 1 时许),Google Gemma 官方 X 账号 @googlegemma 发帖,转述 Airbnb 工程团队 @AirbnbEng 一项新基准的结果:把 Gemma 4 E2B 用在政策分类(policy classification)上,部署在单张 NVIDIA RTX Pro 6000 GPU 上服务。帖文给出三组自报数字:质量上,max F1 由 0.563 升至 0.902,称可匹配顶尖前沿(frontier)API;速度上,中位延迟 35ms、p99(第 99 百分位延迟)85ms,对比前沿模型约 900ms;成本上,高用量下约为前沿 API 支出的 1%。
这三组数字能在一手出处对上号。Airbnb 工程团队已在自家技术博客 airbnb.tech 发表署名文章《Frontier quality at 1% of the cost: a production benchmark of LLM classifiers》(前沿质量、1% 成本:一次 LLM 分类器的生产基准),作者署名 Clay Gibson 与 Adel Elmalaha,帖文数字与博客正文及图表逐项一致;不过 @googlegemma 的帖文本身没有附上这篇博客的链接。无论帖文还是博客,结果都出自 Airbnb 一方自述,目前没有独立验证。
一条转帖,三组数字
帖文开头写道:“很高兴看到开放权重遇上出色工程会发生什么。”结尾把结果归功于 @AirbnbEng“认真的评测、领域数据,以及准确知道专用小模型何时胜过庞大 prompt(提示词)”,并表示很高兴 Gemma 能参与这套技术栈。按账号自述,@googlegemma 是 Google DeepMind 打造的 Gemma 系列轻量开放模型的官方主页,目前有超过 11 万粉丝。
发帖约一小时后(截至北京时间 20 日凌晨 2 时许),这条帖文录得约 1 万次浏览、约 300 个点赞。除三行数字、一句任务描述和两处归因致谢外,帖文正文别无其他:没有基准构成、没有数据集规模,也没有模型版本与推理栈细节。
数字出处:airbnb.tech 上的署名博客
博客副标题写明了这项工作的性质:“我们对比了微调后的 E2B 模型与前沿 API,任务来自一项真实的生产分类场景。它匹配了对方的质量,用时不到 100ms,成本约为百分之一。”文章说,Airbnb 内部的 GLOWC 框架让工程师可以把开放权重语言(及视觉-语言)模型微调成又快又准的分类器,这篇博客把其中一个分类器同开放权重与专有模型正面对比。
对微调本身,博客的概括是:“微调把质量-延迟前沿整体推移了,而不是沿着它做取舍。”至于这些结论在什么条件下成立、钱怎么算,博客正文和脚注各有交代。
测的是真实生产任务,不是公开题库
文章先解释为何不用公开基准:“公开基准很少能捕捉真实产品的约束。”他们测的是一个生产分类器:筛查违反 Airbnb定价与付款透明政策(pricing and payment transparency)的内容。误报会把合法内容挡在发布之外,因此要求高精度;这个分类器每分钟被调用数千次,又在发布前实时把关,评分必须在 200ms 内返回。
被测的微调分类器有 20 亿有效参数(E2B)。作为背景,Gemma 4 是 Google DeepMind 2026 年 7 月发布技术报告的开放权重、原生多模态模型家族,参数规模 2.3B~31B,含稠密与 MoE(混合专家)架构。对照的开放权重模型用推理框架 vLLM 0.28.0 自托管在同一张 NVIDIA RTX Pro 6000 GPU 上:不超过 12B 参数的模型跑 bfloat16,更大的用公开的 FP8 或 NVFP4 权重;专有模型则通过厂商 API 调用。除特别说明外,所有模型拿到同一份约 400 词的精简 prompt,延迟按服务网关记录的服务端处理时间计。
数据一端同样交代了来源:微调用了数十万条领域样本,来自未选择退出 AI 训练的用户、经去标识化处理;评测用 10,000 条加权样本的留出集(held-out set,不参与训练),权重用于校正从生产流量抽样带来的偏差。博客脚注补充,用 184,000 条样本的大集合复验了部分模型,max F1 与正文报告值相差不超过 0.01。指标上,质量用 max F1——能输出概率的模型扫阈值取最好的 F1,只返回“是/否”判定的专有模型直接取其判定分数;博客承认自己通常更倾向 PR-AUC(精度-召回曲线下面积),但多数专有模型没有可供积分的概率曲线,并称在有 PR-AUC 的场合,它与准确率给出的排名同 max F1 几乎一致。
对比结果:前沿模型慢在延迟、卡在阈值、贵在账单
专有生成模型“准但慢”。博客称这类模型的分类质量不因更多思考而显著提升,因此按低思考(low-thinking)模式报告:GPT-6.1 Sol 与 Claude Sonnet 5.5 的中位延迟约 900ms,p99 以秒计,数倍于 200ms 预算;GPT-6 Luna 是所测最快的专有生成模型,但仍比单卡上运行的 Gemma4-31B 更慢、更不准。
判定和分数的差别是博客强调的一个机制:专有生成模型只给“是/否”,留下单一、固定的精度-召回点。用精简 prompt 时,GPT-6.1 Sol 落在 0.82 精度、0.96 召回,在一个误报代价高的任务上偏向了召回;想挪动这个点,只能重写 prompt。靠提取对数概率(logprobs)产出分数的模型则可以扫阈值,自行取舍精度与召回。现成模型里,TypeSafe 的 Jev 返回概率而非生成判定、不经词元(token)生成,是博客所测延迟 100ms 以内最准的一个。
加长 prompt 也难以填平差距。博客还用一份 2,700 词、逐条列出行为类型并附正反例的详细 prompt 重测了所有模型:专有生成模型涨了 1~3 个百分点,大致追平微调分类器,但延迟高得多;在延迟预算内的模型里提升有限,差距依旧。博客的结论是,对快到能部署的模型来说,调 prompt 并不一定能填平质量差距。
成本一节的算法写得很直白:专有模型按 token 计费,随流量线性上涨;GPU 忙碌与否成本一样,自托管只有在流量够大时才便宜。在数千 RPM(每分钟请求数)量级上,精简 prompt 下的前沿模型比一张自托管 GPU 贵两个数量级——文首成本图在生产流量处标注 Claude Sonnet 5.5 为 174 倍、GPT-6.1 Sol 为 77 倍、Jev 为 4.6 倍;详细 prompt 再抬 20%~40%,Jev 因其 API 对缓存输入不打折,成本翻四倍。价格按各厂商 2026 年 10 月公开牌价计算、不反映任何议价,并为利好托管模型的口径假设了 71% 的缓存命中率(高于实测值)。低流量时结论反过来:约 15~30 RPM 以下,Claude Sonnet 5.5 与 GPT-6.1 Sol 比一张专用 GPU 便宜,该图上 Jev 则要到约 500 RPM 才与单卡打平。
Airbnb 自己划的适用边界:什么时候才值得微调
博客给出的“何时微调”清单有四条,全部以自身基准为参照。量够大:本任务约 30 RPM 以上,一张自托管 GPU 就比前沿 API 便宜,在 Airbnb 的流量下便宜几个数量级。延迟紧:同质量结果在前沿 API 处要等中位约 900ms、p99 数秒,这份分类器 p99 约 85ms;厂商的更快档位要加价。要阈值不要判定:分数让人不重写 prompt 就能取舍精度与召回。有标注数据:数十万条领域样本做到了 2,700 词 prompt 做不到的事。
反向情形也写明了:低量任务,或者每周都在变的需求,前沿模型加一份好 prompt 往往才是对的选择。在公司内部,GLOWC 为各团队提供微调、批量推理与服务的共享基础设施,一个模型的改进会摊到所有模型上。博客末尾附上了 Airbnb 招聘页面的链接。
自报口径:回复区在问怎么测的
转述这次结果的两方都是当事方:@googlegemma 是 Gemma 官方账号,转述的是自家模型家族的成绩;博客出自 Airbnb 工程团队,写的也是自家的生产系统。回复区里的问题也落在这里。Djordje Todorovic 直接问“这是怎么测的?”;Ahmed Radwan 则感谢 Airbnb 连 p99 也公布了。截至北京时间 20 日凌晨 2 时许,那条提问下面还没有 @googlegemma 的回应。