AREX Feed Article
Google Gemma 官方分享 StudentBench 研究：AI 家教即时 GRE 增益与人类专家家教统计上等价，Gemma 4 31B 单位增益成本约为人类的 1/918
北京时间 10 月 2 日凌晨，Google 的 Gemma 官方账号（@googlegemma）在 X 上发帖分享一项 AI 家教研究：在一小时的 GRE（美国研究生入学考试）辅导中，AI 家教带来与人类专家家教统计上等价的即时学习增益，帖文还称 Gemma 4 31B 在研究中领先（）。帖文把 AI 家教描述为「协助教育工作者的资源」，称它可以帮助专家扩大影响、让指导惠及所有人。
帖文链接的论文《StudentBench: AI and human tutoring yield equivalent GRE learning gains》覆盖 2,383 名参与者，其结论是：AI 家教与专家人类家教的即时学习增益统计上等价（p = 0.015）；其中 Gemma 4 31B 通过个体等价检验（p = 0.044），按论文口径，它的单位学习增益成本约为人类家教的 1/918（）。论文 9 月 23 日提交 arXiv、9 月 30 日修订，作者为 Curtis Northcutt、Inaara Hasmani 等六人，伦理声明显示研究由 Handshake AI 资助；Google 的帖文是对一周多前已公开结果的官方分享，跟帖将研究归功于 @cgnorthcutt、@joinHandshake 与共同作者，并附有论文、数据与推文串链接（）。
一小时、三组对照的实验设计
研究在 2026 年夏季历时约两个月，通过 Handshake 平台向约 70,000 名学生发出邀请，最终纳入分析的样本为 2,383 名成年人（18～67 岁，中位 21 岁），完成一次完整流程可获得 50 美元报酬。每场流程一致：27 题前测、约 5 分钟订正错题、随机分配的一小时干预（AI 家教、人类家教，或对照组观看与 GRE 无关的教育视频），随后是后测；学习增益按后测减前测的百分点计算。有效场次（session）共 2,469 场：AI 组 2,139 场、人类组 140 场、对照组 190 场。
两组「老师」的构成：人类家教是前 ETS 或 Kaplan 的 GRE 出题人、或有五年以上 GRE 家教经验者，每部分 9 人；AI 家教每部分 13 名、来自 12 个模型，覆盖多个 Gemini 版本、Gemma 4 31B（高推理档）、GPT-5.5 系列、Claude Opus 4.8 与 Opus 5、Kimi K2.6 等。双方都能看到学生前测做错的题，但都拿不到后测题，给 AI 的提示词还明确禁止其猜测后测内容。论文特意采用极简的软件脚手架和低引导提示词，以尽量测量模型本身的教学能力，而不是研究团队的提示词设计。第一作者 Northcutt 在 9 月 24 日的推文串中强调，学习增益直接由前后测分数计算，「没有 LLM 评委」，参与者全部是真实学生（）。
「等价」的统计含义与七个领域
论文判定「等价」用的是双单侧检验（TOST）：它不检验 AI 与人类之间有没有差异，而是要求两者差值的 90% 置信区间完全落在预先设定的等价界（equivalence bounds）内；合计量化与语文两部分后，等价成立（p = 0.015）（）。原始样本均值显示，AI 组平均提升 13.9 个百分点、人类组 15.6、无辅导对照组 7.1；调整起始分数等变量后，AI 相对对照组的增益为 6.15 个百分点（95% 置信区间 4.08～8.21），人类为 7.04 个百分点（3.88～10.20）。「等价」不等于 AI 反超：平均而言，人类家教的增益仍略高。
按领域拆分，七个 GRE 领域中，表现最好的 AI 家教在五个领域的平均增益超过人类家教；人类在代数（algebra）与句子等价（sentence equivalence）两项上保持领先；论文还称，人类家教在语文部分的整体平均增益仍然最高。参与者层面，12 名 AI 家教中有 6 名通过了个体等价检验；这些检验逐个进行，未做跨家教的多重比较校正。
Gemma 4 31B 领先的是单位增益成本
Google 帖文说 Gemma 4 31B 在研究中「领先」；在论文里，Gemma 4 31B 的突出结论是成本效率，而不是平均增益。论文给出的数据是：Gemma 4 31B 在 159 场辅导中平均提升 12.742 个百分点，人类家教在 140 场中为 15.608 个百分点，但模型调整后的等价检验仍判定两者等价（p = 0.044）。
成本侧，Gemma 4 31B 一次完整辅导（教案生成、练习题生成加一小时对话）的平均推理成本为 0.067 美元，是 12 名 AI 家教中最低的，最高的是 GPT-5.5 Pro 的 21.24 美元；成本按 API 调用记录折算，覆盖 96.7% 的请求。按每提升一个百分点折算，Gemma 4 31B 为 0.00524 美元，人类家教按 75 美元/小时的市场参考价折算为 4.80508 美元，前者约为后者的 1/918。
在论文按起始分数调整后的增益榜单上，Gemma 4 31B 不是榜首：Opus 4.8（极高推理档）为 16.0 个百分点、人类家教 14.9、Gemma 4 31B 13.1。它的定位是以最低的单位增益成本通过个体等价检验：定量、语文与合并三个口径下，单位增益成本最低的四个模型始终是 Gemma 4 31B、GPT-5.4 mini、Kimi K2.6 与 Gemini 3.7 Flash。
专家评审偏好，以及延迟与参与度的关联
论文的第二项研究请 51 名专家家教对 AI 生成的教案和练习题做两两比较，共 2,028 次评审，覆盖 381 份学生前测。受专家青睐的是 Anthropic 的模型，尤其是 Opus：它们在教案设计与练习题设计上被专家选中的次数更多，在对话教学行为的六条规则打分上也更高；而各模型的对话教学特征按厂商聚成互不重叠的条带，论文认为这可能反映各公司跨模型共享的训练实践。
学习增益与「教学能力」榜单并不一一对应，论文用延迟给出一个可能解释：在 1,137 场定量 AI 辅导中，回复越快，学生发的消息越多、做对的练习越多、增益越大（三个环节的关联均 p < 0.002；语文部分不显著）。12 名 AI 家教的回复时间中位数从 1.9 秒（GPT-5.4 mini）到 31.0 秒（GPT-5.5 Pro）。作者推测，低延迟及其带动的参与度和练习量，可能解释了为什么在教学能力榜单上表现一般的模型也能达到人类水平的学习增益；这是作者的推测，不是实验证明的因果。
论文自己写下的限制
等价结论对模型设定敏感。论文报告的一项敏感性检验改用「只含学习增益、按人类家教聚类、不含协变量」的模型后，定量与语文两部分都未能确立等价；论文由此写道，定量部分的等价结论取决于模型设定。作为对照，论文另一项排除重复参与者的敏感性检验中，定量与合并口径的等价结论保持不变。人类家教的 140 场集中在少数几位家教名下，合并比较的有效自由度只有 1.59，论文称小样本近似仍存在不确定性。
研究也没有设置「学生自己刷题」的对照条件，因此无法单独衡量 AI 家教相比独自练习多出的收益。样本方面，参与者全部是能用英语读写的成年人、通过 Handshake 平台付费招募；论文没有测试其他语言、设备与教育场景。
开放数据、免费平台，以及留存问题
论文称，脱敏后的研究数据与复现代码已开源，分别发布在 和 ；同名平台 StudentBench（）免费开放，流程与实验一致：做一套 GRE 前测、与 AI 家教练一小时、再做一套后测，定量或语文任选，一次约 2～2.5 小时。论文称平台累计收集了超过 175,000 条学生与 AI 的消息；Northcutt 在推文串里写道，全部研究数据已免费发布，平台也免费开放使用。
论文测量的是「即时」增益。作者称希望这类发现能推动学习保持性方面的纵向研究，但研究本身没有评估这些增益能否在数月后保持。