OpenAI 发布新基准 LifeVal，称以数千名用户反馈定题、已用一年测量并改进模型

OpenAI 于协调世界时（UTC）11 月 2 日 17:27（北京时间 11 月 3 日凌晨）通过宣布，已构建名为 LifeVal 的新基准。帖文开头写道：AGI（通用人工智能）要造福全人类，就应当能帮人们完成那些对其最重要的日常事务。帖文称，LifeVal 由数千名 ChatGPT 用户的反馈塑造——这些用户反馈了自己最希望个人助理在哪些方面帮忙，例子从寻找托儿服务、办理政务服务到管理个人财务；OpenAI 同时称，过去一年已用 LifeVal 测量和改进模型处理这些日常任务的能力。

配套的同日发布，细节比帖文更具体：任务选题建立在两项大型时间使用调查和一场新增的 3,995 人人口代表性调查之上；页面展示了当前模型在五项示例任务上的得分，介于 90.4%～100% 之间；另一张成绩表标注为 GPT-6 Astra 的「最佳纪录得分」，可见条目全部满分。

图片来源：OpenAI

从找托儿到办政务：LifeVal 要测什么

页面把 LifeVal 定位为「衡量 AI 在日常生活中重要任务上的进展」（Measuring AI progress on the tasks that matter in everyday life）。OpenAI 称，目前每周有超过 10 亿人在使用 ChatGPT，公司希望 AI 能帮上日常生活的实际难题：找托儿服务、办理政务服务、做预算、准备开学、修改菜谱、订购食材、设计健身计划等。

页面同时给出这项工作的动机：想让生活更轻松的人「需要的不只是建议或一段聊天回复」，一个真正有用的个人助理应该能「采取行动、真正把事情办成」。为此，OpenAI 构建了一套任务评测，覆盖用户最希望 AI 和个人代理（personal agents）提供帮助的领域。

题目从哪里来：两项时间使用调查与一场人口代表性调查

按页面「Background」部分的说明，OpenAI 先借用了两项追踪人们如何度过时间的大型研究：美国时间使用调查（American Time Use Survey）和多国时间使用研究（Multinational Time Use Study）。OpenAI 称，这两个数据集合起来提供了不同人群、时段和季节里人们日常生活任务的详细目录。在此基础上，OpenAI 又做了一场具有人口代表性的新调查，共 3,995 名受访者，针对每项任务提出多种问题，用来找出普通人最希望个人助理帮忙的地方。

按页面的说法，最终入选的任务覆盖人们最想获得帮助的主要领域：照护（caregiving）、健康、教育、家庭事务管理、个人财务、购物以及政务服务。

五项示例成绩：从陪奶奶看比赛到为糖尿病家长备餐

页面展示了「当前模型」在五项日常工作流程示例上的得分：搬家后为孩子选对幼儿园（93.1%）、洪水来临前组织社区志愿力量（98.0%）、在 Luzerne County 为全家找新房（100%）、远程陪奶奶一起看比赛（96.3%）、为刚确诊糖尿病的家长制定照护与备餐计划（90.4%，五项中最低）。

示例也透露了任务的形态。找房一项要求房子符合预算、带独立居住单元、放学接送通勤短，用户还要求「把地契加进我的购物车，我要复核」；模型的回复称已算好转让税，并把地契加入「县档案购物车（country records cart）」。陪奶奶看比赛一项，模型的回复称已备好最省事的观看设置，并留了直播失效时的备用方案。

页面另一处表格列出 GPT-6 Astra 的「最佳纪录得分（Best recorded GPT-6 Astra score）」，可见的六项任务——为学步期孩子找到并预订合适的感统课（sensory class）、自驾游前查汽车保养时间并预约检查、按预算订购三顿最爱饭菜的清真食材并用电子表格逐项列明、凭照片和钻石证书为妻子寻找丢失订婚戒指的替代品、找到并下单一台能同时替代手机、电纸书和掌机的口袋设备、退订邮件列表——得分均为 100%，表格下方还折叠着「See more +」的更多条目。页面在表格前写道：「我们最新的模型在许多 LifeVal 任务上得分很高。」

过去一年：在浏览器、电脑操作与连接器任务上改进模型

对于这一年 LifeVal 具体怎么用，页面给出的路径是：OpenAI 称过去一年训练模型在浏览器操作（browser use）、计算机操作（computer use）和连接器（connectors）任务上更快、更有能力、也更对齐；在 ChatGPT 中启用这些能力，扩大了模型能帮忙的任务类型，让 ChatGPT 从聊天工具走向「真正的代理式个人助理（truly agentic personal assistant）」。

在「Why this matters」部分，OpenAI 称：要确保 AGI 造福全人类，就需要测量并改进模型在普通人生活中重要事情上的进展——越过对模型知识的学院式评测，实际测量 AI 能否帮人做决定、打理日常责任、把有意义的事办成。OpenAI 表示：「我们希望 LifeVal 代表朝这个目标迈出的一步。」

帖文与页面都没说清的事

页面没有说明 LifeVal 一共包含多少项任务，也没有定义百分比得分的计算方式——示例和表格只给出分数，未说明它们是单次还是多次运行的结果；过去一年的改进同样只有结论，页面没有给出各时期模型在 LifeVal 上的纵向对比。对成绩表里的 GPT-6 Astra，页面也没有更多说明。

口径上还有一处差异：帖文说基准「由数千名 ChatGPT 用户的反馈塑造」，页面描述的选题调查则是一场 3,995 人的人口代表性调查，两者是什么关系，页面没有解释。页面同样没有说明任务清单是否会完整公开、其他人能否复测这些成绩。

截至北京时间 11 月 3 日查证时，这条发布帖文显示约 12.4 万次浏览、1,729 个点赞。在任务清单与评分细则公开之前，LifeVal 上展示的这些成绩，外界能引用的只有 OpenAI 自己的数字。