OpenAI推出新基准LifeVal:聚焦真实日常事务,衡量AI助手落地实用能力

早报23小时前发布 小马良
8 0

OpenAI在11月2日发布全新评估基准 LifeVal,用来衡量AI模型协助普通人处理现实日常事务的能力,目标引导通用AI向真正实用的个人助手方向迭代。

  • 官方介绍:https://openai.com/index/lifeval

任务来源结合权威时间使用调研与大规模用户问卷:参考美国及多国时间使用调查,并对3995名具备人口代表性的受访者调研,筛选大家最希望AI助手帮忙处理的事务。

OpenAI推出新基准LifeVal:聚焦真实日常事务,衡量AI助手落地实用能力

LifeVal覆盖七大场景:照护、健康、教育、家庭行政、个人财务、购物、政府事务。典型任务包含搬家后筛选报名幼儿园、糖尿病家属膳食照护方案、预算内食材采购、填报政务表单、组织社区防洪志愿活动等。

它和传统AI基准最大区别:不只看信息罗列,重点评判输出结果是否达到可执行、可交付。比如找幼儿园不能只给名单,要综合通勤、预算、家庭条件筛选;财务规划需要结合收支、风险综合考量,任务往往要求模型读取对话上下文、联网检索、融合多源信息,给出适配个人情况的方案。

OpenAI透露,该基准已经在内部使用一年,用来追踪模型在生活化任务上的优化进度。公开样例得分:筛选幼儿园93.1%、组织防洪志愿者98.0%、糖尿病膳食计划90.4%。

同时存在明显局限:现阶段LifeVal以内部评估为主,完整任务数据集、评分代码、误差区间、独立复现排行榜都没有对外公开,第三方无法独立复测,相关得分结论需要审慎看待。

© 版权声明

相关文章