OpenAI于11月2日发布LifeVal研究页面,介绍一套用于追踪AI模型处理日常事务表现的评测。任务范围包括寻找托育服务、办理政府事务、做预算、准备上学、采购和照护等。OpenAI表示,评测任务参考美国与国际时间使用调查,并结合对3,995名受访者的调查,了解人们最希望个人助手在哪些事情上提供帮助;公司称已用LifeVal追踪过去一年模型在日常任务上的进展。
页面展示了若干具体任务示例及分值:搬家后比较幼儿园为93.1%,组织洪水应急志愿者为98.0%,寻找符合家庭条件的住房为100%,远程安排与祖母一起看比赛为96.3%,为新确诊糖尿病的家长准备餐食计划为90.4%。这些数字对应页面列出的示例任务,不应直接理解为AI在所有真实生活事务中的总体成功率。
LifeVal关注的不只是回答是否相关,也包括模型借助浏览器、电脑操作和连接器推进任务的能力。它反映出个人助理评测正向实际办事流程延伸;页面披露的信息仍主要是任务选择背景与示例结果。
官方来源:OpenAI《LifeVal》 https://openai.com/index/lifeval/ |