OpenAI 推出 LifeVal 基准，衡量 AI 完成日常任务的能力

LifeVal

衡量AI在日常生活重要任务上的进展。 分享 OpenAI的使命是确保通用人工智能造福全人类。对于目前每周使用ChatGPT的超过十亿人，我们希望打造能够帮助应对日常生活实际挑战的AI，比如寻找托儿服务、获取政府服务、制定预算、准备上学、修改食谱、订购杂货、设计健身计划等等。 当人们寻求帮助以让生活更轻松时，他们需要的不仅仅是建议或聊天回复。要成为真正有用的个人助理，ChatGPT应该能够采取行动，真正把事情办成。 为了长期衡量模型在日常任务上的表现，我们构建了一套任务评估，覆盖用户最希望从AI和个人智能体获得帮助的领域。过去一年里，我们用这套评估来跟踪并推动模型在日常任务上的表现提升。 为了找出人们最看重的任务，我们首先借助了两项追踪美国及国际人群时间分配的大型研究：American Time Use Survey⁠（在新窗口打开）和Multinational Time Use Study⁠（在新窗口打开）。这些数据集共同提供了详细目录，涵盖不同人口群体、不同时段和不同季节人们所做的日常生活任务。为了了解人们最希望在哪些方面获得AI协助，我们在这两项现有调查的基础上，新增了一项具有人口代表性的调查，共3,995名受访者。针对每项任务，我们提出了一系列问题，以找出普通人在哪些领域最希望得到个人助理的帮助。最终得出的任务覆盖了人们最希望获得帮助的最重要领域，包括照护、健康、教育、家庭事务管理、个人财务、购物以及获取政府服务。 以下是我们当前模型在一些日常生活实际工作流程中的表现示例。 搬家后为孩子报名合适的幼儿园 93.1% 比较新家附近的幼儿园，并筛选出最合适的选项。 我已经缩小到三所幼儿园，并整理好了报名详情。还有两个偏好需要你来决定。要查看候选名单吗？