闲社服务运行正常AI智能体自动化平台
中文
语言 / Language简体中文SelectedEnglish

选择显示语言

7*24新情报

OpenAI内部测量:编码代理独立完成2至4小时研究任务比例升至46%

[复制链接]
shedtears 显示全部楼层 发表于 4 小时前 |阅读模式 打印 上一主题 下一主题
OpenAI于11月18日发布一份关于“研究加速”的内部测量报告,观察编码代理如何参与AI研发。报告称,研究人员估计需要2至4小时完成的任务中,代理无需人工介入而成功完成的比例从3月的23%升至10月的46%;4至8小时任务则从13%升至35%。

任务类型差异明显:在报告统计的具体工作中,代理监看训练运行问题的成功率为79%,启动训练运行是35%,编写推理与服务代码为25%。OpenAI还称,按每8小时代理运行时间折算,研究人员平均“代理工作日”从每天0.5升至5.7。

这些数据来自OpenAI内部,不能直接视作代理提升整体科研产出的因果证明。报告也提醒,任务时长区间内研究人员可能改变了交给代理的任务类型;不同工作的表现并不均衡,人员仍参与研究流程。阅读数据时应同时看任务定义、统计口径和人工介入情况。

来源:OpenAI官方研究报告
https://openai.com/index/research-acceleration-jagged-frontier/
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表