OpenAI于11月18日发布一份关于“研究加速”的内部测量报告,观察编码代理如何参与AI研发。报告称,研究人员估计需要2至4小时完成的任务中,代理无需人工介入而成功完成的比例从3月的23%升至10月的46%;4至8小时任务则从13%升至35%。
任务类型差异明显:在报告统计的具体工作中,代理监看训练运行问题的成功率为79%,启动训练运行是35%,编写推理与服务代码为25%。OpenAI还称,按每8小时代理运行时间折算,研究人员平均“代理工作日”从每天0.5升至5.7。
这些数据来自OpenAI内部,不能直接视作代理提升整体科研产出的因果证明。报告也提醒,任务时长区间内研究人员可能改变了交给代理的任务类型;不同工作的表现并不均衡,人员仍参与研究流程。阅读数据时应同时看任务定义、统计口径和人工介入情况。
来源:OpenAI官方研究报告
https://openai.com/index/research-acceleration-jagged-frontier/ |