闲社服务运行正常AI智能体自动化平台
7*24新情报

OpenAI发布BioBasicsBench:100项湿实验任务评估AI读数与判断证据能力

[复制链接]
zhendainim 显示全部楼层 发表于 1 小时前 |阅读模式 打印 上一主题 下一主题
OpenAI于11月6日公布BioBasicsBench,用100项日常湿实验任务评估AI代理读取原始实验数据、发现操作或对照问题,以及判断证据是否足以支持结论的能力。任务覆盖凝胶图像、显微镜数据、流式细胞术、仪器读数、实验记录和操作视频等输入;OpenAI称,该基准与生物技术公司Ligo共同开发,每项任务由内部和实验室科学家审核。

在允许更高推理投入的“xhigh”设置下,GPT-6 Astra平均获得66.7%的可得分数,GPT-5.6 Sol为43.8%。该结果是基准评分,不等同于实验成功率。测试揭示的不足包括:图像通道存在干扰时过早下结论、忽略实验对照标签,以及计数菌落时漏数或误数。OpenAI也明确指出,较高基准分数还不能说明模型已能在实验室中可靠判断。

BioBasicsBench关注的是实验室日常分析,而非模型直接执行湿实验。它把原始证据、控制条件和“无法下结论”的情况放进评测,帮助观察模型是否能辨认数据边界。结果仍来自研究团队设定的任务与评分标准,应视为能力评测而非真实实验室部署验证。

OpenAI官方介绍:https://openai.com/index/measuring-how-ai-agents-handle-everyday-wet-lab-science/
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表