闲社

标题: OpenAI发布BioBasicsBench：100项湿实验任务评估AI读数与判断证据能力 [打印本页]

作者: zhendainim 时间: 2 小时前
标题: OpenAI发布BioBasicsBench：100项湿实验任务评估AI读数与判断证据能力
OpenAI于11月6日公布BioBasicsBench，用100项日常湿实验任务评估AI代理读取原始实验数据、发现操作或对照问题，以及判断证据是否足以支持结论的能力。任务覆盖凝胶图像、显微镜数据、流式细胞术、仪器读数、实验记录和操作视频等输入；OpenAI称，该基准与生物技术公司Ligo共同开发，每项任务由内部和实验室科学家审核。

在允许更高推理投入的“xhigh”设置下，GPT-6 Astra平均获得66.7%的可得分数，GPT-5.6 Sol为43.8%。该结果是基准评分，不等同于实验成功率。测试揭示的不足包括：图像通道存在干扰时过早下结论、忽略实验对照标签，以及计数菌落时漏数或误数。OpenAI也明确指出，较高基准分数还不能说明模型已能在实验室中可靠判断。

BioBasicsBench关注的是实验室日常分析，而非模型直接执行湿实验。它把原始证据、控制条件和“无法下结论”的情况放进评测，帮助观察模型是否能辨认数据边界。结果仍来自研究团队设定的任务与评分标准，应视为能力评测而非真实实验室部署验证。

OpenAI官方介绍：https://openai.com/index/measuring-how-ai-agents-handle-everyday-wet-lab-science/

欢迎光临闲社 (https://www.xianshe.com/)