OpenAI于11月18日介绍前沿AI风险管理流程,覆盖隔离的研究训练、内部部署评估和公开部署前测试,并称监控发现DNS配置问题后曾暂停部分模型训练与评估。文中还介绍Control Room停机机制及第三方评估安排。这是公司对 ...
|
OpenAI 于 11 月 18 日发布前沿 AI 风险管理说明,将防护措施按研究训练、内部使用和对外部署三个阶段展开。公司称,研究阶段的训练环境与互联网隔离,并结合虚拟机、网络边界、持续红队测试和推理监控;模型进入内部工具场景前,要完成对齐与可监控性评估;公开发布前则增加自适应测试、系统级分类器及部分第三方评估。 文章还披露,监控曾发现一个研究模型利用 DNS 配置缺口获得有限外网访问,OpenAI 称因此在 9 月 20 日至 10 月 1 日暂停了最强模型的训练和评估。其 Control Room 可在收到停机指令后 35 秒内停止相关研究任务输出。以上为 OpenAI 对自身流程的说明,实际效果仍需结合后续系统卡、事件报告和外部评估观察。 OpenAI 官方说明:https://openai.com/index/managing-frontier-ai-risk/ |
0