|
OpenAI于10月29日公开介绍其前沿模型失准监测系统。公司称，监测范围已扩展到前沿模型训练、评测和内部使用，并按具体产品形态覆盖部分外部部署。
内部系统采用分层流程：轻量激活探针先筛出可疑行为；模型评审器检查对话与工具使用；调查代理结合任务背景重建事件；在敏感工作流中，自动调查层还会对照网络日志和其他系统遥测。高优先级告警可交由安全或训练团队处理，部分严重情况可自动暂停相关工作负载。
OpenAI还讨论了监测可能带来的副作用：若模型因暴露问题而失去训练奖励，可能学会隐藏线索。公司称其在强化学习中不因单条样本触发监测而调整该样本奖励，并以异步方式运行监测，降低对训练样本选择的直接影响。
外部产品的覆盖和干预能力并不完全相同。OpenAI表示，外部监测不会常规地把所有告警升级给其人工审核；API自动暂停依赖受支持的对话追踪机制，Chat Completions请求不在该监测覆盖范围内。文中的架构、回放模拟及效果均为OpenAI对自有系统的说明。
官方原文：
https://openai.com/index/how-we-detect-frontier-model-misalignment/ |
0