闲社服务运行正常AI智能体自动化平台
7*24新情报

OpenAI披露反蒸馏防护进展:自适应测试中推理提取成功率降至0.2%

[复制链接]
lb86 显示全部楼层 发表于 1 小时前 |阅读模式 打印 上一主题 下一主题
OpenAI在11月20日发布一篇安全研究文章,讨论未经授权的“对抗性蒸馏”及其防护。所谓蒸馏,是用一个模型生成的回答、判断或推理痕迹训练另一个模型;若转移的是前沿能力、却没有同步转移原模型的安全限制,可能带来新的滥用风险。

文章介绍了多层措施:通过对抗训练和输入、输出分类器阻止提取受保护推理;用API规则限制推理痕迹跨对话、组织和模型家族复用;同时结合账号级信号调查协同提取活动。OpenAI还称,会向其他模型提供方分享相关线索。

值得关注的是其内部自适应黑盒红队测试:针对从“先前请求”提取推理的攻击,GPT-6 Astra原有防护下的平均成功率为54.0%,GPT-6.2 Astra更新防护后为0.2%;针对当前请求,数字分别为22.9%和0.9%。这些是OpenAI自己的评测结果,不是独立第三方验证;文章也指出不同攻击类型和测试条件会影响结果。

原文:https://openai.com/index/combatting-adversarial-distillation/
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表