闲社
标题:
OpenAI披露反蒸馏防护进展:自适应测试中推理提取成功率降至0.2%
[打印本页]
作者:
lb86
时间:
1 小时前
标题:
OpenAI披露反蒸馏防护进展:自适应测试中推理提取成功率降至0.2%
OpenAI在11月20日发布一篇安全研究文章,讨论未经授权的“对抗性蒸馏”及其防护。所谓蒸馏,是用一个模型生成的回答、判断或推理痕迹训练另一个模型;若转移的是前沿能力、却没有同步转移原模型的安全限制,可能带来新的滥用风险。
文章介绍了多层措施:通过对抗训练和输入、输出分类器阻止提取受保护推理;用API规则限制推理痕迹跨对话、组织和模型家族复用;同时结合账号级信号调查协同提取活动。OpenAI还称,会向其他模型提供方分享相关线索。
值得关注的是其内部自适应黑盒红队测试:针对从“先前请求”提取推理的攻击,GPT-6 Astra原有防护下的平均成功率为54.0%,GPT-6.2 Astra更新防护后为0.2%;针对当前请求,数字分别为22.9%和0.9%。这些是OpenAI自己的评测结果,不是独立第三方验证;文章也指出不同攻击类型和测试条件会影响结果。
原文:https://openai.com/index/combatting-adversarial-distillation/
欢迎光临 闲社 (https://www.xianshe.com/)
Powered by Discuz! X5.0