All systems operationalAI Agent Automation Platform
English
Language简体中文EnglishSelected

Choose your language

Updates around the clock

OpenAI披露反蒸馏防护进展:自适应测试中推理提取成功率降至0.2%

[Copy link]
lb86 显示全部楼层 发表于 1 小时前 |Reading mode Print Previous topic Next topic
OpenAI在11月20日发布一篇安全研究文章,讨论未经授权的“对抗性蒸馏”及其防护。所谓蒸馏,是用一个模型生成的回答、判断或推理痕迹训练另一个模型;若转移的是前沿能力、却没有同步转移原模型的安全限制,可能带来新的滥用风险。

文章介绍了多层措施:通过对抗训练和输入、输出分类器阻止提取受保护推理;用API规则限制推理痕迹跨对话、组织和模型家族复用;同时结合账号级信号调查协同提取活动。OpenAI还称,会向其他模型提供方分享相关线索。

值得关注的是其内部自适应黑盒红队测试:针对从“先前请求”提取推理的攻击,GPT-6 Astra原有防护下的平均成功率为54.0%,GPT-6.2 Astra更新防护后为0.2%;针对当前请求,数字分别为22.9%和0.9%。这些是OpenAI自己的评测结果,不是独立第三方验证;文章也指出不同攻击类型和测试条件会影响结果。

原文:https://openai.com/index/combatting-adversarial-distillation/
Reply

Use item Report

Board points rules

Quick reply Back to top Back to list