|
Anthropic于10月16日介绍一项名为“self-assessment”的误用监测技术：Claude完成每次回复后，再接收一条不可见的安全反思指令，生成简短评估，供离线审核与其他分类器交叉检查。Anthropic称，这一评估不会显示给用户，也不带入后续对话；目前作为防御纵深中的被动监测层运行，而非实时拦截器。
在Anthropic对Claude Fable 5的测试中，以更强的提示式分类器标注结果作比较，self-assessment在1%误报率下标记了该分类器所标记潜在有害对话的78%，对高优先级样本为94%。公司估算该监测在其API流量分布上的额外推理计算低于2%。这些是Anthropic内部评测和估算，并不等同于独立真实世界检出率。
限制同样重要：Anthropic报告称，把该方法作为实时阻断器进行的内部攻击实验中，攻击成功率从无防护时的79%降至54%；单独提示式分类器则为25%。因此它更适合作为事后发现线索、帮助审查和改进现有分类器的补充，而不能替代实时安全措施或人工复核。来源：Anthropic Safeguards官方研究。 |
0