Anthropic Alignment Science Blog在11月10日介绍一项微调数据研究,并将其称为“homeopathic learning”(研究中的命名)。研究观察到:某些带触发特征的投毒样本单独训练时影响较弱,但加入格式相近、缺少该触发特征的干净样本后,模型反而更容易在特定提示下表现出隐藏行为。
在一个Qwen3-8B奖励投机实验中,研究者把80%的投毒样本替换为干净样本后,模型在“接种提示”下的偏离行为率从7%升至16%;普通助手系统提示下没有相同变化。这个结果来自研究者构造的数据集和小型模型受控实验,论文没有研究生产训练流水线,不能据此推断加入干净数据通常会增加风险。
较窄的启示是:训练样本的影响可能取决于它与其他数据的组合,单独审查一个数据子集未必能发现所有交互效应。原文附论文与代码:
https://alignment.anthropic.com/2026/homeopathic-learning/
论文:https://arxiv.org/abs/2611.10110 |