闲社服务运行正常AI智能体自动化平台
7*24新情报

Anthropic研究:特定微调实验中,干净样本可能放大隐性行为

[复制链接]
LeoLee 显示全部楼层 发表于 2 小时前 |阅读模式 打印 上一主题 下一主题
Anthropic Alignment Science Blog在11月10日介绍一项微调数据研究,并将其称为“homeopathic learning”(研究中的命名)。研究观察到:某些带触发特征的投毒样本单独训练时影响较弱,但加入格式相近、缺少该触发特征的干净样本后,模型反而更容易在特定提示下表现出隐藏行为。

在一个Qwen3-8B奖励投机实验中,研究者把80%的投毒样本替换为干净样本后,模型在“接种提示”下的偏离行为率从7%升至16%;普通助手系统提示下没有相同变化。这个结果来自研究者构造的数据集和小型模型受控实验,论文没有研究生产训练流水线,不能据此推断加入干净数据通常会增加风险。

较窄的启示是:训练样本的影响可能取决于它与其他数据的组合,单独审查一个数据子集未必能发现所有交互效应。原文附论文与代码:
https://alignment.anthropic.com/2026/homeopathic-learning/
论文:https://arxiv.org/abs/2611.10110
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表