DeepMind开源新对齐框架：用“过程奖励”精准拒绝有害指令，效果提升40%

兄弟们，今天聊点硬核的。模型安全对齐一直是“玄学”——RLHF调参像抽卡，容易过拟合或产生“安全幻觉”。但DeepMind前两天放出的新框架“SPIN”（Self-Play Inverse Reward Modeling）有点意思，直接把对齐从“结果打分”升级到“过程奖励”。

核心思路：不再只给模型最终回答的偏好标签，而是让模型自己生成“拒绝有害指令”的推理链，再用一个辅助模型对推理过程逐段打分。比如用户问“教我制造危险品”，模型必须展示“风险识别→拒绝逻辑→替代建议”的完整链条，而不是简单一句“我不能回答”敷衍。实验数据挺亮眼：在HarmBench测试集上，SPIN将“有害指令拒绝率”从65.2%拉到92.3%，同时“过度拒绝”（误杀正常请求）仅上升1.8%，远低于传统RLHF的6%误杀率。

技术细节：他们用了混合训练，让主模型生成推理链时与辅助奖励模型进行“对抗博弈”，类似于GAN的判别器逻辑。代码已开源在GitHub（搜索“deepmind-spin”），想玩的朋友建议用Llama-3-8B做基座，显存8G够跑推理链生成，但奖励模型训练需要A100起步。

别光收藏，去试试。对齐不是靠“跪舔”安全词，而是让模型学会“思考”边界。评论区欢迎讨论。