Hugging Face TRL加入MOPD训练支持：多领域RL专家可蒸馏回单一模型

Hugging Face于11月3日发布技术文章，介绍其TRL训练库新增对多教师在策略蒸馏（MOPD）的支持。方法通常先从同一基础模型出发，为数学、代码或指令跟随等领域分别训练RL专家，再由一个学生模型生成回答，并由对应领域的专家逐 token 评分，让学生吸收多位专家的能力。

TRL当前的示例使用AsyncDistillationTrainer：通过teacher_id把每条提示路由给相应教师，教师只评分学生生成的内容，不替学生写答案。文章用Open-MOPD公开专家演示数学、代码和指令跟随任务，并说明同步DistillationTrainer支持仍在开发中。

作者报告了一次60步短实验（约为论文训练量的1%）：示例模型在AIME24、AIME25和IFEval分别得24.2、22.5、73.0，起始模型为17.5、19.2、67.5。文章明确称这只是验证实现的短跑，且IFEval领域获得的训练token偏少；结果不能视为完整训练或生产能力证明。

Hugging Face官方博客：https://huggingface.co/blog/sergiopaniego/mopd-trl