|
Perplexity于10月21日介绍研究方法JOLT（Joint On-Policy Learning and Teaching），尝试解决自蒸馏中的一个问题：教师即使更会做题，也未必能给当前能力范围内的学生提供有效指导。
JOLT让同一个模型在两种上下文中共同训练：教师可看到验证答案、参考解等特权信息，学生则不看这些信息；教师通过带KL约束的目标学习给出更贴合学生当前行为的指导，学生再从逐token的蒸馏信号中学习。JOLT+还加入学生自身的结果奖励。
作者报告，在数学推理、代码、工具使用和终端任务等实验中，JOLT+相较所测最强基线GRPO，在GSM8K、MATH、LiveCodeBench与AppWorld上的指标分别提升1.5、4.2、3.0和9.9个百分点；Terminal-Bench 2.1的pass@1提升2.7个百分点。论文还报告，在MATH匹配准确率的比较中，JOLT使用的处理训练Token约为GRPO的1/6.5。以上均为作者在特定基准与实验设置下的结果，不代表所有模型或任务都能获得相同收益；Perplexity称代码将稍后开源。
来源：Perplexity Research（2026-10-21）
https://www.perplexity.ai/en-GB/hub/blog/a-good-teacher-meets-the-student-where-they-are
论文预印本：https://arxiv.org/abs/2610.10447 |
0