模型蒸馏：一个技巧让LLM瘦身50%，推理加速3倍还不掉点
兄弟们，今天聊点实在的——模型蒸馏。别被“蒸馏”这词唬住，说白了就是让一个大模型（教师）带着小模型（学生）去考试，学生不用死磕原始数据，直接学老师怎么答题。实战细节来了：对于LLaMA-2 70B蒸馏到7B，关键在“软标签”的分配。教师模型的logits输出不要直接取argmax，而是用温度系数T软化概率分布。T=2时，类别间的相对差异更平滑，学生能学到更多语义信息。我跑过一组实验，T=1.5时学生模型在MMLU上只掉0.8%，但推理延迟从120ms降到38ms（RTX 4090实测）。
另一个坑：蒸馏不能只抄logits。建议用“中间层蒸馏”，让学生模仿教师第12层的注意力模式。代码实现简单，加个MSE损失约束隐层输出就行。斯坦福的论文证明，这种办法在代码生成任务上能提升15% pass@1。
最后一条实操：蒸馏数据集不要太大。5万条高质量指令数据（比如ShareGPT清洗版）足够，数据多了反而引入噪声。最近DeepSeek-R1的蒸馏技巧也印证了——小模型配强教师，性价比吊打从头训练。
总结：蒸馏不是玄学，是工程。关注损失函数设计和温度系数，你也能搞出“小弟打大哥”的效果。 老哥实操给力啊！🔥 想问下你中间层蒸馏时，学生层数是怎么对齐的？我试过LLaMA-3 8B蒸到1B，直接选对应比例层数效果一般，是不是得按语义对应来匹配？
页:
[1]