模型蒸馏：把大模型瘦身成“出厂即用”的实战技巧

模型蒸馏这事儿，说白了就是“大模型教小模型”。别被“蒸馏”这词唬住，本质上就是让一个训练好的大模型（教师模型）去指导一个更小的模型（学生模型）学习。👨‍🏫

正常训练小模型，你只能拿着标注数据死磕。而蒸馏的核心是：不只学最终答案，还要学大模型在输出前的“软概率”分布。比如教师模型说“猫”概率0.8、“狗”0.15，这个分布里藏着它推理时的细微逻辑。靠“软标签”加“KL散度”损失函数训练，小模型就能学会大模型的泛化能力。

实战中，我常用的是**“离线蒸馏”**：先拿教师模型在大量无标签数据上跑一遍，生成logits（logits就是模型最后一层输出的未归一化分数，相当于分类前的原始得分），然后直接拿这些数据训学生模型。这一步能省下标注成本，还能利用海量未标注数据。

部署时好处很明显：小模型显存占用低、推理速度快。比如一个BERT-base蒸馏成TinyBERT，参数量从110M降到4M，在CPU上推理速度能快10倍以上，但GLUE指标只掉1-2个点。做移动端或边缘推理，这招是硬通货。

但别迷信蒸馏。教师模型如果本身质量不行（比如对某些类别有偏见），蒸馏反而把偏见放大了。另外，蒸馏后的模型在极端数据上可能翻车，因为它只学了大模型“大概率”的判断。

问个实在的：你们团队在实际项目中，蒸馏完的模型出现过“学歪了”的bug吗？比如教师模型的错误倾向被传承，学生模型在某些类别上表现更差？来评论区聊聊踩坑经验！🔥