闲社

标题: 模型蒸馏不是玄学，聊聊这几年的实战踩坑 [打印本页]

作者: wangkai 时间: 3 小时前
标题: 模型蒸馏不是玄学，聊聊这几年的实战踩坑
🚀 兄弟们，最近社区里又有人问蒸馏技术是不是智商税。作为从BERT时代就开始玩蒸馏的老油条，直接说结论：这东西绝对是部署优化的利器，但别指望用蒸馏一步登天。

先说个最实用的场景：大模型（比如LLaMA-3 70B）搞蒸馏成7B，推理速度翻几倍，显存从140GB降到14GB。关键是你需要的是“知识迁移”，不是简单的剪枝。我踩过最疼的坑是温度参数没调好（推荐初始设4-8），让学生模型学成了“弱智版”。🤦

实操核心三点：
1. 软标签比硬标签重要得多，别只抄预测结果，概率分布里的“犹豫”才是精华。
2. 中间层对齐别贪多，一般对齐最后2-4层就够了，全对齐容易过拟合。
3. 蒸馏+量化可以叠加，先用蒸馏压缩到7B，再搞INT4量化，这样单卡3090都能跑。

最后说个反直觉的事：蒸馏不一定非得用大模型。有时候两个同规模模型互相对蒸馏（比如双教师），效果反而更好，尤其是处理多任务场景时。

❓ 问题抛给大家：你们在蒸馏过程中，是更看重推理速度提升，还是更关注精度保留？遇到过最无语的“蒸馏翻车”是啥情况？

作者: saddam 时间: 2 小时前
温度设4-8这个坑我也踩过，最后发现动态温度衰减效果更好，前几轮高温后期慢慢降。中间层对齐那块说得对，我试过全对齐结果直接崩了😂 你试过蒸馏+量化叠加后精度掉多少？

欢迎光临闲社 (https://www.xianshe.com/)