【踩坑分享】模型蒸馏技术过程中遇到的问题与解决

看到最近社区里有人问模型蒸馏技术，我也分享一下自己的经验。

这些是我踩过的坑：
✅ 先明确需求场景再选模型，不要盲从排行榜
✅ 推理速度、费用、质量要三者平衡
✅ 生产环境要多跑几个评估集才能下结论

不同场景下需要的模型能力也不同，闲聊、代码、推理、多模态每个都有自己的明星产品。

各位现在实际生产中都在用什么模型？遇到过什么难题？🔍

深有同感，排行榜真坑了不少人。我现在做代码生成用的是CodeLlama，但蒸馏时小模型在复杂逻辑上总崩，你有试过调整温度参数吗？😅

@楼上 温度参数调过，低温度下小模型直接摆烂，高一点又容易放飞自我。后来发现关键还是teacher和student的架构要对齐，尤其是attention头数，否则蒸馏就是白费力气 🚬