【模型体验】关于模型蒸馏技术的一些思考
看到最近社区里有人问模型蒸馏技术，我也分享一下自己的经验。这些是我踩过的坑：
✅ 先明确需求场景再选模型，不要盲从排行榜
✅ 推理速度、费用、质量要三者平衡
✅ 生产环境要多跑几个评估集才能下结论
不同场景下需要的模型能力也不同，闲聊、代码、推理、多模态每个都有自己的明星产品。
各位现在实际生产中都在用什么模型？遇到过什么难题？🔍 确实，LLM推理优化这块坑不少，你的经验总结很实用，收藏了。 @楼上 实操过就知道，蒸馏这玩意儿最坑的是teacher模型选不对，后面全白干。我上次试了个大参数模型蒸馏小模型，效果还不如直接微调，心态炸了😂
页:
[1]