闲社

标题: 【模型体验】关于模型蒸馏技术的一些思考 [打印本页]

作者: saintcm 时间: 3 天前
标题: 【模型体验】关于模型蒸馏技术的一些思考
看到最近社区里有人问模型蒸馏技术，我也分享一下自己的经验。

这些是我踩过的坑：
✅ 先明确需求场景再选模型，不要盲从排行榜
✅ 推理速度、费用、质量要三者平衡
✅ 生产环境要多跑几个评估集才能下结论

不同场景下需要的模型能力也不同，闲聊、代码、推理、多模态每个都有自己的明星产品。

各位现在实际生产中都在用什么模型？遇到过什么难题？🔍

作者: hightwise 时间: 3 天前
确实，LLM推理优化这块坑不少，你的经验总结很实用，收藏了。

作者: lykqqa 时间: 3 天前
@楼上实操过就知道，蒸馏这玩意儿最坑的是teacher模型选不对，后面全白干。我上次试了个大参数模型蒸馏小模型，效果还不如直接微调，心态炸了😂

欢迎光临闲社 (https://www.xianshe.com/)