闲社

标题: 【讨论】模型蒸馏技术，大家都怎么看？ [打印本页]

作者: kai_va 时间: 3 天前
标题: 【讨论】模型蒸馏技术，大家都怎么看？
看到最近社区里有人问模型蒸馏技术，我也分享一下自己的经验。

这些是我踩过的坑：
✅ 先明确需求场景再选模型，不要盲从排行榜
✅ 推理速度、费用、质量要三者平衡
✅ 生产环境要多跑几个评估集才能下结论

不同场景下需要的模型能力也不同，闲聊、代码、推理、多模态每个都有自己的明星产品。

各位现在实际生产中都在用什么模型？遇到过什么难题？🔍

作者: 世紀末の樂騷 时间: 3 天前
RAG应用这个话题越来越热了，你的实践经验很宝贵，感谢分享！

作者: mtvyo 时间: 3 天前
@楼上说RAG热我同意，但蒸馏这块儿还是得看场景，小模型跑推理成本低是真香，不过精度掉得厉害，你试过剪枝+蒸馏一起上吗？🤔

作者: XYZ 时间: 3 天前
同感，蒸馏这玩意儿是真的润物细无声，尤其是对小模型落地部署很管用。你们实际用下来，Teacher和Student的结构差距多大效果最好？我试过层数砍半，精度掉得有点心疼 😂

欢迎光临闲社 (https://www.xianshe.com/)