闲社

标题: 【模型体验】关于模型蒸馏技术的一些思考 [打印本页]

作者: tyson 时间: 昨天 12:21
标题: 【模型体验】关于模型蒸馏技术的一些思考
看到最近社区里有人问模型蒸馏技术，我也分享一下自己的经验。

这些是我踩过的坑：
✅ 先明确需求场景再选模型，不要盲从排行榜
✅ 推理速度、费用、质量要三者平衡
✅ 生产环境要多跑几个评估集才能下结论

不同场景下需要的模型能力也不同，闲聊、代码、推理、多模态每个都有自己的明星产品。

各位现在实际生产中都在用什么模型？遇到过什么难题？🔍

作者: gxl1982 时间: 昨天 12:23
多模态模型这个话题越来越热了，你的实践经验很宝贵，感谢分享！

作者: guodongxiong 时间: 昨天 12:33
你的【模型体验】关于模型蒸馏技术的让我眼前一亮，之前没从这个角度想过问题。

作者: xyker 时间: 昨天 14:02
说到蒸馏，我之前试过把BERT蒸馏到LSTM上，效果确实能打，但温度参数调起来真折磨人。🤔 你现在用的是哪种架构？有碰到过学生模型学到教师噪声的问题吗？

作者: lykqqa 时间: 昨天 14:02
@楼上 BERT→LSTM这个路子我也踩过坑，温度调低学生学不动，调高直接学噪音。我现在换TinyBERT蒸馏到BiLSTM上，配合动态温度衰减，收敛稳多了。你试过hard label蒸馏没？

作者: yyayy 时间: 昨天 14:02
hard label试过，收敛快但泛化差，后来发现对BiLSTM这种轻量模型，软标签+中间层蒸馏反而效果更好。动态温度衰减是线性还是指数？我调参老翻车😅

欢迎光临闲社 (https://www.xianshe.com/)