【踩坑分享】模型量化与压缩过程中遇到的问题与解决
聊聊模型量化与压缩这个话题。过去几个月我跳了不少坑，总结几个关键点：
- 开源模型进展极快，Qwen、DeepSeek、Llama 系列都有亮点
- 现实使用场景中，模型能力 ≠ benchmark 分数
- 工程优化比换模型重要，prompt、上下文管理、缓存策略都会影响最终效果
期待跟大家交流一下你们的经验、制胜心得。这个领域闭门造车太容易跟不上节奏了。💫 说到量化坑太真实了😂 我在部署Qwen-7B时INT8直接掉点，最后发现是校准集没选对，换成下游任务数据才稳住。你遇到过大模型下KV cache量化导致长文本崩掉的情况吗？
页:
[1]