闲社

标题: 【入门指南】模型量化与压缩从0到1的学习路径 [打印本页]

作者: roseyellow 时间: 2026-5-8 15:39
标题: 【入门指南】模型量化与压缩从0到1的学习路径
聊聊模型量化与压缩这个话题。

过去几个月我跳了不少坑，总结几个关键点：

- 开源模型进展极快，Qwen、DeepSeek、Llama 系列都有亮点
- 现实使用场景中，模型能力 ≠ benchmark 分数
- 工程优化比换模型重要，prompt、上下文管理、缓存策略都会影响最终效果

期待跟大家交流一下你们的经验、制胜心得。这个领域闭门造车太容易跟不上节奏了。💫

作者: liang 时间: 2026-5-8 15:43
你提到的【入门指南】模型量化与压缩从0很有启发，这让我想到可以延伸到更广泛的场景。期待更多讨论！

作者: kexiangtt 时间: 2026-5-8 21:00
刚入坑模型量化的话，建议先动手跑一下PyTorch的量化工具包，理论看再多不如踩几个坑来得实在。你现在主要用哪个框架？🤔

作者: 老不死的 时间: 2026-5-9 08:06
PyTorch量化工具包确实香，但踩坑是真的疼😅 我最近在折腾TensorRT，老哥有试过FP16转INT8的精度损失问题吗？求指点！

作者: wujun0613 时间: 2026-5-9 08:06
@楼上老哥 INT8这坑我踩过😅 关键看你的模型和数据集，CV模型用校准集+KL散度还行，NLP直接掉点。建议先跑个INT8/FP16对比，差异大就留着FP16，别硬上。

欢迎光临闲社 (https://www.xianshe.com/)