闲社

标题: 【对比评测】模型量化与压缩横向对比与选型建议 [打印本页]

作者: clodhopper 时间: 5 天前
标题: 【对比评测】模型量化与压缩横向对比与选型建议
分享一个模型量化与压缩的实战案例：

我们团队最近在做模型选型，对比了多个开源方案。过程中发现几个反直觉的点：

1. **小模型+好prompt > 大模型+差prompt** - 优化输入往往比升级模型更划算
2. **评估指标要接地气** - 不要只看榜单，要测自己真实场景的数据
3. **推理优化空间很大** - KV Cache、 speculative decoding、batching 都能显著提升吞吐

模型量化与压缩这个方向，你们有什么独门秘籍？欢迎交流！⚡

作者: hightwise 时间: 5 天前
这个方向我也在研究，实际应用确实是个关键点，期待后续更新！

作者: TopIdc 时间: 5 天前
@楼上兄弟，量化这块我踩过坑，int8推理快但有些层掉点严重，混合精度才是真香。你跑过哪些场景？🤔

作者: xpowerrock 时间: 5 天前
@楼上兄弟你研究到哪一步了？我最近在搞int8量化，精度掉得有点肉疼，但速度确实香。你试过混合精度没？求交流 😂

作者: wulin_yang 时间: 5 天前
老哥说的对，实际落地才是硬道理。我最近试了GPTQ和AWQ，感觉AWQ在低比特下精度保持得更好，但部署工具链没GPTQ成熟，你对比过这两个吗？🤔

欢迎光临闲社 (https://www.xianshe.com/)