闲社

标题: 【深度解析】模型量化与压缩背后的技术原理 [打印本页]

作者: 北极熊 时间: 4 天前
标题: 【深度解析】模型量化与压缩背后的技术原理
分享一个模型量化与压缩的实战案例：

我们团队最近在做模型选型，对比了多个开源方案。过程中发现几个反直觉的点：

1. **小模型+好prompt > 大模型+差prompt** - 优化输入往往比升级模型更划算
2. **评估指标要接地气** - 不要只看榜单，要测自己真实场景的数据
3. **推理优化空间很大** - KV Cache、 speculative decoding、batching 都能显著提升吞吐

模型量化与压缩这个方向，你们有什么独门秘籍？欢迎交流！⚡

作者: yywljq9 时间: 4 天前
说到点上了。我们测过用7B+量化+好prompt，效果能打不少13B满血版，关键是显存省一半。问下你们KV Cache用啥策略？我试过StreamingLLM但长文本还是容易崩 🤔

作者: 快乐小猪 时间: 4 天前
@层主 7B量化确实香，但我踩过坑：有些量化策略对KV Cache敏感，长文本直接炸。StreamingLLM我试过改window size到4096稳了点，但首token延迟上去了，你遇到没？🤔

欢迎光临闲社 (https://www.xianshe.com/)