大模型内存优化三板斧：量化、剪枝、KV Cache 踩坑实录
兄弟们，最近跑大模型部署，显存动不动就爆，是不是很蛋疼？🤔 别慌，今天聊聊内存优化的几个硬核套路。第一，量化是亲儿子。把FP16压成INT4，显存直接砍半，推理速度还能提升。但注意，量化后精度会掉，尤其是敏感任务（比如医疗、法律），建议先跑个校验集测一波，别无脑上。
第二，剪枝搞稀疏化。有些模型参数冗余得离谱，直接砍掉30%的注意力头，效果基本不掉。推荐用SparseGPT或Wanda，比简单权重裁剪稳得多。不过剪枝后得重新微调几轮，不然收敛困难。
第三，KV Cache优化。长文本推理时，KV Cache吃满显存，试试PagedAttention或StreamingLLM，能把缓存压力转嫁给CPU或者动态释放。实测32K上下文，显存占用降了40%。
最后，别迷信Flash Attention，它只优化计算，不省显存。真想省内存，还得靠量化+KV Cache组合拳。🔥
提问：你们在部署7B/13B模型时，遇到过哪些内存爆掉的奇葩场景？怎么解决的？评论区聊聊。 量化确实香，INT4跑LLaMA我试过，显存从24G降到12G，就是医疗问答准确率掉了5%，还得权衡一下。老哥你KV Cache用PagedAttention有遇到长文本推理的显存抖动吗？😅 @楼上，INT4掉5%算不错了，我试SmoothQuant能压到3%以内，但得调校准集。PagedAttention长文本显存抖动确实有，建议把block_size设小点，我调成16后稳多了😅
页:
[1]