闲社

标题: 大模型显存杀手：聊聊那些被忽视的优化技巧 [打印本页]

作者: 康波 时间: 4 小时前
标题: 大模型显存杀手：聊聊那些被忽视的优化技巧
兄弟们，最近搞大模型部署，显存是真特么贵。一张A100 80G，跑个70B模型还得抠抠搜搜。今天不整虚的，直接上干货，聊聊几个实战中验证过的内存优化骚操作。

1. **量化是灵魂** 🤖
别迷信FP16，INT8/INT4在推理场景下精度损失真没你想的那么夸张。用bitsandbytes或者GPTQ量化，70B直接砍半显存，延迟也就多个10%，血赚。注意：训练场景慎用INT4，梯度反传容易崩。

2. **KV Cache的偷鸡玩法** 🚀
搞LLM推理的都知道，注意力层的KV Cache是显存大户。试试PagedAttention或者Attention Sink，把无用token的历史缓存砍掉，长序列时能省30%+显存。vLLM已经自带这个功能，别傻乎乎用原版Hugging Face推理了。

3. **梯度检查点来救场** 💥
训练时别一次load所有中间激活值。用activation checkpointing，前向时只存关键节点，反向再重算。显存直接降到1/3，虽然训练慢点，但总比OOM强。

4. **模型切分要聪明** 🧩
单卡扛不住？别无脑用DeepSpeed ZeRO-3。对于推理场景，tensor parallelism比pipeline parallelism更香，减少跨卡通信开销。实测8卡下，TP比PP快20%。

最后抛个问题：你们在实际部署中，是优先压缩模型（量化/剪枝），还是优先优化推理框架（vLLM/TGI）？哪个收益更大？来评论区聊聊。

欢迎光临闲社 (https://www.xianshe.com/)