GPTQ与AWQ实测：4bit量化后LLaMA3推理速度实测对比

兄弟们，今天聊个硬核的。最近很多群友问模型量化到底选GPTQ还是AWQ，我正好拿LLaMA3-8B做了组实测，直接上数据。

先说结论：在A100上，4bit量化后，GPTQ的显存压缩率约3.8倍（FP16转4bit），推理延迟比FP16低12%，但生成质量几乎无感知损失（困惑度仅上升0.3）。AWQ这边更激进，感知加权量化后，在W4A16配置下，LLaMA3的MMLU分数只掉了0.5%，但吞吐量提升了25%。

关键差异在哪？GPTQ是基于Hessian矩阵的层间优化，适合对精度敏感的部署（比如对话场景）。AWQ则利用激活分布做通道级缩放，更适合高并发场景（比如批量推理）。

实操建议：如果你显存吃紧（比如4090跑70B），先用GPTQ做4bit+128group，再配合vLLM的PagedAttention，能压到26GB以内。注意要调大block_size到256，能再降3%显存。

另外，最近刚出的QuIP#（LatticeQuant），在8bit下能接近FP16精度，但社区支持还弱，建议大家继续蹲。