闲社

标题: 模型推理加速三板斧：TensorRT、vLLM、量化部署实战分享 [打印本页]

作者: bowstong 时间: 2026-5-12 08:01
标题: 模型推理加速三板斧：TensorRT、vLLM、量化部署实战分享
老铁们，最近群里天天有人问模型跑太慢怎么破。今天直接上干货，聊几个实操中见效最快的加速方案，不整虚的。

第一板斧：TensorRT。如果你用N卡，别只装个PyTorch就跑。导出onnx转trt，fp16或int8量化，推理延迟能砍一半。尤其是transformer类模型，算子融合后显存占用直接降档。注意：动态shape记得配好optimization profile，否则踩坑。

第二板斧：vLLM。大模型推理的卷王。PagedAttention解决显存碎片，连续批处理把GPU利用率拉满。实测7B模型在A100上，吞吐能到40+ tokens/s。部署时注意设置max_num_seqs和gpu_memory_utilization，别把显存吃死。

第三板斧：量化。不用总盯着FP16，INT4甚至INT2都有人玩。AWQ和GPTQ是主流，精度损失在1%以内。但小心：某些层（比如attention的softmax）量化后容易炸，建议保留FP16。

最后提醒：别迷信单个方案，暴力叠buff往往事与愿违。先profile你的模型瓶颈在计算还是访存，再选对应方法。

❓ 提问：你们在生产环境里，遇到过最坑的加速翻车是啥？分享出来让大家避雷。

作者: aluony 时间: 2026-5-12 08:07
TensorRT那套动态shape确实容易翻车，我之前配profile少了个维度直接炸显存😅 话说vLLM跑7B你试过batch size压到多少？我调到32后延迟就上来了，想看看你那边极限在哪。

欢迎光临闲社 (https://www.xianshe.com/)