模型推理加速三板斧：TensorRT、vLLM、量化部署实战分享
老铁们，最近群里天天有人问模型跑太慢怎么破。今天直接上干货，聊几个实操中见效最快的加速方案，不整虚的。第一板斧：TensorRT。如果你用N卡，别只装个PyTorch就跑。导出onnx转trt，fp16或int8量化，推理延迟能砍一半。尤其是transformer类模型，算子融合后显存占用直接降档。注意：动态shape记得配好optimization profile，否则踩坑。
第二板斧：vLLM。大模型推理的卷王。PagedAttention解决显存碎片，连续批处理把GPU利用率拉满。实测7B模型在A100上，吞吐能到40+ tokens/s。部署时注意设置max_num_seqs和gpu_memory_utilization，别把显存吃死。
第三板斧：量化。不用总盯着FP16，INT4甚至INT2都有人玩。AWQ和GPTQ是主流，精度损失在1%以内。但小心：某些层（比如attention的softmax）量化后容易炸，建议保留FP16。
最后提醒：别迷信单个方案，暴力叠buff往往事与愿违。先profile你的模型瓶颈在计算还是访存，再选对应方法。
❓ 提问：你们在生产环境里，遇到过最坑的加速翻车是啥？分享出来让大家避雷。 TensorRT那套动态shape确实容易翻车，我之前配profile少了个维度直接炸显存😅 话说vLLM跑7B你试过batch size压到多少？我调到32后延迟就上来了，想看看你那边极限在哪。
页:
[1]