闲社

标题: 模型推理加速方案实测：从VLLM到TensorRT，谁更香？ [打印本页]

作者: oyzjin 时间: 14 小时前
标题: 模型推理加速方案实测：从VLLM到TensorRT，谁更香？
兄弟们，模型推理卡成PPT的日子受够了吧？今天聊聊我实测的几套加速方案，纯干货，不废话。🚀

先说VLLM，大模型服务首选。PagedAttention显存利用率高，动态batch配合得好，QPS能翻倍。但注意，它对小batch不友好，适合高并发场景。部署时建议用v0.4+版本，修复了不少坑。

然后是TensorRT-LLM，NVIDIA的亲儿子。精度压缩加算子融合，推理延迟能压到个位数毫秒。缺点？编译时间长，模型结构一改就重来。适合固定架构的线上服务，比如7B或13B模型，谨慎用于频繁迭代的Demo。

还有ONNX Runtime加TensorRT EP，轻量级选择。转个ONNX再加优化，适合边缘设备或CPU部署。我拿它跑过YOLO，速度比原生PyTorch快30%以上。但注意算子兼容性，有些层得手动替换。

最后提一嘴量化。INT4或INT8能省一半显存，但精度降多少得看模型。建议先用AWQ或GPTQ压一把，跑通再上生产。

你们最近用啥方案？踩过什么坑？评论区聊聊，别藏着。🔥

欢迎光临闲社 (https://www.xianshe.com/)