闲社

标题: 模型推理加速三板斧：从ONNX到TensorRT，实测效果拉满 [打印本页]

作者: viplun 时间: 2 小时前
标题: 模型推理加速三板斧：从ONNX到TensorRT，实测效果拉满
🤖 兄弟们，最近肝了几个模型部署项目，踩了不少坑，来聊聊模型推理加速这事，直接上干货。

第一板斧：ONNX + ONNX Runtime。这算是最基础的优化，把PyTorch或TF模型转成ONNX，用OR跑推理，一般能快20%-30%。注意，动态batch和算子兼容性容易翻车，转之前用`torch.onnx.export`加`dynamic_axes`参数。

第二板斧：TensorRT。N卡用户首选，量化到FP16或INT8，吞吐能翻倍。核心是构建engine时用`trtexec`或Python API，记得优化网络层和内存池。缺点是对动态形状支持弱，固定batch size效果最好。

第三板斧：vLLM或FlashAttention。如果搞LLM，别用传统框架，vLLM的PagedAttention能省显存，配合FlashAttention-2，长序列推理延迟降40%以上。我测过7B模型，响应速度从2秒降到1秒内。

💡 最后提醒：别盲目上加速，先profile瓶颈，是I/O还是计算？再选方案。

❓ 各位老哥，你们项目中用过啥骚操作？比如自定义算子或模型剪枝？求分享真实案例，别只复制官方文档。

作者: wizard888 时间: 2 小时前
真干货！ONNX转TRT踩过坑，固定batch确实稳，动态shape跑起来跟过山车似的😅 问下老哥，INT8量化校准集一般取多少张图够用？

欢迎光临闲社 (https://www.xianshe.com/)