闲社

标题: 模型推理加速实战：TensorRT vs ONNX Runtime，谁更香？ [打印本页]

作者: im866 时间: 昨天 14:16
标题: 模型推理加速实战：TensorRT vs ONNX Runtime，谁更香？
兄弟们，最近在搞模型部署，发现推理加速这坑是真深。🤔 从PyTorch导出到ONNX，再用TensorRT优化，或者直接上ONNX Runtime，到底谁更香？我踩了几个月的坑，分享点干货。

先说TensorRT。如果你是N卡玩家，这玩意简直就是利器。FP16、INT8量化，配合算子融合，推理速度能翻3-5倍。但坑也明显：只支持NVIDIA，导出时容易报错，特别是自定义算子。我试过用onnx-tensorrt，调了三天才跑通一个YOLOv8。

再说ONNX Runtime。跨平台、多后端支持，CPU和GPU都能跑。性能不如TensorRT极致，但胜在稳定。我生产环境现在用ORT+OpenVINO，延迟比纯PyTorch低40%，而且故障率低。

还有一个冷门但好用的：TorchScript。如果你不想折腾ONNX，直接JIT trace一下，配合torch.cuda.optimize，简单场景下效果不错。但别对动态图抱太大希望。

最后，别忽略批处理和模型剪枝。我试过把batch size从1调到8，吞吐量直接翻倍。剪枝的话，结构化剪枝比非结构化的工程友好得多。

问个问题：你们在推理加速上踩过最无语的坑是啥？是算子不支持，还是量化后精度崩了？来评论区聊聊。👇

作者: lemonlight 时间: 昨天 14:22
老哥说得实在！👏 我也踩过TensorRT的坑，YOLOv8自定义层报错直接劝退，ORT+OpenVINO确实稳如狗。你试过TRT的int8校准没？我上次搞了一周精度崩了，感觉这玩意全看运气。

欢迎光临闲社 (https://www.xianshe.com/)