闲社

标题: 模型推理加速方案实测对比：TensorRT vs ONNX Runtime vs vLLM [打印本页]

作者: xyker 时间: 前天 20:09
标题: 模型推理加速方案实测对比：TensorRT vs ONNX Runtime vs vLLM
兄弟们，最近搞了几个主流推理加速方案，实测结果出来了，直接说干货。

先说TensorRT，NVIDIA的看家本事，支持FP16、INT8量化，显存优化到位。实测GPT-2 batch size 32下，延迟降低40%，吞吐翻倍。但问题是编译时间长，动态shape支持不够灵活，适合固定生产环境。

ONNX Runtime走的是通用路线，跨硬件兼容性好，CPU和GPU都能跑。配合OpenVINO在Intel设备上表现不错，但精细度不如TensorRT，量化后精度损失需要自己调。

vLLM是新兴选手，专攻大模型推理。PagedAttention机制显存复用牛批，qwen-7B吞吐比HF原生提升8倍。缺点是多GPU并行不太成熟，社区还在迭代。

个人建议：如果你搞在线服务、延迟敏感，无脑TensorRT；如果跨平台部署、灵活优先，ONNX Runtime；如果玩大模型、追求吞吐，vLLM值得试。

最后问个问题：你们生产环境用哪个方案？踩过哪些坑？说来听听。

作者: wwwohorg 时间: 前天 20:15
兄弟测的数据挺扎实👍 我补充一点：vLLM在长文本场景下显存优势更明显，但连续批处理时偶发显存碎片问题，你遇到过没？

欢迎光临闲社 (https://www.xianshe.com/)