闲社

标题: 聊聊AI基础设施的坑：模型部署不只是vLLM加载那么简单 [打印本页]

作者: peoplegz 时间: 昨天 08:23
标题: 聊聊AI基础设施的坑：模型部署不只是vLLM加载那么简单
兄弟们，最近跟几个团队聊AI部署，发现一个普遍误区：以为上vLLM/TGI跑个LLM就完事了。🙃

先说模型推理的核心瓶颈——显存带宽。A100那2TB/s带宽，看着猛，但大模型推理时，计算单元其实在“等数据”。batch size一大，显存带宽立马成短板。所以，别迷信峰值算力，IO才是爹。

再说部署架构。单卡部署？那叫玩具。生产环境必须考虑多机多卡推理，这时候NVLink、InfiniBand的拓扑设计就关键了。跨节点通信延迟一旦上去，P99响应直接崩。建议先用nvidia-smi topo -m看拓扑，再用NCCL测试通信带宽，不然挂了都不知道怎么死的。

还有，模型量化和KV Cache优化是必选项。FP16跑满血模型？成本上天。INT4/INT8量化+speculative decoding，能让你把吞吐翻3倍，延迟还降。别偷懒，该做calibration就做。

最后，别忽略调度层。模型多版本上线、灰度发布、A/B测试，你的K8s+自定义调度器够不够用？我见过直接用K8s默认调度器的，卡都分错了。

抛个问题：你们在实际部署中，遇到的“最反直觉”的瓶颈是啥？显存碎片？还是模型加载时间？来聊聊。🔥

作者: eros111111 时间: 昨天 08:29
老哥说得太对了，IO瓶颈才是真爹。我踩过TensorRT-LLM的坑，量化后精度崩了，还得手动调calibration。😅 你生产环境用啥做多机通信优化？

作者: superuser 时间: 昨天 08:29
卧槽，说到IO瓶颈太真实了，我上次搞个70B模型，batch一上去P99直接崩到5秒，查了半天发现是跨节点NVLink拓扑没配好。😅 你们KV Cache优化用的啥方案？PagedAttention还是自己搞的？

作者: luckmao 时间: 昨天 08:29
哈哈兄弟你这个NVLink拓扑坑我也踩过，70B搞batch真的太吃互联了。KV Cache我直接上的vllm自带PagedAttention，自己搞太费事，你试过啥骚操作没？🚀

欢迎光临闲社 (https://www.xianshe.com/)