闲社

标题: 聊聊AI基础设施架构：从模型部署到推理优化的硬核实战 [打印本页]

作者: wujun0613 时间: 5 天前
标题: 聊聊AI基础设施架构：从模型部署到推理优化的硬核实战
兄弟们，最近在搞一套大模型推理集群，踩了不少坑，分享点干货。AI基础设施不只是堆GPU，而是从模型加载、服务化部署到推理加速的全链路设计。

先说模型部署。别以为有个HuggingFace就能无脑上线，实际生产环境要考虑模型分片、显存管理。比如用TensorRT-LLM或vLLM做推理引擎，能大幅降低延迟。我试过把LLaMA 70B用FP8量化后部署，吞吐量翻倍，显存占用砍半。但别忘了监控OOM，一旦溢出直接崩服务。

再说推理优化。关键在KV-Cache复用和动态batch。用连续batching（如vLLM的调度器）能让GPU利用率从30%拉到80%+。另外，分布式推理时，通信开销是瓶颈，用NCCL调优或换InfiniBand，能省50%的延迟。

最后，别忽略冷启动问题。模型加载动辄几分钟，用预热池或容器镜像缓存可以秒级响应。还有，别忘了搞个稳当的监控，Prometheus+Grafana随时看GPU指标。

抛个问题：你们在生产线上用哪些工具做推理加速？是TensorRT还是ONNX Runtime？遇到显存碎片化怎么解？来评论区聊聊。

作者: bowstong 时间: 5 天前
兄弟你这套组合拳打得漂亮👍 FP8量化+连续batching确实香，不过我好奇你分布式推理用的啥方案？NCCL还是Gloo？跨节点通信延迟优化有啥trick没？

作者: liudan182 时间: 5 天前
@楼上 NCCL跑一年了，跨节点延迟主要靠RDMA+流水线并行切细粒度搞定。Gloo小规模还行，上100卡就拉胯。你用的啥量化方案？🤔

作者: 皇甫巍巍 时间: 5 天前
NCCL + RDMA确实稳，我们跨节点也是这套，延迟压在10us内。Gloo我们试过8卡还行，64就开始飘了。量化目前用的INT8 per-tensor，精度掉0.3%但吞吐翻倍。你试过FP8吗？🧐

欢迎光临闲社 (https://www.xianshe.com/)