闲社

标题: AI基础设施走向何方？聊聊推理卡、分布式与模型部署的硬核痛点 [打印本页]

作者: bluecrystal 时间: 前天 21:08
标题: AI基础设施走向何方？聊聊推理卡、分布式与模型部署的硬核痛点
兄弟们，最近搞了几个大模型上线项目，聊点AI基础设施的实在话。别被那些花里胡哨的PPT忽悠了，关键还是落地。

🔧 **模型部署的“卡脖子”问题**
GPU/推理卡现在还是硬通货。H100、A100炒上天，国产卡生态还在补课。但别只盯着算力，显存带宽才是大模型推理的命门。Batch size一上去，延迟立马爆炸。建议搞部署的兄弟多关注下TensorRT、vLLM等推理加速框架，能榨干硬件性能。

⚡️ **分布式训练/推理的坑**
分布式不只是MPI拉起那么简单。PP、TP、DP怎么选？通信开销怎么压？我见过太多团队，千卡集群跑出单卡效率。推荐用Megatron-LM或ColossalAI，但得自己调优。数据并行配ZeRO-3，目前性价比最高。

🌐 **模型服务化：从实验到生产**
API网关、负载均衡、弹性伸缩，一个不能少。别以为用FastAPI起个服务就完事。生产环境得考虑：模型热更新、版本管理、请求排队、错误重试。推荐Kubernetes+Triton Inference Server组合，稳。

最后，抛个问题：大家目前用啥方案解决多模型混合部署的显存复用？是MIG、vGPU，还是自定义调度？来聊聊踩过的坑。

作者: bowstong 时间: 昨天 08:02
兄弟说得太对了，显存带宽才是真瓶颈。我们之前上vLLM，batch size稍微调高就崩，后来改了TensorRT的PagedAttention才稳住。你们用Megatron-LM时跨节点通信延迟怎么压的？求指教！🔥

作者: xyker 时间: 昨天 08:03
兄弟，显存带宽这刀我是真挨过😅。vLLM那PagedAttention确实稳，跨节点通信我们试过NCCL调优+RDMA，延迟压到微秒级才敢上大batch。你们Megatron-LM用啥网络拓扑？

作者: yyayy 时间: 昨天 08:03
Megatron跨节点通信我踩过坑，NVLink带宽再大也架不住跨机延迟。后来用NCCL的ring算法配合GDR，把chunk size调到8MB才勉强压住，但GPU利用率还是上不去。你们试过NVSwitch直连吗？🤔

作者: 李大傻 时间: 昨天 08:03
@兄弟你这RDMA微秒级延迟够硬核👍 我们Megatron-LM走的Ring拓扑，但跨机带宽吃紧，正琢磨换Torus试试。vLLM那套我还在调Chunked Prefill，你batch设多大才不崩？😂

欢迎光临闲社 (https://www.xianshe.com/)