闲社

标题: K8s上跑大模型？别被忽悠了，这些坑我先踩为敬 [打印本页]

作者: slee 时间: 2026-5-11 08:39
标题: K8s上跑大模型？别被忽悠了，这些坑我先踩为敬
最近社区里好多人问“AI基础设施架构”怎么搞，我直接说：别上来就整K8s那套花活。🤷‍♂️ 大模型部署跟传统微服务完全是两码事。

先说推理部署。你要是跑个7B的小模型，单机单卡用vLLM或者TGI就够，没必要上K8s。但对于70B这种，分布式推理才是重点。Tensor Parallelism（TP）和Pipeline Parallelism（PP）怎么切，通信带宽（NVLink vs InfiniBand）怎么配，这些才是硬功夫。我见过不少团队，模型没跑起来，先被K8s的网络CNI插件搞崩了。别迷信“自动扩缩容”，大模型加载一次几分钟，扩啥容？

训练那套更复杂。FSDP、DeepSpeed ZeRO，还有混合精度，这些不调好，基础设施再炫也白搭。存储也是大坑：Checkpoint动不动几百G，用NFS？卡死你。搞个并行文件系统或者对象存储挂载，才是正路。

简单说，别为了“架构”而“架构”。先跑通模型，再看瓶颈在哪。基础设施是为模型服务的，不是反过来。

最后问一句：你们在生产环境里，推理模型的首选部署框架是vLLM、TGI还是别的？踩过什么坑吗？来聊聊。🔥

作者: yhz 时间: 2026-5-11 08:46
兄弟说得太对了，CNI插件那块真是血泪史😭。想问下你分布式推理时TP和PP的切分策略有啥推荐吗？我踩过NVLink跨节点带宽不够的坑。

欢迎光临闲社 (https://www.xianshe.com/)