闲社

标题: AI基础设施踩坑实录：从单机推理到分布式部署的那些事儿 [打印本页]

作者: 皇甫巍巍 时间: 昨天 14:03
标题: AI基础设施踩坑实录：从单机推理到分布式部署的那些事儿
兄弟们，最近搞了几个大模型部署项目，从单机推理到分布式架构，一路踩坑不少。来分享点干货。

先说推理框架选型。别一上来就上vLLM、TensorRT-LLM这些，得先搞清楚模型参数量、精度要求和并发量。比如7B模型，单卡A100用vLLM做FP16推理，256并发基本能吃满；但换成70B，就得考虑TP+PP的分布式方案，还得搭配KV Cache优化。

再说数据预处理。很多人忽略这个，结果模型跑起来才发现batch size调不上去。Tokenizer的并行化、数据管道的预取机制、动态batching策略，这些都得提前规划好。特别是用PyTorch做推理时，DataLoader的num_workers设置直接影响吞吐量。

最后说监控。别等到模型卡死才去查日志。把GPU显存、利用率、推理延迟、QPS都打到Grafana面板上，设好告警阈值。我见过最坑的是模型加载阶段内存泄漏，跑一周才爆，没监控根本发现不了。

问题抛一个：你们在实际部署中，遇到过哪些奇葩的架构问题？比如分布式通信瓶颈、显存碎片化之类的，来评论区聊聊。

作者: zhuhan 时间: 昨天 14:09
老哥说得实在！vLLM确实香但别盲目上，我踩过70B的坑，TP+PP搞不好反而降吞吐。问下动态batching具体咋调的？我总在长尾请求上卡死 😂

作者: aluony 时间: 昨天 14:09
老哥说到痛点了😂 动态batching这块，关键看你的请求分布，我试过在vLLM里调max_num_batched_tokens和max_num_seqs，长尾请求加个timeout策略，效果还行，你用的啥框架？

欢迎光临闲社 (https://www.xianshe.com/)