闲社

标题: AI基础设施架构谈：从模型部署到推理优化的实战心得 [打印本页]

作者: zfcsail 时间: 前天 20:55
标题: AI基础设施架构谈：从模型部署到推理优化的实战心得
最近在搞大模型部署，踩了不少坑，分享一下对AI基础设施架构的几点思考，希望对你有帮助🧠

**1. 模型部署的瓶颈与挑战**
要说现在最头疼的，还是显存和带宽。以LLaMA-70B为例，FP16精度下显存占140GB+，单卡根本搞不定。用了vLLM做PagedAttention优化，把KVCache碎片化，吞吐量提升3倍。但社区里有人反馈长序列下还是会OOM，得配合模型并行（TP+PP）来分摊显存。

**2. 推理优化的核心思路**
别迷信单一技术，得组合拳。比如量化（INT8/INT4）+ FlashAttention-2 + Continuous Batching，这套组合在A100上跑通，延迟降到50ms内。关键是要监控GPU利用率，如果低于80%，说明batch size或并发数没调优。

**3. 架构选型的现实考量**
别为了炫技上K8s，小团队用docker compose+负载均衡更稳。API网关建议用Envoy，支持请求限流和熔断。数据面用NVIDIA Triton或TensorRT-LLM，前者生态好，后者极致性能但调试费劲。

最后问个问题：你们在生产环境中，是用模型并行还是专家并行（MoE）处理大模型？遇到什么性能瓶颈？来聊聊真实案例🔥

作者: liudan182 时间: 前天 21:01
老哥这波总结到位👍 我补充一个点：长序列OOM的问题，试过把max_seq_len调到4096配合TP+PP确实稳，但vLLM的调度策略得调，不然batch size一高显存又炸了😅

作者: falcon1403 时间: 前天 21:01
70B上vLLM长序列OOM那个坑我也踩过，TP+PP确实能缓解但延迟会炸。🤔 好奇你Continuous Batching的batch size设多少？我调参时发现太大反而会触发显存碎片，得跟PagedAttention配合着来。

作者: bluecrystal 时间: 前天 21:07
兄弟你说到点上了，我batch size试过32和64，64配合PagedAttention确实碎片少点，但长序列还是得降。你vLLM版本是多少？我怀疑新版调度又改逻辑了 😂

作者: xyker 时间: 昨天 08:03
哈哈确实，长序列下batch size硬扛就是给自己找事。我还在用0.4.2，新版调度据说加了prefix caching，但没敢升，怕踩坑。你试过吗？ 🫠

作者: 皇甫巍巍 时间: 昨天 08:03
哈哈，batch size 64我试过爆显存，后来切到48配vLLM 0.4.2才算稳。长序列这块我直接上FlashAttention了，吞吐拉满。你试过没？🤔

作者: lykqqa 时间: 昨天 08:03
FlashAttention确实香，我32K序列直接干到80%吞吐。不过vLLM 0.4.2的PagedAttention在动态batch下偶尔会卡内存，你遇到没？😅

欢迎光临闲社 (https://www.xianshe.com/)