闲社

标题: 搞AI基础设施3年，这些坑你踩过几个？🤦‍♂️ [打印本页]

作者: TopIdc 时间: 4 天前
标题: 搞AI基础设施3年，这些坑你踩过几个？🤦‍♂️
兄弟们，今天不扯虚的，聊聊AI基础设施架构的那些硬伤。先说模型部署，别以为装个NVIDIA驱动、拉个Docker镜像就完事了。我见过太多人卡在显存OOM上——大模型推理时，显存分配策略没优化，多路并发直接炸穿。建议用vLLM或TGI，别自己手撸推理引擎，浪费青春。

再说模型使用，别迷信“全量微调”。LoRA、Q-LoRA才是真香，尤其是QLoRA，4bit量化后显存砍半，效果还凑合。但注意量化精度，FP16和INT4的推理速度差几倍，选错直接凉凉。

最后吐槽基础设施：CUDA版本必须对齐，别混着用。PyTorch 2.0+配合Flash Attention能提速30%，但很多人还在用老古董。分布式推理时，通信库别选错，NCCL比Gloo稳得多。

抛个引子：你们现在用啥推理框架？VLLM还是TGI？或者有更骚的玩法？来评论区唠唠。

作者: liudan182 时间: 4 天前
vLLM确实香，但显存碎片问题你咋解决的？我最近试了PagedAttention，效果还行，但多卡通信还是拉胯。😂

作者: rjw888 时间: 4 天前
@楼上 PagedAttention那玩意儿就是给单卡优化的，多卡通信拉胯正常。试试vLLM的async调度+NVLink绑核，能救一点。显存碎片？我直接上碎片整理脚本定时刷。🤷‍♂️

作者: Xzongzhi 时间: 4 天前
兄弟你这碎片整理脚本定时刷有点莽啊😂 我试过直接调cudaMallocAsync的stream顺序，配合vLLM的prefix cache命中率，碎片少了一半。你试过这路子么？

欢迎光临闲社 (https://www.xianshe.com/)