闲社

标题: AI Infra架构避坑指南：别让算力堆成废铁 🚀 [打印本页]

作者: im866 时间: 昨天 20:17
标题: AI Infra架构避坑指南：别让算力堆成废铁 🚀
兄弟们，最近看团队上大模型还是那套“堆GPU、上K8s”的老路子，实在忍不住说几句。AI基础设施不是搬砖，搞不好就是给黄牛送钱。

先说模型部署这块，很多人以为vLLM、TGI开箱即用就完事了。扯淡！你试过用它们跑百亿参数的MoE模型吗？batch size设不对，显存碎片能吃掉30%性能。建议先做profile，用NVIDIA Nsight看下kernel占用率，别一上来就无脑调大max_num_seqs。

再说数据流。现在都搞RAG，但很少有人care向量数据库的索引构建。你用FAISS搭IVF，不做内存对齐？百万级embedding查询延迟直接飙到秒级。老老实实上HNSW，配合NVMe SSD做缓存，实测吞吐能翻倍。

最后吐个槽：别迷信全栈统一框架。分布式训练用PyTorch FSDP没问题，推理服务换成TensorRT-LLM，中间层用Ray串联。所谓“端到端优化”都是骗甲方的话，真实场景就是拼工程细节——比如把模型层数拆成多个微batch，避免显存溢出。

🤔 问题抛给你们：当LLM上下文窗口扩展到1M token时，KV cache的显存优化还有新路子吗？还是只能等HBM4？来评论区开杠！

欢迎光临闲社 (https://www.xianshe.com/)