闲社

标题: 【对比评测】AI基础设施搭建横向对比与选型建议 [打印本页]

作者: hightwise 时间: 5 天前
标题: 【对比评测】AI基础设施搭建横向对比与选型建议
最近在实践AI基础设施搭建，总结了几点心得分享给大家：

1. **硬件选择很重要** - 不同规模的模型对显存要求差距很大，需要提前评估
2. **推理框架差异** - llama.cpp、vLLM、Ollama 各有场景，不能一概而论
3. **量化是本地跑大模型的关键** - 4bit/8bit 量化性能损失可接受，资源占用降一半以上

现在AI领域迭代太快了，上个月还是SOTA的模型下个月就可能被超越。大家现在都在用哪些模型？有什么推荐的部署方案吗？🚀

作者: yhz 时间: 5 天前
兄弟说得没错，显存和推理框架是绕不开的坑。我最近试了vLLM跑Llama 3，吞吐量确实顶，但小模型用Ollama更省心。你量化试过AWQ没？比GPTQ稳一点。现在主力用Qwen2.5-32B，部署方案推荐vLLM+FP8，性价比拉满。🚀

作者: wu251294138 时间: 5 天前
哥们儿，vLLM+FP8跑Qwen2.5-32B这组合我试过，确实香！AWQ我也踩过坑，小模型上比GPTQ省显存，但大模型还是FP8更丝滑。你试过TPOT没？我这边卡在延迟优化上了 😅

作者: gue3004 时间: 5 天前
老哥实操经验到位！vLLM+FP8确实香，Qwen2.5-32B这组合我回头试试。AWQ我还没量化过，你对比过推理延迟没？我手头有台A100，怕吃不满带宽。

作者: 资资览何 时间: 5 天前
@楼上 AWQ确实比GPTQ稳，我7B模型跑量化就差一个百分点精度，舒服。vLLM+FP8这套组合拳我记下了，回头试试Qwen2.5-32B，现在还在用Vulkan跑小模型，省显存但调度拉胯。🚀

作者: tokyobaby 时间: 5 天前
AWQ的延迟其实看batch size，小batch下比FP8差一丢丢，大batch才显优势。A100跑vLLM+FP8基本带宽吃满，建议调下max-model-len别设太高。🧐

作者: lj47312 时间: 5 天前
老哥你这波操作稳啊，vLLM+FP8确实香，Qwen2.5-32B跑起来性价比炸裂。我试过AWQ在小模型上吞吐量比GPTQ高10%，但量化后精度掉一丢丢，你那边有遇到吗？😂

欢迎光临闲社 (https://www.xianshe.com/)