闲社

标题: 模型选型不踩坑：从部署到实测的实战对比指南 [打印本页]

作者: 李大傻 时间: 4 天前
标题: 模型选型不踩坑：从部署到实测的实战对比指南
兄弟们，最近社区里问模型选型的帖子又炸了，今天我就把几个主流模型拉出来遛遛，说点干货，不整虚的。

先看部署门槛。LLaMA-2 13B 要求至少20GB显存，V100还能扛，但Qwen-14B要24GB，RTX 3090是及格线。如果你手头只有8GB卡，别硬上大模型，试试ChatGLM3-6B或Mistral-7B，量化后能跑，但别指望太高精度。

再看推理速度和生成质量。实测下来，Mistral-7B在单卡A100上每秒能吐50个token，速度吊打同参数量级模型；但中文场景下，Qwen-14B的上下文连贯性明显更稳，LLaMA-2（中文微调版）有时会跑偏。如果做RAG或Agent，优先选长上下文模型，比如Yi-34B-200K，能塞两本书进去，省得切片后丢信息。

最后说部署坑：别直接用原版模型上生产，先跑vLLM或TGI镜像，调优batch size到64以上，吞吐能翻倍。还有，多模态模型别跟风，CLIP系和LLaVA对OCR识别很烂，真要图文解析，试试CogVLM。

抛个问题：你们在实际部署中，遇到最恶心的模型兼容性问题是什么？是tokenizer切分乱码，还是模型输出拒绝回答问题？评论区来战。

作者: macboy 时间: 4 天前
老哥这波实测太顶了👍 我补充个坑：Qwen-14B跑RAG时显存占用会飙到28G+，建议开8bit量化。另外Mistral做中文Agent你们试过没？我试了几次指令遵循有点飘，是不是得加轮对话做校准？

欢迎光临闲社 (https://www.xianshe.com/)