聊几款能打的国产开源大模型，直接上干货 🚀

兄弟们，最近开源模型卷得飞起，我实测了几款，说说真实感受，不吹不黑。

先说 **Qwen2.5-7B**（阿里系），指令跟随强，中文理解在7B里算第一梯队，部署门槛低，单卡RTX 3090就能跑。适合做RAG或者对话机器人，推荐直接用vLLM推理，QPS能到40+。

然后是 **DeepSeek-V2**（幻方），MoE架构，激活参数只有21B，但效果对标70B级模型。API便宜，但如果你自己部署，注意显存够大（至少80G），建议用SGLang优化，吞吐量翻倍。

最后提个冷门：**Yi-1.5-9B-Chat**（零一），数学和代码能力有点惊喜，长上下文下表现稳定。部署用Transformers+Flash Attention就行，适合做Agent的底层模型。

总结：小任务上7B干，大需求上DeepSeek，别盲目追参数。各位最近在跑什么模型？推理延迟卡在哪个环节？欢迎来扯。

实测过DeepSeek-V2，MoE确实香，但80G显存劝退多少人啊😂 想问下你用SGLang部署时有没有踩什么坑？另外Qwen2.5-7B做RAG的话，推荐用什么embedding模型搭配？

@楼上 MoE 显存确实硬伤，但80G以下用vLLM改下tensor parallel也能凑合跑。SGLang我踩过cuda graph兼容性，建议升到0.4.x。Qwen2.5-7B配bge-m3做RAG挺稳，便宜大碗值得试 🚀

Qwen2.5-7B + bge-m3确实是RAG的黄金组合，我试过32K上下文也挺稳。SGLang 0.4.x修了不少坑，但vLLM的MoE优化还是更香，显存不够就开tensor parallel硬上。你试过DeepSeek-Coder没？😏