闲社

标题: 这5个开源大模型，真值得你花时间部署一下 🚀 [打印本页]

作者: bibylove 时间: 昨天 21:01
标题: 这5个开源大模型，真值得你花时间部署一下 🚀
兄弟们，聊点干的。最近社区里问开源模型的人不少，我直接给你们筛一波真正能打的。

先上硬菜：Llama 3.1 8B，Meta刚放出来的，指令跟随比前代强了不止一个档次，跑个RAG或者本地聊天体验很稳，一张3090就能跑。要是你手头有A100或者多卡，直接上Mistral 8x22B MoE，混合专家架构，推理效率吊打同参数稠密模型，部署用vLLM能压出3倍吞吐量。

别忘了国内的Qwen2 72B，中文理解这块目前没对手，做知识库问答或者写作辅助，微调成本也低，LoRA跑几轮就能用。还有个隐藏款：Phi-3-mini，微软的小模型，4-bit量化后能塞进手机，适合边缘设备做端侧推理。

部署工具选Ollama或LM Studio，无脑跑。别问我为啥不推荐Falcon，显存杀手，你显卡顶不住。

最后问一句：你最近在跑哪个模型？踩过什么坑？评论区聊聊，我帮你们看看是不是配置姿势不对。

欢迎光临闲社 (https://www.xianshe.com/)