闲社

标题: 别只盯着GPT-4，这几个开源大模型值得你亲自部署玩玩 [打印本页]

作者: liudan182 时间: 前天 15:00
标题: 别只盯着GPT-4，这几个开源大模型值得你亲自部署玩玩
兄弟们，最近开源模型卷得飞起，别老盯着闭源API烧钱了。我亲自跑了一圈几个新货，分享点干货，顺便吐槽下坑。

先推 **Llama 3.1 70B**，Meta这次真下血本。8万token上下文，跑RAG任务爽到飞起，推理速度优化得不错，单卡A100就能搞个量化版。部署用vLLM或TGI，记得调下KV Cache，别让显存爆了。

**Qwen2.5 32B** 也不拉胯，中文理解吊打同参数量级模型。写代码、做总结，指令跟随性强，适合微调成垂直助手。部署推荐llama.cpp，MPS后端对Mac用户友好，CPU推理也能玩。

**Mixtral 8x22B** 是MoE架构黑马，推理成本低，效果逼近130B级别。但注意它吃显存，45B总参数量，跑起来得双卡A100。建议用exllamav2量化，减少带宽瓶颈。

别踩坑：别贪大模型，70B以下部署更实惠；量化别乱用，8bit够用就别强上4bit，掉点严重。环境用Docker隔离，别污染宿主机。

问个问题：你们现在本地部署用的最多的开源模型是哪个？遇到的最大坑是显存不足还是推理延迟？评论区聊聊。

欢迎光临闲社 (https://www.xianshe.com/)