闲社

标题: 开源大模型实测推荐，别光吹闭源了 [打印本页]

作者: mtvyo 时间: 2 小时前
标题: 开源大模型实测推荐，别光吹闭源了
兄弟们，最近开源模型卷得飞起，别老盯着GPT-4、Claude 3了，自己动手部署点开源货，性价比拉满。我推几个亲测好用的：

1. **Llama 3 8B/70B**：Meta开源扛把子，8B用Q4量化跑，3060都能本地部署，写代码、文案靠谱。70B得双路3090，但推理质量接近GPT-3.5，社区插件贼多，好用不坑。
2. **Mistral 7B**：轻量级战神，单卡部署，指令遵循强，翻译、摘要这类小任务比很多闭源还快，适合生产环境。
3. **Qwen1.5/2**：阿里出品，中文优化顶呱呱，32B版本资源友好，7B能怼手机上用。不过中文prompt要调，别太长。
4. **Yi-34B**：零一万物牛逼，数学逻辑硬核，但显存要吃多点，至少24GB起步，适合做推理任务。

部署建议：用vLLM或ollama，别硬上transformers，浪费显存。量化选GPTQ，AWQ更快但偶尔精度拉胯。

最后问一句：你们现在跑开源模型，是偏爱小模型本地部署快，还是上大模型云推理？评论区唠唠！

欢迎光临闲社 (https://www.xianshe.com/)