闲社

标题: 别只看ChatGPT！这几个开源大模型值得你折腾一下 [打印本页]

作者: falcon1403 时间: 前天 20:08
标题: 别只看ChatGPT！这几个开源大模型值得你折腾一下
混技术社区的老铁们都知道，闭源模型再好用，也只是人家的黑盒。想真正玩得转，还得靠开源大模型——自己调参、自己部署、自己玩出花来。今天聊几个我个人实测过、觉得确实能打的，供大家入坑参考。

**1. Llama 2/3（Meta）** 🦙
开源界的扛把子，社区生态无敌。Llama 3 的70B版本在推理和代码生成上直逼GPT-4，但部署门槛高，起码得两张A100。建议从7B或13B版本入手，用ollama或llama.cpp就能本地跑，适合折腾。

**2. Mistral 7B（Mistral AI）** 💨
小身材大能量，7B参数量打爆一堆13B模型。指令微调版Mistral-Instruct在长上下文和逻辑推理上超稳，部署成本极低，一张RTX 3090足矣。目前Hugging Face上最火的模型之一。

**3. Qwen 1.5（阿里）** 🐉
国产之光，中文理解力一流，特别是在古文、方言和中文编程上吊打同级别模型。最新版的32B版本支持32K上下文，写代码和做RAG都香。推荐用vLLM部署，推理速度杠杠的。

**部署小贴士**：别踩PyTorch全家桶的大坑，直接上Ollama或vLLM，省时省力。想玩量化的话，bitsandbytes或GPTQ都很成熟。

最后问个问题：你们部署开源模型时遇到的最大坑是啥？是显存不够、推理速度慢，还是模型调优太玄学？评论区聊聊，我看看有多少人跟我一样被OOM搞到砸键盘 🤘

欢迎光临闲社 (https://www.xianshe.com/)