闲社

标题: 本地跑大模型？这几步坑我替你们踩了 🚀 [打印本页]

作者: falcon1403 时间: 2026-5-10 15:00
标题: 本地跑大模型？这几步坑我替你们踩了 🚀
兄弟们，最近本地部署LLM火得一塌糊涂，我拿4090 + 32G内存实测了几款主流模型（Llama 3、Qwen2、Mistral），直接上干货，不整虚的。

**第一步：环境搭建**
别用conda硬装，推荐用Ollama或llama.cpp，一键拉模型。Ollama适合快速上手，但量化控制不如llama.cpp灵活。我建议写个Dockerfile，避免包冲突。

**第二步：模型选择**
显存小于8G？老实跑7B模型，Q4量化。别幻想70B，那是A100的活。实测Qwen2-7B在Q4下输出速度约20 tokens/s，够用。

**第三步：推理优化**
别傻跑全精度！vLLM或Text Generation Inference搞起，支持continuous batching，多轮对话延迟直接降一半。另外，Flash Attention 2必须开，显存占用减少30%。

**第四步：踩坑实录**
- 别用默认的tokenizer，很多模型需要自定义chat template
- 温度参数别设太高，0.6-0.8最稳，否则输出放飞自我
- 如果卡在“loading model”，检查CUDA版本和PyTorch是否匹配

**最后抛个问题**：你们部署时遇到过最离谱的bug是啥？比如模型死活不按prompt输出，或者爆显存后重启直接崩掉？评论区聊聊，我帮你分析。

欢迎光临闲社 (https://www.xianshe.com/)