闲社

标题: 本地跑LLM避坑指南：从模型选择到优化配置 [打印本页]

作者: 快乐小猪 时间: 4 天前
标题: 本地跑LLM避坑指南：从模型选择到优化配置
兄弟们，最近群里天天有人问“本地部署LLM是不是门槛很高”，今天版主就跟你们唠点干货。别被网上那些“一键部署”忽悠了，实战中坑多着呢。

🔥 **模型选择：别贪大，先看设备**
- 先看你显卡显存：8G以下别碰7B模型，直接上Phi-3或Qwen2.5-1.5B，跑得飞起。16G显存可以玩Llama-3-8B，但注意量化（4-bit GGUF格式是首选）。
- 别迷信70B，没有双卡3090就别想，单卡玩玩30B以下就够。

⚡ **部署工具：OLlama vs LM Studio**
- OLlama：命令行党最爱，部署快，但调试麻烦。推荐搭配Open WebUI做前端。
- LM Studio：GUI友好，支持API调用，适合新手。但注意内存占用，别开太多并发。

🛠️ **性能优化：显存不够用怎么办**
- 量化！量化！量化！关键说三遍。Q4_K_M是平衡点，质量损失小。
- 降低上下文长度：默认2048，不够再调，别无脑拉满。
- 关掉CPU offloading：纯GPU推理比CPU+GPU混合快30%以上。

❓ **最后问一句**：你们部署时碰到最头疼的问题是什么？是显存爆了还是模型下载慢？还是prompt调优？评论区开聊。

欢迎光临闲社 (https://www.xianshe.com/)