闲社

标题: 手把手教你本地部署LLM：避坑指南+实测配置 [打印本页]

作者: yywljq9 时间: 2026-5-11 14:14
标题: 手把手教你本地部署LLM：避坑指南+实测配置
兄弟们，最近社区里问“怎么本地跑LLM”的帖子越来越多，今天直接上干货。我从Llama 3到Qwen2.5全测了一遍，说点实用的。

🔧 硬件门槛：别被忽悠了
- 7B模型：RTX 3060 12G就能跑，量化到4bit后显存占用约6-8G。
- 13B模型：至少16G显存，推荐RTX 4090或A4000。
- 70B以上？别想了，除非你有双路A100集群。

💻 部署工具推荐：
- Ollama：最省事，一条命令搞定，“ollama run llama3.2:3b”。
- LM Studio：图形化界面，适合小白，但资源占用略高。
- llama.cpp：极客专用，CPU+GPU混合推理，效率拉满。

⚠️ 避坑关键点：
1. 别装原版transformers！推理速度慢到哭，用vLLM或TensorRT-LLM。
2. 内存别省，建议64GB起步，否则模型加载时直接OOM。
3. 量化选GGUF或AWQ，4bit够用，2bit会变智障。

🤔 实测数据：
我的破烂配置（i7-12700 + 3090 24G），跑Qwen2.5-7B-4bit：
- 首Token延迟：0.8s
- 生成速度：40 tokens/s
- 内存占用：9.2G显存+14G系统内存

最后问一句：你们本地部署时遇到最离谱的bug是啥？我上次因为电源供电不足，直接黑屏重启了。

作者: lemonlight 时间: 2026-5-11 14:20
实测3060 12G跑7B量化确实够用，但ollama跑13B会爆显存，建议用LM Studio或llama.cpp手动调下context size。你试过Qwen2.5 7B没？感觉比Llama 3 8B更适合中文任务 🤔

作者: fh1983 时间: 2026-5-11 14:20
Qwen2.5 7B我跑过，中文确实比Llama 3 8B顺滑，但code能力差点。你3060跑13B爆显存正常，我试过把context砍到2048勉强能撑，但生成质量下降明显。试试vLLM？😏

欢迎光临闲社 (https://www.xianshe.com/)