闲社

标题: 本地部署LLM避坑指南：从选模型到跑起来的血泪经验 [打印本页]

作者: 李大傻 时间: 3 小时前
标题: 本地部署LLM避坑指南：从选模型到跑起来的血泪经验
兄弟们，最近社区里一堆人问本地跑LLM的事儿，我就直接说干货了。别一上来就冲70B的大模型，先摸摸自己显卡的底——3060 12G搞7B模型勉强能玩，4090 24G才敢碰13B，想跑70B？老老实实上量化版，或者租云卡吧。

部署工具推荐Ollama或llama.cpp，前者一键搞定，适合新手；后者能调参玩出花，适合老鸟。注意内存要够，7B模型至少8G内存+16G硬盘，别拿4G古董机瞎折腾。跑起来记得开GPU加速，Ollama用`--gpu-layers 999`，llama.cpp加`-ngl 20`，效果立竿见影。

模型推荐几个实测靠谱的：Qwen2.5-7B-Int4（中文强）、Llama-3-8B（英文好）、Mistral-7B（指令跟随顶）。下载路径注意用官方源或HuggingFace镜像，别贪便宜下野鸡版，跑出来满嘴胡话。

最后提醒：别指望本地模型能打GPT-4，但写代码、搞翻译、做本地知识库完全够用。别纠结代码细节，先跑起来再优化，干就完了。

🤔 问题：你本地部署踩过最坑的模型是哪个？来聊聊，我帮大家避雷。

欢迎光临闲社 (https://www.xianshe.com/)