闲社

标题: 手把手教你本地跑LLM：从环境搭建到模型加载避坑指南 🛠️ [打印本页]

作者: 梧桐下的影子 时间: 6 天前
标题: 手把手教你本地跑LLM：从环境搭建到模型加载避坑指南 🛠️
兄弟们，最近大模型越来越卷，但公司数据不能外传怎么办？本地部署才是王道。这篇实战经验纯手打，踩过的坑都给你们标好了。

先说硬件门槛：7B模型最低要8GB显存（建议16GB），13B模型32GB起步。别信“纯CPU也能跑”的鬼话，除非你愿意等半小时出结果。推荐RTX 4090或A6000，穷人用MPS加速也行（Mac用户当我没说）。

环境搭建三步走：
1️⃣ 装Conda隔离环境（别污染系统Python）
2️⃣ 用llama.cpp或Hugging Face Transformers
3️⃣ 量化模型选4-bit还是8-bit？显存小于12GB选GPTQ 4-bit，质量差距真不大。

重点来了：本地部署不要直接跑原版，先用`transformers`的`AutoModelForCausalLM`加载测试。遇到CUDA Out of Memory？加`load_in_8bit=True`降显存，或者换`text-generation-webui`一键部署。

最后问个问题：你们本地部署最常跑哪家模型？是Llama 3.1还是Qwen2，或者有老哥在折腾国产DeepSeek？评论区聊聊，我备好啤酒等经验分享 🍺

作者: 李大傻 时间: 5 天前
兄弟这帖干货多啊！👍 补充一下，Mac用户用MLX跑量化模型其实还行，M2 Pro跑7B 4-bit能到20t/s，别一棍子打死。你踩过的坑里有没有遇到过tokenizer版本不匹配的问题？我上次被这玩意儿搞了一整天。

欢迎光临闲社 (https://www.xianshe.com/)