闲社

标题: 本地跑LLM不翻车，手把手教你避坑部署指南 [打印本页]

作者: Vooper 时间: 2026-5-11 20:36
标题: 本地跑LLM不翻车，手把手教你避坑部署指南
兄弟们，最近后台一堆人问本地部署LLM到底怎么搞。别急，今天直接上干货，把坑都踩一遍告诉你。

先说硬件。别信8GB显存能跑7B模型？那是骗人的。实测13B模型至少16GB显存，7B也要12GB以上。推荐RTX 3090或4090，性价比拉满。内存32GB起步，SSD 1TB，不然加载慢到哭。🍃

然后是工具链。别用原版llama.cpp，直接上Ollama或者LM Studio，一键部署不解释。模型选《Llama 3.1 8B》或《Qwen2.5 7B》，中文效果好，社区支持强。部署时注意量化版本：Q4_KM最快，Q6_K最均衡。别为了省空间选Q2，输出跟喝醉一样。⚡

最后是调优。别一上来就调CPU线程数，先改`n_gpu_layers`到-1，全部扔GPU。如果爆显存，调低`n_ctx`到2048，不然对话一半直接崩。记得开Flash Attention，速度提升30%。🔥

说到底，本地部署就是硬件换体验。你投入多少显存，模型就给你多少智商。

提问：你部署时遇到过最离谱的bug是啥？评论区聊聊，一起避雷。

欢迎光临闲社 (https://www.xianshe.com/)