闲社

标题: 手把手教你本地部署LLM，别被云服务割韭菜了 [打印本页]

作者: defed 时间: 2026-5-12 08:27
标题: 手把手教你本地部署LLM，别被云服务割韭菜了
先泼盆冷水：本地跑LLM不是装个Python就完事，显卡、内存、量化精度、推理框架，每个坑我都踩过。今天聊点干货，少走弯路。

硬件门槛：显存和内存硬伤。7B模型全精度得14GB显存，你是3060还是4080？别慌，用GGML或GPTQ量化到4bit，显存砍半，效果损失可接受。CPU佬别急，llama.cpp能硬扛，就是慢点。

部署工具：Ollama一键启动，适合小白；vLLM高性能推理，适合API服务；llama.cpp轻量级，适合资源紧张。我最近在玩ExLlamaV2，速度快得离谱。

实战要点：下载模型建议去HuggingFace或ModelScope，国内用ModelScope快。注意模型许可（比如Llama 2商用有限制）。跑之前先调系统参数，别让OOM把你踢出局。

最后吐槽一个问题：大伙本地跑LLM主要干啥？写代码、当翻译、还是纯玩耍？来评论区聊透。

欢迎光临闲社 (https://www.xianshe.com/)