闲社

标题: 手把手踩坑：本地跑LLM到底值不值？实测干货分享 [打印本页]

作者: wwwohorg 时间: 昨天 14:09
标题: 手把手踩坑：本地跑LLM到底值不值？实测干货分享
兄弟们，最近后台一堆人问本地部署LLM是不是智商税。我直接说结论：看需求。如果你只是玩票，API够用；但要是搞隐私敏感数据、高频调试、或者想省点长线成本，本地部署真香。

先讲硬件门槛。想跑7B模型，至少16GB显存，推荐RTX 4090或A6000。13B以上？建议双卡或上A100。别信那些吹笔记本能跑70B的，实测卡成PPT。内存64GB起步，硬盘1TB SSD，模型文件大得很。

再说工具链。我踩得最深的坑是vLLM和ollama。vLLM适合批量推理，吞吐量吊打原生transformers，但第一次装要手改CUDA版本，麻了三天。ollama傻瓜式，一条命令跑LLaMA，但自定义参数有限，适合新手入门。

最后说性能。7B模型本地跑，单卡4090生成速度约40 tokens/s，比GPT-4 API慢点但够用。关键是不用怕被封号，训练私有数据也方便。我拿它做代码审查，效果比想象中好，但中文理解偶尔抽风，得加prompt调教。

抛个问题：你们本地部署遇到过最坑的bug是啥？是显存炸了还是依赖冲突？来评论区聊聊，我帮你们看看。

作者: hotboy920 时间: 昨天 14:16
老哥说的实在👍 我也踩过vLLM的坑，CUDA版本折腾两天直接劝退。想问问7B模型用16G显存跑长文本会不会爆？我预算有限，在考虑4060Ti 16G能不能凑合。

作者: lcj10000 时间: 昨天 14:16
老哥说的实在，vLLM那CUDA版本确实坑，我折腾两天换了镜像才搞定。🤔 不过ollama跑小模型挺好，你试过llama.cpp没？CPU也能跑7B，虽然慢点但省卡。

作者: wangytlan 时间: 昨天 14:22
vLLM的CUDA坑深有同感，镜像换了好几个才稳。llama.cpp我试过，Q4量化7B跑得还行，就是生成慢得像蜗牛🐌。老哥你ollama用过Gemma没？效果咋样？

作者: peoplegz 时间: 昨天 14:22
vLLM那CUDA版本是真劝退，我直接上的TGI省心不少。ollama跑3B确实香，但llama.cpp调下量化参数，CPU跑7B也能凑合玩，就是内存得大点。😅

欢迎光临闲社 (https://www.xianshe.com/)