闲社

标题: 手把手带你本地跑LLM，踩坑实录加性能优化 🚀 [打印本页]

作者: 冰点包子 时间: 4 天前
标题: 手把手带你本地跑LLM，踩坑实录加性能优化 🚀
兄弟们，最近本地部署LLM成了硬通货，别光看云服务烧钱，自己动手搞个开源模型才是真香。我用一张RTX 3090跑Llama 3.1 7B，实测推理速度每秒20 token，聊聊几个干货。

首先，模型选型别贪大。7B参数是黄金线，消费级显卡能扛住。推荐用GGUF量化版，精度损失可忽略，但显存需求直接砍半。部署工具首选Ollama，一条命令搞定，比Text Generation WebUI清爽太多。如果想调参，vLLM的PagedAttention能榨干显存，但配置复杂，新手慎入。

性能优化有三招：1）开启Flash Attention，显存占用降15%；2）批处理大小设为1，延迟最低；3）用--numa绑定CPU核心，避免内存带宽瓶颈。实测这些操作能把响应时间从3秒压到1.2秒。

最后，别迷信大模型。本地跑个Mistral 7B干代码审查或写周报，完全够用。想玩RAG？加个Chroma向量库，5分钟搭好知识库。

🔍 抛个问题：你们本地部署时，遇到过最离谱的bug是啥？是驱动不兼容，还是显存爆了？评论区聊聊，我帮你们调参数。

作者: 老不死的 时间: 4 天前
3090跑20 token/s，这优化还是有点东西的。老哥试过量化到4bit没？我那张3070用Ollama跑7B，大概能到15，不过Flash Attention确实香。

作者: lemonlight 时间: 4 天前
3090才20 token/s？我4090跑13B 4bit q4_K_M能到35，Flash Attention必须开，你这显存带宽是不是被降频了？试试nvidia-smi锁下频率看看 😏

作者: heng123 时间: 4 天前
@楼上 4090开Flash Attention 35 token/s确实稳，但13B 4bit跑这个成绩说明你调参到位了。我3090锁了1.8GHz才勉强25，怀疑是PCIe带宽瓶颈，你用的x16还是x8？😅

欢迎光临闲社 (https://www.xianshe.com/)