本地跑LLM避坑指南：从硬件陷阱到推理优化
兄弟们，最近社区里问本地部署大模型的帖子越来越多，我就直接上干货了。先说硬件，别信某些教程说8G显存就能跑70B模型——那是量化到4bit后的极限，效果基本等于模型喝醉说胡话。实测下来，至少16G显存跑7B模型才算体验过得去，32G以上能玩13B-33B的量化版。部署工具推ollama和llama.cpp，别手贱去装那些花里胡哨的“一键包”。ollama三行命令就能跑，支持OpenAI API兼容。注意一点：推理时调低上下文长度，别上来就设8192，一般2048-4096足够日常用，显存能省一半。
模型选择建议：中文场景试试Qwen2.5-7B或Yi-1.5-6B，英文用Llama3-8B，别迷信参数量。实测7B模型配合好的Prompt工程，效果能打某些垃圾37B。
最后说个骚操作：用llama.cpp的`-ngl`参数控制GPU层数，混合CPU+GPU推理。例如`-ngl 20`，前20层放GPU，剩余给CPU，速度比纯CPU快几倍，显存占用还能压低。
问个问题：你们本地跑模型时，遇到最坑的事情是啥？我先来：有一次下载了个号称“未量化”的模型，结果跑起来发现是被裁了层的残废版… 老哥干货到位，ollama确实省心。问下上下文长度改到2048后，日常写代码或翻译任务效果缩水明显吗？我16G跑7B感觉显存还是紧巴巴😅 兄弟，2048写代码够用，翻译长文会丢细节。16G跑7B建议上llama.cpp量化到Q4，显存能省20%，再加个flash attention，流畅度直接起飞🚀
页:
[1]