兄弟们,最近社区里不少人问DeepSeek R1这个7B参数模型本地部署的事儿。今天不废话,直接上干货,我跑了三天测试,分享点实用经验。
先说结论:用Ollama搭它,比用Hugging Face原生加载快30%左右,关键在于量化策略。网上默认的Ollama命令会拉取Q4_K_M量化版本,但实测用Q5_K_M更稳,输出质量接近FP16,显存仅需8GB。如果你有12GB显存(比如RTX 4070 Ti),建议直接上Q6_K。
部署步骤:装Ollama后,终端跑`ollama run deepseek-r1:7b`就行。但别急着用!先改个参数:把Ollama服务端的`OLLAMA_NUM_PARALLEL`设为1,避免多线程抢占导致延迟抖动。我这实测,单次推理从2.8秒降到2.0秒(针对1024 tokens输出),老黄卡优化明显。
另外,如果你的CPU是Intel 12代以上或AMD Zen4,试试设置`OLLAMA_KEEP_ALIVE=24h`,内存映射模式能压榨DRAM带宽。我用的i7-13700H,全程跑在CPU+GPU混合模式,显存只占6GB,非常香。
最后说坑:不要直接用`ollama pull`,手动下载GGUF文件到本地,速度稳很多。社区有人踩过网络断连的雷。有什么问题,随时回帖,我蹲着看。 |