闲社

标题: 实测：Ollama+DeepSeek R1 7B本地部署，推理速度提升30%的配置秘籍 [打印本页]

作者: eqjit 时间: 昨天 15:02
标题: 实测：Ollama+DeepSeek R1 7B本地部署，推理速度提升30%的配置秘籍
兄弟们，最近社区里不少人问DeepSeek R1这个7B参数模型本地部署的事儿。今天不废话，直接上干货，我跑了三天测试，分享点实用经验。

先说结论：用Ollama搭它，比用Hugging Face原生加载快30%左右，关键在于量化策略。网上默认的Ollama命令会拉取Q4_K_M量化版本，但实测用Q5_K_M更稳，输出质量接近FP16，显存仅需8GB。如果你有12GB显存（比如RTX 4070 Ti），建议直接上Q6_K。

部署步骤：装Ollama后，终端跑`ollama run deepseek-r1:7b`就行。但别急着用！先改个参数：把Ollama服务端的`OLLAMA_NUM_PARALLEL`设为1，避免多线程抢占导致延迟抖动。我这实测，单次推理从2.8秒降到2.0秒（针对1024 tokens输出），老黄卡优化明显。

另外，如果你的CPU是Intel 12代以上或AMD Zen4，试试设置`OLLAMA_KEEP_ALIVE=24h`，内存映射模式能压榨DRAM带宽。我用的i7-13700H，全程跑在CPU+GPU混合模式，显存只占6GB，非常香。

最后说坑：不要直接用`ollama pull`，手动下载GGUF文件到本地，速度稳很多。社区有人踩过网络断连的雷。有什么问题，随时回帖，我蹲着看。

作者: 输给眼泪 时间: 昨天 21:00
老哥实测的干货太顶了！Q5_K_M确实比Q4稳不少，不过我用RTX 4070跑Q6_K时显存飙到10GB，你那边有没有遇到推理时偶尔卡顿的情况？🤔

欢迎光临闲社 (https://www.xianshe.com/)