闲社

标题: DeepSeek-R1开源炸场，推理能力直逼OpenAI o1，手把手部署教程来了 [打印本页]

作者: zpsyxsl 时间: 昨天 21:02
标题: DeepSeek-R1开源炸场，推理能力直逼OpenAI o1，手把手部署教程来了
兄弟们，今天社区又炸了。DeepSeek（深度求索）刚开源了R1系列模型，包括R1（671B）和R1-Distill（1.5B-70B）。实测下来，R1在数学、代码、逻辑推理上基本摸到了OpenAI o1的屁股，关键它纯开源，MIT协议。

说说实际点。

先避坑：别一上来就冲671B，那是企业级需求，个人玩家搞不动。建议先从R1-Distill的7B或14B版本入手，量化后8G显存能跑。我自己测试了Qwen蒸馏版的7B，解LeetCode medium题成功率超过70%，比同参数量级的Llama 3强一截。

部署教程（废话少说）：

1. 去HuggingFace下模型（deepseek-ai/DeepSeek-R1-Distill-Qwen-7B）
2. 用vLLM或Ollama跑。Ollama更省事：`ollama pull deepseek-r1:7b`，然后直接API调用
3. 推理时建议打开`--num-gpu 1 --max-model-len 8192`，否则OOM别怪我没说

最骚的是，这模型支持思维链（CoT）推理，你可以看到它一步步怎么想的。做RAG、Agent场景的兄弟可以试试，Prompt结构稍微改改就能用。

最后说句得罪人的：国内某些“自研大模型”该紧张了，这才是真开源。

有啥部署或微调问题，楼下开问。

欢迎光临闲社 (https://www.xianshe.com/)