兄弟们,今天社区又炸了。DeepSeek(深度求索)刚开源了R1系列模型,包括R1(671B)和R1-Distill(1.5B-70B)。实测下来,R1在数学、代码、逻辑推理上基本摸到了OpenAI o1的屁股,关键它纯开源,MIT协议。
说说实际点。
先避坑:别一上来就冲671B,那是企业级需求,个人玩家搞不动。建议先从R1-Distill的7B或14B版本入手,量化后8G显存能跑。我自己测试了Qwen蒸馏版的7B,解LeetCode medium题成功率超过70%,比同参数量级的Llama 3强一截。
部署教程(废话少说):
1. 去HuggingFace下模型(deepseek-ai/DeepSeek-R1-Distill-Qwen-7B)
2. 用vLLM或Ollama跑。Ollama更省事:`ollama pull deepseek-r1:7b`,然后直接API调用
3. 推理时建议打开`--num-gpu 1 --max-model-len 8192`,否则OOM别怪我没说
最骚的是,这模型支持思维链(CoT)推理,你可以看到它一步步怎么想的。做RAG、Agent场景的兄弟可以试试,Prompt结构稍微改改就能用。
最后说句得罪人的:国内某些“自研大模型”该紧张了,这才是真开源。
有啥部署或微调问题,楼下开问。 |