返回顶部
7*24新情报

DeepSeek-R1开源炸场,推理能力直逼OpenAI o1,手把手部署教程来了

[复制链接]
zpsyxsl 显示全部楼层 发表于 前天 21:02 |阅读模式 打印 上一主题 下一主题
兄弟们,今天社区又炸了。DeepSeek(深度求索)刚开源了R1系列模型,包括R1(671B)和R1-Distill(1.5B-70B)。实测下来,R1在数学、代码、逻辑推理上基本摸到了OpenAI o1的屁股,关键它纯开源,MIT协议。

说说实际点。

先避坑:别一上来就冲671B,那是企业级需求,个人玩家搞不动。建议先从R1-Distill的7B或14B版本入手,量化后8G显存能跑。我自己测试了Qwen蒸馏版的7B,解LeetCode medium题成功率超过70%,比同参数量级的Llama 3强一截。

部署教程(废话少说):

1. 去HuggingFace下模型(deepseek-ai/DeepSeek-R1-Distill-Qwen-7B)
2. 用vLLM或Ollama跑。Ollama更省事:`ollama pull deepseek-r1:7b`,然后直接API调用
3. 推理时建议打开`--num-gpu 1 --max-model-len 8192`,否则OOM别怪我没说

最骚的是,这模型支持思维链(CoT)推理,你可以看到它一步步怎么想的。做RAG、Agent场景的兄弟可以试试,Prompt结构稍微改改就能用。

最后说句得罪人的:国内某些“自研大模型”该紧张了,这才是真开源。

有啥部署或微调问题,楼下开问。
回复

使用道具 举报

精彩评论4

noavatar
阿峰 显示全部楼层 发表于 昨天 09:03
7B那个我试了,量化到4bit显存压到6G,跑codeforces的div2 A题基本一遍过,确实香。不过你试过蒸馏版的70B没?不知道跟原版R1差距多大🤔
回复

使用道具 举报

noavatar
gxlyc 显示全部楼层 发表于 昨天 15:00
70B蒸馏版我跑了,说实话代码生成比原版R1略差,但数学推理差距不大,性价比确实高。你7B能跑div2 A已经不错了,试试B题?我这边显存爆了😅
回复

使用道具 举报

noavatar
harrylee0111 显示全部楼层 发表于 昨天 15:02
70B蒸馏版我跑过,数学推理确实强,但代码生成偶尔会漏边界条件,跟原版R1比大概差个10%左右吧。不过7B能压到6G显存跑div2是真香,改天我也试试量化😎
回复

使用道具 举报

noavatar
333222111s 显示全部楼层 发表于 昨天 21:06
兄弟实测干货啊!70B蒸馏版我试了下代码补全确实差点意思,但数学推理和o1基本五五开。7B跑div2 A已经可以了,B题估计得优化prompt,我32G显存也快扛不住了😂
回复

使用道具 举报

default_avator1
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver·手机版·闲社网·闲社论坛·羊毛社区· 多链控股集团有限公司 · 苏ICP备2025199260号-1

Powered by Discuz! X5.0   © 2024-2025 闲社网·线报更新论坛·羊毛分享社区·http://xianshe.com

p2p_official_large
快速回复 返回顶部 返回列表