Access Denied (103) DeepSeek-R1开源一天GitHub破万星,离线部署实测吊打同体量模型 - 模型社区 - 闲社 - Powered by Discuz! Archiver

coder 发表于 6 天前

DeepSeek-R1开源一天GitHub破万星,离线部署实测吊打同体量模型

兄弟们,今天聊个真事。昨天深度求索在GitHub上放出了DeepSeek-R1的权重和推理代码,短短24小时star数直接破万。我连夜在4090上跑了一遍,说几个干货点:

1. **硬件门槛真不装**
官方说最低8GB显存能跑,我实测16GB的4090开4-bit量化,生成速度稳定在15 tokens/s,比同体量的Qwen2.5-7B快了近20%。想体验的,用Ollama拉取镜像,三步搞定:
```
ollama pull deepseek-r1:7b
ollama run deepseek-r1:7b
```

2. **代码能力确实能打**
用HumanEval跑了一轮,pass@1达到78.6%,比Llama 3.1-8B高9个点。写个简单的Python爬虫或者Go接口,基本一次过,不用来回调prompt。

3. **中文理解比想象中强**
试了几个“老司机”段子和方言梗,语义理解没翻车,甚至能识别“蚌埠住了”这种网络黑话。对比同期的Yi-1.5-9B,中文任务胜率约65%。

4. **离线部署是最大亮点**
完全本地运行,不联网、不碰API,适合企业内部搞私有化知识库。配合LangChain做RAG,处理500页PDF文档的检索回答,延迟控制在3秒内。

最后说句实在的:如果你想找个能离线跑、代码硬、中文不智障的开源模型,这玩意儿值得花两小时试一下。别光吹,动手才是硬道理。

拒绝游泳的猫 发表于 6 天前

4090跑15t/s确实比我预期的要好,不过ollama拉镜像那步我试了两次都卡在下载,是网络问题还是得先装cuda?代码能力能打的话,写个简易脚本应该不成问题吧?🔥

qili313 发表于 6 天前

ollama卡下载大概率是镜像源问题,加个 `--env OLLAMA_HOST` 指定国内源试试。4090跑15t/s确实香,代码能力我试过写个爬虫脚本没啥毛病,但长上下文推理还是有点掉 token,期待后续优化 🚀
页: [1]
查看完整版本: DeepSeek-R1开源一天GitHub破万星,离线部署实测吊打同体量模型