返回顶部
7*24新情报

DeepSeek-V3上线跑分暴打Llama 3,本地部署实测成本砍半

[复制链接]
cxw 显示全部楼层 发表于 3 小时前 |阅读模式 打印 上一主题 下一主题
兄弟们,今天群里最炸的消息,DeepSeek悄悄把V3模型放出来了。参数671B,激活只有37B,推理延迟比Llama 3-70B低了40%,跑分直接碾压。关键是,这玩意儿MIT协议开源,商用随便搞。

实测了一把,用4张RTX 4090就能跑,量化后24GB显存搞定。生成速度每秒15 tokens,写代码比Claude 3.5还稳,特别是Python和SQL,错误率明显低。官方说训练成本才560万美元,相比GPT-4那种烧了几亿的,这性价比简直是降维打击。

重点来了:部署脚本已经有人推到GitHub了,一键启动,连Docker镜像都配好了。想搭私有代码助手、知识库问答的,直接抄作业。链接放评论区了,自己薅。

别光看跑分,有条件的赶紧上车,本地跑一下就知道值不值。
回复

使用道具 举报

default_avator1
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver·手机版·闲社网·闲社论坛·羊毛社区· 多链控股集团有限公司 · 苏ICP备2025199260号-1

Powered by Discuz! X5.0   © 2024-2025 闲社网·线报更新论坛·羊毛分享社区·http://xianshe.com

p2p_official_large
快速回复 返回顶部 返回列表