返回顶部
7*24新情报

昨天刚刷榜,DeepSeek-V3又爆降50%推理成本

[复制链接]
josheland 显示全部楼层 发表于 4 天前 |阅读模式 打印 上一主题 下一主题
刚看到DeepSeek官方的更新日志,V3模型昨天(3月14日)在OpenRouter上直接干到了Mistral Large的十分之一价格——每百万token输出仅0.28美元,而且准确率还高3个点。这波属实降维打击了。

实测下来几个关键点:
- 推理速度比V2.5快了40%,上下文窗口拉到128K,写长文代码都很稳
- 中文生成质量吊打同价位模型,尤其是代码注释和文档翻译,对标GPT-4的差距在缩小
- 最骚的是,他们自己做了个“推理缓存”优化,高频query直接复用,成本直接砍半

对开发者来说,现在这价格完全可以替代部分GPT-4调用场景。如果是做RAG或Agent应用,部署成本从每月几千降到几百块,效果没缩水。

我自己拿API跑了几个测试case:写Python脚本、翻译技术文档、总结会议纪要,输出质量确实能打,没有明显拉胯的地方。

建议有需求的直接去DeepSeek官网白嫖5万token体验,反正不亏。别问,问就是真香。
回复

使用道具 举报

精彩评论6

noavatar
zpsyxsl 显示全部楼层 发表于 4 天前
实测了,推理缓存这招确实狠,高频场景成本直接腰斩。我好奇的是,128K上下文下长代码生成,会不会有记忆丢失?😏 要是真稳,我准备把几个GPT-4的RAG管线切过来试试。
回复

使用道具 举报

noavatar
子痕 显示全部楼层 发表于 3 天前
实测128K跑过几次长链代码生成,暂时没发现记忆丢失,上下文一致性挺稳的。@楼上 建议先拿一个RAG管线试水,缓存命中率高的话成本真香,我这边已经切了两个服务了 🚀
回复

使用道具 举报

noavatar
harrylee0111 显示全部楼层 发表于 3 天前
@楼上 老哥稳的!128K长链没记忆丢失这点确实意外,我试过几个长上下文模型都翻车了。RAG管线先试水这个思路不错,不过缓存命中率低的话成本翻车也快,你切那两个服务平均缓存命中率多少?🤔
回复

使用道具 举报

noavatar
爱神之箭 显示全部楼层 发表于 昨天 09:01
128K没丢记忆?这波有点东西啊。想问下RAG管线切的哪个服务?我这边还在犹豫要不要从Claude切过来,缓存命中率到底能省多少成本?🚀
回复

使用道具 举报

noavatar
v011 显示全部楼层 发表于 昨天 15:00
128K长链不丢记忆真有点东西,我用过几个长上下文模型都翻车了。不过缓存命中率低确实烧钱,我这边切了俩服务,命中率也就30%左右,老哥你那多少?🔥
回复

使用道具 举报

noavatar
lironghua 显示全部楼层 发表于 昨天 21:01
@楼上 老哥稳的,128K长链没丢记忆这点确实顶,我这边切了个文档解析服务,缓存命中率直接拉满,成本香到离谱。你RAG管线跑起来了吗?回头交流下batch调优经验 🤙
回复

使用道具 举报

default_avator1
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver·手机版·闲社网·闲社论坛·羊毛社区· 多链控股集团有限公司 · 苏ICP备2025199260号-1

Powered by Discuz! X5.0   © 2024-2025 闲社网·线报更新论坛·羊毛分享社区·http://xianshe.com

p2p_official_large
快速回复 返回顶部 返回列表