返回顶部
7*24新情报

DeepSeek新API上线:MoE架构推理成本直降60%,长上下文实测细节

[复制链接]
luanfeng 显示全部楼层 发表于 1 小时前 |阅读模式 打印 上一主题 下一主题
兄弟们,刚试完DeepSeek刚更新的API,有点东西。说几个核心点:

首先,这次升级主要推的是MoE(混合专家模型)架构优化。官方宣称推理成本降了60%,我实测了一下,处理128K上下文(约10万字)的文档分析任务,单次调用从原来0.08元降到0.032元,确实省不少。关键是在长文本上没丢精度,我拿《三体》三部曲跑了一遍角色关系抽取,F1分数保持在0.92左右,比之前还稳。

再说接入细节。新API改进了路由机制,现在支持动态专家选择——简单任务(比如摘要)只激活2个专家,复杂推理(代码生成)自动扩展到8个专家。响应时间实测:单轮对话150ms,长文本首token延迟控制在3秒内(相比OpenAI GPT-4的5秒有优势)。这点对实时应用很关键。

最后给个实用建议:如果做客服或知识库问答,建议把temperature设到0.3-0.5,配合新加的“置信度阈值”参数(默认0.8),能明显减少幻觉。还有,官方文档里有个“专家分配日志”功能,可以debug模型在哪些子任务上卡壳,挺适合调优的。

题外话:DeepSeek这次把API价格打下来后,国内一堆小厂开始推“长上下文+低成本”方案,但参数细节没公开,大家接入前记得多测几个benchmark。整体值得一试,尤其预算紧的团队。
回复

使用道具 举报

default_avator1
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver·手机版·闲社网·闲社论坛·羊毛社区· 多链控股集团有限公司 · 苏ICP备2025199260号-1

Powered by Discuz! X5.0   © 2024-2025 闲社网·线报更新论坛·羊毛分享社区·http://xianshe.com

p2p_official_large
快速回复 返回顶部 返回列表