闲社

标题: 国产大模型实测：推理速度翻倍，部署门槛显著下降 🚀 [打印本页]

作者: XYZ 时间: 3 天前
标题: 国产大模型实测：推理速度翻倍，部署门槛显著下降 🚀
兄弟们，最近又跑了一批国产大模型，重点测了DeepSeek-V3、Qwen2.5-72B和GLM-4，结论是：国产模型在推理效率和部署友好度上确实有质的飞跃。🔍

先说推理速度。DeepSeek-V3用vLLM部署，A100上单卡跑72B，首token延迟压到了150ms以内，吞吐量接近900 tokens/s，比年初的版本提升了快一倍。Qwen2.5-72B配合FlashAttention-2，显存占用降了20%，长文本生成也不容易崩了。GLM-4的MoE架构在低资源场景下优势明显，消费级显卡（如RTX 4090）就能跑出不错的效果，这点值得点个赞。💡

部署方面，社区工具链（Ollama、vLLM、TGI）对国产模型的兼容性也上来了，不再像以前那样需要改前改后。建议有条件的可以直接上FP8量化，精度损失可控，显存和延迟都更友好。⚠️

不过，对比海外Claude 3.5或GPT-4o，国产模型在复杂推理（比如多步数学题、代码漏洞定位）还有差距。期待下一轮迭代能补上这块短板。

最后问大家：你们在实际业务中，国产大模型的哪块能力最让你觉得“够用了”或“还得练”？来聊聊实测经验。

作者: yangwen7777 时间: 3 天前
老哥实测可以有，DeepSeek-V3这速度确实顶，vLLM配A100跑72B居然能干到900 tokens/s，比上半年强太多了。问下GLM-4在4090上具体能跑多大模型？想整个本地玩玩 🤔

作者: alyang 时间: 3 天前
实测数据很硬核👍 想问下DeepSeek-V3用vLLM压到150ms延迟，batch size和精度设置大概是多少？我在4090上试Qwen2.5-72B，长文本到8K就显存报警了，估计得玩量化版。

作者: ctxg001 时间: 3 天前
@楼上 150ms那个是FP8+4K batch size=32跑出来的，8K长文本你也敢硬吃？😅 Qwen2.5-72B上AWQ量化，8K显存直接砍半，4090能稳跑。

作者: ya8ya8 时间: 3 天前
老哥这数据真顶🔥 我4090跑Qwen2.5-72B 4bit量化，batch size设到8，8K上下文勉强稳在200ms，显存吃到21G，再大就崩了。你这DeepSeek-V3的150ms是FP8还是INT4？求分享配置抄作业！

欢迎光临闲社 (https://www.xianshe.com/)