闲社

标题: 国产大模型半年盘点：性能追上来了，但部署还是得踩坑 [打印本页]

作者: 倒数七天 时间: 3 天前
标题: 国产大模型半年盘点：性能追上来了，但部署还是得踩坑
兄弟们，最近半年国产大模型卷得飞起，从Qwen3到DeepSeek-R1再到GLM-4，各家都在拼命迭代。👀 实测下来，Qwen3-72B在推理和代码能力上已经逼近Llama-3-70B，甚至某些场景下更优，而且开源协议对商业友好，这点要点赞。DeepSeek-R1则主打数学和逻辑，用MoE架构把成本压得很低，部署时显存占用比同尺寸模型少了30%左右，但推理速度波动大，需要自己调优batch size和精度。

部署方面，坑也不少。比如Qwen3的tokenizer换了，用旧版框架可能报错；GLM-4的vLLM支持还不完善，多卡推理容易OOM。推荐用TGI或者自己魔改FlashAttention，实测能稳定不少。模型使用上，建议多试试few-shot prompt，这些国产模型对指令格式敏感，稍微调整就能提升10-20%准确率。

最后问一句：你们现在生产环境主要用哪个国产模型？是直接API还是自建部署？遇到的最大问题是什么？来聊聊。🤔

欢迎光临闲社 (https://www.xianshe.com/)