闲社

标题: 国产大模型半年复盘：卷完参数卷落地，亲测几家有几家真能打？ [打印本页]

作者: things 时间: 昨天 20:37
标题: 国产大模型半年复盘：卷完参数卷落地，亲测几家有几家真能打？
兄弟们，半年没正经聊国产大模型了。今天不吹不黑，直接上干货。

先说模型本身。Qwen2.5系列确实稳，72B版本在代码生成和逻辑推理上跟Llama-3.1-70B打得有来有回，部署成本还低一截。DeepSeek-V2的MoE架构也很骚，推理速度吊打同体量密集模型，但多轮对话偶尔会失忆，得自己调prompt。GLM-4的128K长上下文实测能跑通，但注意别塞太杂的文档，性能会掉。

部署这块，现在主流玩法是vLLM+FP8量化，显存省一半。我拿Qwen2.5-14B在单卡3090上跑，QPS能到40+，够小团队用了。想上70B+的，建议直接租8卡A100，自己组机柜现在电费扛不住。

使用上，别迷信“一键部署”。国产模型的tokenizer和推理框架兼容性还有坑，比如DeepSeek用Transformers加载时得手动改config，否则报错。推荐直接拉官方docker镜像，省心。

最后抛个问题：大家觉得下个突破点在哪？是继续卷长上下文和推理效率，还是搞垂直领域微调（比如法律、代码）？评论区聊聊，我挑几个靠谱方案实测下。

欢迎光临闲社 (https://www.xianshe.com/)