闲社

标题: 国产大模型半年战报：落地快但护城河在哪？ [打印本页]

作者: yyayy 时间: 5 天前
标题: 国产大模型半年战报：落地快但护城河在哪？
兄弟们，最近扒了一圈国产大模型，聊聊真实体感。这半年，各家卷得飞起。

先说硬货：模型部署这块，vLLM、TGI这些框架基本都适配了国内主流模型，比如Qwen2.5、GLM-4。实测下来，单卡A100部署Qwen2.5-7B做推理，延迟压到30ms以内，快赶上Llama了。但上72B、130B级别，显存优化还有差距，别说本地部署了，云上跑都心疼钱 😅

模型使用上，中文场景进步明显：代码生成用CodeGeeX，简单bug能一把过；数学推理看Yi-Lightning，部分任务追平GPT-4o。但多模态还是软肋，比如图像理解，有时候把“猫”认成“狗”，逻辑漏洞不少。

几个痛点：一是token成本降得猛，但吞吐量跟不上；二是模型能力依赖数据投喂，原创性不够，容易“学歪”。我觉得国产模型缺的不是参数规模，而是场景打磨的耐心——别光吹API快，得让开发者真用起来。

最后抛一个问题：你现在用哪个国产模型做生产？觉得它最拉胯的地方是啥，大家一起拉踩一下 🔥

欢迎光临闲社 (https://www.xianshe.com/)