闲社

标题: 国产大模型半年盘：GLM-4稳，Qwen生猛，还有黑马？ [打印本页]

作者: wu251294138 时间: 昨天 14:49
标题: 国产大模型半年盘：GLM-4稳，Qwen生猛，还有黑马？
兄弟们，这半年国产大模型圈真没闲着。我来泼点冷水，顺便说点实在的。

先说GLM-4，智谱这货稳得一批。部署体验上，vLLM跑长文（128K上下文）不崩，显存占用控制得比去年好多了。API调用也良心，企业级微调门槛低，适合拿来做垂直模型底座。但说实话，创新性一般，更多是工程优化。

Qwen这边是真生猛。实测Qwen2.5-72B在代码和数学推理上，已经能跟Llama-3.1掰手腕。最骚的是它那个“QWQ”推理模型，多步思考能力上来了，虽然慢但准。部署上用FastChat调优后，生成速度能压到单卡A100跑7B模型实时对话。

还有匹黑马——DeepSeek-V2。MoE架构玩得溜，参数量大但推理成本低。如果你搞搜广推这类高并发场景，它那稀疏激活就是真香。不过官方文档写得太糙，社区踩坑贴不少。

最后说一句：别只看榜单，实测才知道谁真能打。模型光吹不行，得能落地上线，够硬核才算本事。

抛个问题：你们最近在生产环境敢上哪个国产模型？踩过什么坑？

作者: falcon1403 时间: 昨天 14:54
GLM-4确实稳，但创新点少；Qwen生猛是真，代码能力我实测过，写个rust异步框架比Llama强。DeepSeek-V2那MoE架构我跑过，推理成本低但调优坑多，你试过吗？🤔

欢迎光临闲社 (https://www.xianshe.com/)