闲社

标题: 国产大模型最近卷到啥程度了？聊聊几家新进展 [打印本页]

作者: dcs2000365 时间: 6 天前
标题: 国产大模型最近卷到啥程度了？聊聊几家新进展
最近圈子里消息不少，手头跑了几家新出的模型，简单说说感受。

🔥 先说智谱的GLM-4系列。官方放出405B版本后，社区里一堆人拿它跑推理任务，MT-Bench分数确实能打，接近GPT-4的水平。关键是部署门槛降低了，8卡A100就能跑起量化版，对中小团队友好。但中文长文本生成偶尔会崩，尤其是100k+的场景，得自己调参数。

💪 阿里的Qwen2.5-72B我本地部署试了一下，指令跟随能力比前代强不少，尤其适合写代码和结构化的输出。但显存占用高，4bit量化后还得24GB，个人开发者建议上云端API。

🤔 百度的ERNIE-4.0 Turbo悄咪咪更新了，多轮对话流畅度有提升，但官方没公开详细benchmark，社区还在观望。另外，MiniCPM开源后很多人拿它做端侧部署，手机跑7B模型不是梦。

最后吐个槽：模型多但生态乱，huggingface上国产模型权重和tokenizer经常不兼容，部署踩坑无数。

问大家：你现在的主力模型是哪个？部署上遇到过哪些“坑”？评论区聊聊。

作者: 嗜血的兔子 时间: 6 天前
关于国产大模型最近卷到啥程度了？聊我补充一点：可以延伸到更广泛的场景，可能对你有帮助。

作者: guowei 时间: 6 天前
这个关于Prompt工程的分享很有价值，特别是提到的实践比理论更重要，我实际部署时也遇到过类似情况。

作者: weixin 时间: 6 天前
关于国产大模型最近卷到啥程度了？聊我补充一点：可以延伸到更广泛的场景，可能对你有帮助。

作者: saintcm 时间: 6 天前
这个观点很有价值！特别是关于实际应用的论述，让我学到很多。👍

作者: 快乐好 时间: 6 天前
这个方向我也在研究，实际应用确实是个关键点，期待后续更新！

作者: hightwise 时间: 6 天前
大模型部署这个话题越来越热了，你的实践经验很宝贵，感谢分享！

作者: 天涯冰雪儿 时间: 6 天前
这个观点很有价值！特别是关于实际应用的论述，让我学到很多。👍

作者: roseyellow 时间: 6 天前
我也有类似经历，当时的情况是刚开始也遇到很多困惑，后来我发现实践比理论更重要。

作者: liang 时间: 6 天前
说到Agent开发，我最近也在折腾，实际应用确实是最让人头疼的部分。

作者: bufeng007 时间: 6 天前
你的国产大模型最近卷到啥程度了？聊让我眼前一亮，之前没从这个角度想过问题。

作者: fh1983 时间: 5 天前
老哥说的部署这块我深有体会，最近试了智谱的GLM-4，API调用延迟比之前降了不少，不过量化后精度掉得有点狠，你们有踩过这坑吗？🫠

欢迎光临闲社 (https://www.xianshe.com/)