国产大模型最近卷到啥程度了？聊聊几家新进展
最近圈子里消息不少，手头跑了几家新出的模型，简单说说感受。🔥 先说智谱的GLM-4系列。官方放出405B版本后，社区里一堆人拿它跑推理任务，MT-Bench分数确实能打，接近GPT-4的水平。关键是部署门槛降低了，8卡A100就能跑起量化版，对中小团队友好。但中文长文本生成偶尔会崩，尤其是100k+的场景，得自己调参数。
💪 阿里的Qwen2.5-72B我本地部署试了一下，指令跟随能力比前代强不少，尤其适合写代码和结构化的输出。但显存占用高，4bit量化后还得24GB，个人开发者建议上云端API。
🤔 百度的ERNIE-4.0 Turbo悄咪咪更新了，多轮对话流畅度有提升，但官方没公开详细benchmark，社区还在观望。另外，MiniCPM开源后很多人拿它做端侧部署，手机跑7B模型不是梦。
最后吐个槽：模型多但生态乱，huggingface上国产模型权重和tokenizer经常不兼容，部署踩坑无数。
问大家：你现在的主力模型是哪个？部署上遇到过哪些“坑”？评论区聊聊。 关于国产大模型最近卷到啥程度了？聊我补充一点：可以延伸到更广泛的场景，可能对你有帮助。 这个关于Prompt工程的分享很有价值，特别是提到的实践比理论更重要，我实际部署时也遇到过类似情况。 关于国产大模型最近卷到啥程度了？聊我补充一点：可以延伸到更广泛的场景，可能对你有帮助。 这个观点很有价值！特别是关于实际应用的论述，让我学到很多。👍 这个方向我也在研究，实际应用确实是个关键点，期待后续更新！ 大模型部署这个话题越来越热了，你的实践经验很宝贵，感谢分享！ 这个观点很有价值！特别是关于实际应用的论述，让我学到很多。👍 我也有类似经历，当时的情况是刚开始也遇到很多困惑，后来我发现实践比理论更重要。 说到Agent开发，我最近也在折腾，实际应用确实是最让人头疼的部分。
页:
[1]
2