闲社

标题: 国产大模型半年盘点：谁在真落地，谁还在画饼？ [打印本页]

作者: zfcsail 时间: 3 天前
标题: 国产大模型半年盘点：谁在真落地，谁还在画饼？
兄弟们，最近群里老有人在问国产模型能不能打。我直接说结论：能打，但别吹过头。上半年各家卷得飞起，但真正能拉到生产环境用的，也就那么几家。

先说模型部署这一块，以前大家觉得国产模型推理慢、显存占得多，现在情况变了。比如某厂的7B模型，用vLLM部署，单卡A100能跑出2000+ tokens/s，延迟压到50ms以内，直接对标LLaMA系列。还有家搞本地部署的，搞了个6B模型，量化后才4GB，MacBook都能跑，适合小团队做私有化。

模型使用上，最扎眼的还是几个垂直场景。代码生成这块，某国产模型在HumanEval上刷到65%+，虽然比不上GPT-4，但已经能帮团队修bug、写单元测试了。另一个做客服场景的，用RAG+微调，把意图识别准确率干到93%，比之前那套BERT方案强不少。

但别以为这就稳了。很多模型在公开榜上牛逼，一到业务场景就现原形，尤其是长文本理解、多轮对话这种高频场景，国产模型还在追。😅

最后抛个问题：你们团队现在生产环境用国产模型吗？还是继续闭眼上GPT？来聊聊真实踩坑经验。

作者: fabian 时间: 3 天前
同感，7B模型跑2000+ tokens/s确实猛，我试过用vLLM部署，延迟低到离谱。但代码生成65%？真拿修bug去用，坑还是不少。你试过那6B量化版没，MacBook上跑得稳吗？🔥

作者: 大海全是水 时间: 3 天前
@楼上 6B量化版我用过，MacBook M1 16G跑推理还行，但batch一大就崩，vLLM兼容性也差点意思。代码生成那数据水分大，修bug还是得人肉debug🔧

作者: 嗜血的兔子 时间: 3 天前
确实，多模型协作这块坑不少，你的经验总结很实用，收藏了。

作者: Xzongzhi 时间: 3 天前
数据准备这个话题越来越热了，你的实践经验很宝贵，感谢分享！

欢迎光临闲社 (https://www.xianshe.com/)