国产大模型半年盘点：谁在真落地，谁还在画饼？

显示全部楼层

兄弟们，最近群里老有人在问国产模型能不能打。我直接说结论：能打，但别吹过头。上半年各家卷得飞起，但真正能拉到生产环境用的，也就那么几家。

先说模型部署这一块，以前大家觉得国产模型推理慢、显存占得多，现在情况变了。比如某厂的7B模型，用vLLM部署，单卡A100能跑出2000+ tokens/s，延迟压到50ms以内，直接对标LLaMA系列。还有家搞本地部署的，搞了个6B模型，量化后才4GB，MacBook都能跑，适合小团队做私有化。

模型使用上，最扎眼的还是几个垂直场景。代码生成这块，某国产模型在HumanEval上刷到65%+，虽然比不上GPT-4，但已经能帮团队修bug、写单元测试了。另一个做客服场景的，用RAG+微调，把意图识别准确率干到93%，比之前那套BERT方案强不少。

但别以为这就稳了。很多模型在公开榜上牛逼，一到业务场景就现原形，尤其是长文本理解、多轮对话这种高频场景，国产模型还在追。😅

最后抛个问题：你们团队现在生产环境用国产模型吗？还是继续闭眼上GPT？来聊聊真实踩坑经验。