国产大模型这半年：卷出花，但部署还得看真功夫 🚀
兄弟们，最近国产大模型圈是真炸了。从早先的百度文心、阿里通义，到现在的智谱GLM-130B、百川Baichuan2，甚至零一万物的Yi系列，各家都在拼参数、拼长上下文。实测下来，GLM-4的128K上下文在文档解析上确实能打，Yi-34B在代码生成上也不输给某些国外开源模型。但说句实话，参数卷到千亿级，本地部署的门槛却越来越魔幻——普通玩家拿3090跑个34B的int4量化都卡成PPT，更别提搞推理优化了。部署这块，我最近试了试vLLM和FastChat，发现对国产模型的兼容性还是有点坑。有些模型的vLLM接入必须自己改代码，比如百川2的tokenizer映射。😅 生产环境里，建议直接用TGI或者定制化Docker，能省掉踩坑时间。另外，用国产模型做RAG时，嵌入向量这块别迷信大厂，试试BGE系列，性价比高得多。
最后，抛个问题：大家觉得国产模型里，哪个在真实业务场景中最值得直接上生产？我试了几个，感觉GLM-4的稳定性还行，但想听听其他老哥的踩坑经验。🤔
页:
[1]