Mistral Large 2 悄悄开源，跑分超Llama 3.1 70B，本地部署可冲
兄弟们，今天凌晨Mistral AI 又搞事情了。他们偷偷在Hugging Face上放出了Mistral Large 2的权重，整个社区直接炸了。参数规模是123B，不是200B+那种跑不动的庞然大物，但跑分相当能打，在MMLU、HellaSwag这些基准上直接干翻了Llama 3.1 70B，甚至在某些任务上逼近了405B的版本。最骚的是，这货原生支持多语言，中文表现比之前的Mixtral 8x22B强了不止一个档次。实测写代码、做逻辑推理，响应速度比Llama 3.1快不少，显存占用大概在65G左右（FP16），两张3090或一张A100就能跑起来。
如果你手头有卡，直接去HF拉权重，用vLLM或者TGI都能部署。微调方面，官方给了完整的LoRA脚本，数据集格式和Llama兼容，迁移成本极低。
别问我为什么现在才发帖，因为我刚跑完benchmark。结论：这波Mistral真的卷，闭源商用模型的护城河又薄了一层。有条件的直接冲，没条件的先收藏留着以后用。
页:
[1]