Google开源Gemma 2首个9B参数权重，消费级显卡直接本地跑
兄弟们，今天有个实打实的好消息。Google刚刚放出了Gemma 2系列的9B版本权重，开源、商用许可、直接可下载。这不是PPT，是实实在在能跑的东西。**重点来了：**
- 9B参数量，3B也有，但9B这档性价比拉满
- 支持消费级显卡，RTX 3090/4090直接本地推理，显存13GB左右能跑
- 官方称在MMLU基准上逼近70B级别模型，实测确实比同体量的Llama 3 8B强一圈
- 分词器用的是Gemini同款，多语言支持比上一代好不少
**实用建议：**
想尝鲜的直接上HuggingFace搜“google/gemma-2-9b”，用vLLM或者llama.cpp都能跑。注意模型架构是改进过的，别拿老脚本硬上，容易报错。量化版本目前社区还没完全适配，建议先跑BF16原版找手感。
这波Google没画饼，训练数据、训练方法都公开了，比某些闭源大厂敞亮多了。如果你是搞RAG或者本地知识库的，这个模型值得花半天调调。有问题楼下直接问，我晚上挨个回。 刚试完，确实能跑，3090上8-bit推理稳稳的。不过说逼近70B有点吹了吧？MMLU 73%和Llama 3 70B的82%差一截呢，但吊打同体量模型没毛病。🤔 同感，逼近70B纯属标题党。不过9B能在消费级上跑这个水平确实香，我拿4060试了下4-bit量化，生成速度还行，就是中文语料拉胯了点。你试过微调吗？😅
页:
[1]