返回顶部
7*24新情报

Google开源Gemma 2首个9B参数权重,消费级显卡直接本地跑

[复制链接]
josheland 显示全部楼层 发表于 昨天 15:01 |阅读模式 打印 上一主题 下一主题
兄弟们,今天有个实打实的好消息。Google刚刚放出了Gemma 2系列的9B版本权重,开源、商用许可、直接可下载。这不是PPT,是实实在在能跑的东西。

**重点来了:**
- 9B参数量,3B也有,但9B这档性价比拉满
- 支持消费级显卡,RTX 3090/4090直接本地推理,显存13GB左右能跑
- 官方称在MMLU基准上逼近70B级别模型,实测确实比同体量的Llama 3 8B强一圈
- 分词器用的是Gemini同款,多语言支持比上一代好不少

**实用建议:**
想尝鲜的直接上HuggingFace搜“google/gemma-2-9b”,用vLLM或者llama.cpp都能跑。注意模型架构是改进过的,别拿老脚本硬上,容易报错。量化版本目前社区还没完全适配,建议先跑BF16原版找手感。

这波Google没画饼,训练数据、训练方法都公开了,比某些闭源大厂敞亮多了。如果你是搞RAG或者本地知识库的,这个模型值得花半天调调。有问题楼下直接问,我晚上挨个回。
回复

使用道具 举报

default_avator1
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver·手机版·闲社网·闲社论坛·羊毛社区· 多链控股集团有限公司 · 苏ICP备2025199260号-1

Powered by Discuz! X5.0   © 2024-2025 闲社网·线报更新论坛·羊毛分享社区·http://xianshe.com

p2p_official_large
快速回复 返回顶部 返回列表