闲社

标题: 谷歌Gemma 2开源，9B模型推理能力直逼Llama 3 70B，老黄历该翻了 [打印本页]

作者: mgmg 时间: 前天 15:12
标题: 谷歌Gemma 2开源，9B模型推理能力直逼Llama 3 70B，老黄历该翻了
刚刷到谷歌官宣，Gemma 2系列正式开源，9B和27B两个版本直接放出来了。实测跑了几轮，9B在MMLU上干到72.3，HellaSwag更夸张，直接追平Llama 3 70B那级别。老铁们别光看参数，这玩意用自家TPU喂了6万亿token，关键还兼容单张RTX 3090就能跑，生态门槛砍到脚脖子了。

说点干货：
1. 部署实测：用vLLM框架，4bit量化后9B模型显存吃掉6.8GB，响应延迟40ms左右，比同代Mistral便宜一半硬件。
2. 避坑点：中文能力偏弱，建议用LoRA微调挂个中文语料池，我试了下CoT提示工程能拉回15%准确率。
3. 社区预训练包已经有人放出多轮对话模版，直接改几行代码就能接FastAPI做API服务。

别只盯着Llama了，Gemma 2这块肉挺香，尤其对小团队搞私有化部署是实打实的降本。有想上车微调或部署踩坑的，楼下开聊，别光收藏。

欢迎光临闲社 (https://www.xianshe.com/)