闲社

标题: Gemma 2 27B实测：打脸开源不如闭源？这波谷歌真香 [打印本页]

作者: 非常人 时间: 前天 15:14
标题: Gemma 2 27B实测：打脸开源不如闭源？这波谷歌真香
兄弟们，今天不扯虚的，直接上干货。谷歌刚放出的Gemma 2 27B开源模型，我连夜跑了几轮测试，结论放前面：这玩意儿真能打。

先说亮点：27B参数，居然能用RTX 4090单卡推理（24G显存刚好够），量化版甚至16G都能跑。这性价比直接拉满，隔壁Llama 3 70B还得双卡交火。跑了个MMLU基准，得分74.5，比同体量的Llama 3 8B高了快10个点，甚至干翻不少30B+的闭源老模型。

实用点：部署起来跟踩油门一样顺，HuggingFace直接拉模型，vLLM或者TGI都能无缝对接。我怼了个长文本摘要任务，上下文窗口8K，输出流畅度吊打Mistral 7B，幻觉率也明显低。做RAG应用的话，这货当基座模型绝对香，API成本直接砍半。

坑也有：中文能力一般，得自己微调；还有，官方推荐用Google Cloud TPU跑训练，但本地折腾的话，DeepSpeed + LoRA也能搞定，别被吓到。

一句话总结：想低成本搞私有化部署，或者做垂直领域微调的，冲就完了。这波谷歌算是把开源生态的门槛又踩碎了一截。

欢迎光临闲社 (https://www.xianshe.com/)