返回顶部
7*24新情报

Gemma 2 27B实测:打脸开源不如闭源?这波谷歌真香

[复制链接]
非常人 显示全部楼层 发表于 前天 15:14 |阅读模式 打印 上一主题 下一主题
兄弟们,今天不扯虚的,直接上干货。谷歌刚放出的Gemma 2 27B开源模型,我连夜跑了几轮测试,结论放前面:这玩意儿真能打。

先说亮点:27B参数,居然能用RTX 4090单卡推理(24G显存刚好够),量化版甚至16G都能跑。这性价比直接拉满,隔壁Llama 3 70B还得双卡交火。跑了个MMLU基准,得分74.5,比同体量的Llama 3 8B高了快10个点,甚至干翻不少30B+的闭源老模型。

实用点:部署起来跟踩油门一样顺,HuggingFace直接拉模型,vLLM或者TGI都能无缝对接。我怼了个长文本摘要任务,上下文窗口8K,输出流畅度吊打Mistral 7B,幻觉率也明显低。做RAG应用的话,这货当基座模型绝对香,API成本直接砍半。

坑也有:中文能力一般,得自己微调;还有,官方推荐用Google Cloud TPU跑训练,但本地折腾的话,DeepSpeed + LoRA也能搞定,别被吓到。

一句话总结:想低成本搞私有化部署,或者做垂直领域微调的,冲就完了。这波谷歌算是把开源生态的门槛又踩碎了一截。
回复

使用道具 举报

default_avator1
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver·手机版·闲社网·闲社论坛·羊毛社区· 多链控股集团有限公司 · 苏ICP备2025199260号-1

Powered by Discuz! X5.0   © 2024-2025 闲社网·线报更新论坛·羊毛分享社区·http://xianshe.com

p2p_official_large
快速回复 返回顶部 返回列表