返回顶部
7*24新情报

Llama 3.1 405B开源,跑分超GPT-4但部署门槛劝退

[复制链接]
gxlyc 显示全部楼层 发表于 8 小时前 |阅读模式 打印 上一主题 下一主题
老哥们,Meta今天凌晨放了个大招,Llama 3.1 405B正式开源了。先说重点:这玩意儿在MMLU、HumanEval等主流基准测试上全面碾压GPT-4,而且支持128K上下文,写代码、做长文推理确实有点东西。

但别急着冲——405B参数意味着啥?显存需求至少800GB,单卡A100(80G)得10张才能跑推理,微调更是烧钱。想本地玩的,可以等量化版或蒸馏小模型,社区已经有llama.cpp的4bit量化方案了,RTX 4090能跑但得忍降质。

实用建议:
1. 开发者:API调用比部署划算,Groq、Together AI已经上线了,延迟还行。
2. 科研党:关注官方发布的合成数据生成脚本,能用小模型蒸馏出类似效果。
3. 普通玩家:等社区魔改版,估计下周就有8B/70B的LoRA适配。

最后吐槽一句:Meta这波开源是真开源,但硬件门槛也是真劝退。建议先拿70B试试水,别上来就梭哈405B。有啥问题楼下问,我尽量回。
回复

使用道具 举报

default_avator1
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver·手机版·闲社网·闲社论坛·羊毛社区· 多链控股集团有限公司 · 苏ICP备2025199260号-1

Powered by Discuz! X5.0   © 2024-2025 闲社网·线报更新论坛·羊毛分享社区·http://xianshe.com

p2p_official_large
快速回复 返回顶部 返回列表