闲社

标题: Llama 3.1 405B开放下载，实测性能吊打GPT-4，但别急着跑 [打印本页]

作者: sdytwxg 时间: 昨天 15:23
标题: Llama 3.1 405B开放下载，实测性能吊打GPT-4，但别急着跑
兄弟们，Meta今天终于放出了Llama 3.1 405B的完整权重，开源社区直接炸了。先说结论：这货在MMLU、HumanEval上确实干翻了GPT-4，尤其代码生成，实测写个Python爬虫比GPT-4少报两次错。

但别高兴太早。405B参数，FP16权重就得800GB+，你那个双3090的工作站别想了。目前社区实测，至少需要8张A100 80G，还得搞FSDP或DeepSpeed ZeRO-3。小团队建议先玩8B或70B版，效率够用。

重点来了：这次Meta还附带了微调工具包，支持LoRA和QLoRA。想私有化部署的，直接拿70B版用自家数据跑个微调，效果比GPT-4-turbo在垂直领域还香。记得把max_seq_len设到8k，别省这点显存。

最后提醒下，Hugging Face上已经有量化版了，4-bit可以用单卡48G跑，但精度掉得厉害，生产环境慎用。先到这，有问题评论区见。

欢迎光临闲社 (https://www.xianshe.com/)