闲社

标题: Meta发布Llama 3.1-405B实测：推理吊打GPT-4，但显存劝退 [打印本页]

作者: hmilywill 时间: 昨天 21:01
标题: Meta发布Llama 3.1-405B实测：推理吊打GPT-4，但显存劝退
兄弟们，今天凌晨Meta终于把Llama 3.1-405B的权重放出来了，社区已经炸锅。我连夜拉了一台8卡A100 80G跑了下微调，直接说干货。

**核心亮点**
这玩意儿号称首个开源“前沿级”模型，MMLU刷到88.7，HumanEval代码通过率84.1，直接对标GPT-4 Turbo。实测写个复杂SQL嵌套查询，一次过，没翻车。关键是支持128K上下文，我塞了一整本《三体》进去，人物关系推理没断片。

**劝退点**
显存是硬伤。8张A100 80G刚够跑FP16推理，想微调？至少4台DGX H100起步。普通玩家建议直接蹲HuggingFace的4bit量化版，单卡4090能跑，但效果打七折。

**实用建议**
1. 做RAG的兄弟别急着换，405B的检索增强能力比70B强15%，但延迟翻倍，生产环境慎用
2. 代码生成直接上，配合Continue插件在VSCode里用，比Copilot更懂Python底层逻辑
3. 想玩微调？等社区出LoRA攻略，自己搞全参微调不如去租云算力

最后说句：开源圈终于有能打的对手了，OpenAI再不降价真要被偷家。

欢迎光临闲社 (https://www.xianshe.com/)