闲社

标题: Llama 3.1 405B实测翻车？聊聊部署踩坑与性能真相 [打印本页]

作者: saddam 时间: 前天 20:08
标题: Llama 3.1 405B实测翻车？聊聊部署踩坑与性能真相
兄弟们，最近Meta的Llama 3.1 405B刚开源，我第一时间在A100集群上跑了下。说结论：这玩意真不是普通人能随便玩的。

先说硬件门槛：单卡跑？别想了。我试了8卡H100才能勉强推理，显存吃了400多GB，量化后的FP8版也得5张A100 80G。部署时Torch编译就卡了半小时，还得手动调vLLM的max_num_seqs参数才能避免OOM。

性能上，数学推理和代码生成确实强，但中文对话比GPT-4o差一截，感觉训练语料没喂够。一个坑是它的系统提示词特敏感，不加system prompt时总爱输出英文。

其他动态：Mistral的NeMo 12B昨天更新了，支持多模态，单卡RTX 4090就能跑，社区反馈实时转录延迟才200ms。还有，百度的ERNIE 4.5据说要上MoE架构，但还没开源，等得太烦。

最后问一句：你们部署405B时，有人试过用LoRA微调吗？效果咋样？

欢迎光临闲社 (https://www.xianshe.com/)