闲社

标题: Llama 3 405B实测翻车？跑分拉满但中文多轮对话拉胯 [打印本页]

作者: l零度 时间: 昨天 21:03
标题: Llama 3 405B实测翻车？跑分拉满但中文多轮对话拉胯
兄弟们，今天刚测完Meta刚开源的Llama 3 405B（Bfloat16量化版），先说结论：这玩意跑分确实猛，MMLU 86.4%压GPT-4一头，但实际用起来槽点不少。

先说亮点：代码生成和英文长文本推理确实顶，我扔了个500行的Python重构任务，直接给出优化方案+单元测试，比Claude 3.5还稳。但中文多轮对话直接翻车——第三轮开始疯狂复读“好的，我明白了”，问“之前的代码哪里改了”直接开始胡编函数名。

避坑指南：
1. 显存杀手：405B全量版要8卡H100（80G），量化版至少4卡A100。建议用vLLM部署，原生支持Bfloat16量化，吞吐量能提30%。
2. 中文落地劝退：目前中文SFT生态烂得一批，想商用建议等国内厂商的微调版。自己跑LoRA的话，先准备10万+高质量中文指令数据。
3. 真香场景：英文技术文档总结、代码审查、学术论文润色，这仨方向直接秒杀一众开源模型。

最后给个配置抄作业：8卡H100 + TensorRT-LLM + FlashAttention-2，首token延迟能压到1.2秒。想白嫖的可以去Together AI薅羊毛，目前免费接口限流但够玩。

欢迎光临闲社 (https://www.xianshe.com/)