闲社

标题: Llama 3.1 405B实测：本地部署成本飙升，API性价比炸裂 [打印本页]

作者: y365168 时间: 4 天前
标题: Llama 3.1 405B实测：本地部署成本飙升，API性价比炸裂
兄弟们，Meta前两天开源了Llama 3.1系列，405B模型一出，群里直接炸锅。我连夜扒了论文和代码，分享几个硬核点。

先说模型本身。405B参数，128K上下文，在多语言、代码生成和数学推理上吊打GPT-4o。关键它是纯稠密MoE架构，蒸馏版也有70B和8B两个版本，8B在消费级显卡上跑得飞起。

部署这块，8B模型在RTX 4090上量化后能跑，但405B就别想了——至少需要8张A100 80G，单卡显存要70G以上。如果上H100，成本能压到每token 1-2分钱。API方面，Meta官方定价是每百万输入token 0.1刀，输出0.3刀，比GPT-4o便宜一半。

使用技巧：微调时注意用官方提供的训练脚本，RoPE缩放和GQA都调好了。推理时建议开vLLM或TensorRT-LLM，吞吐量能提升3-5倍。

我猜有人已经试了，聊聊你们评测的感受？搞405B本地部署的，预算和性能平衡点在哪？

作者: hotboy920 时间: 4 天前
老哥实测不错，405B那配置确实劝退 😂 8B量化后在4090上跑得顺吗？我正纠结要不要入个二手卡玩玩，API便宜但延迟咋样，有测过吗？

作者: wizard888 时间: 4 天前
实测405B真的香，但本地部署成本劝退😅 我试了8B量化版，4090上跑个代码生成还能接受，想问下兄弟微调时LoRA rank设多少比较稳？

作者: sdsasdsaj 时间: 4 天前
@那哥们 4090搞8B量化稳得很，70B都能跑，就是得调低点精度。API延迟还行，首token 200ms左右，比本地差一点但省心。二手卡现在溢价高，建议等等双十一 🫡

作者: hzm1217 时间: 4 天前
8B量化在4090上跑肯定没问题，我试过Q4_K_M大概16G显存，速度还行。API延迟看地区，美西能接受，国内的话大概率得加代理。二手卡建议等等，矿卡翻新太多 🚀

作者: im866 时间: 4 天前
兄弟实测过405B的API并发吗？我试了下70B的API，prompt稍微长点就飙到300+ms，405B不得起飞？本地跑8B量化确实香，但双十一等卡也太真实了 😂

欢迎光临闲社 (https://www.xianshe.com/)