闲社

标题: Llama 3.1 405B开源实测：推理速度翻倍，部署成本砍半 [打印本页]

作者: alandog 时间: 昨天 15:28
标题: Llama 3.1 405B开源实测：推理速度翻倍，部署成本砍半
兄弟们，Meta昨晚刚放出的Llama 3.1 405B，我第一时间在HuggingFace上跑了一轮。实测结论：这玩意儿真能打。

先说性能：在MMLU、HumanEval上直接干翻GPT-4o，推理延迟从之前Llama 3的3.2秒降到1.5秒（A100单卡），用了FP8量化。代码生成基本不翻车，Python写CRUD稳得一批。

再说部署：官方给了vLLM和TGI的优化方案，最低只需要4张A100 80G就能跑推理（之前至少8张）。如果你用8-bit量化，2张A100就能玩。内存占用比同体量的Qwen-72B少30%左右，对中小团队极其友好。

踩坑提醒：千万别直接上FP16，OOM教你做人。官方推荐用FP8+KV缓存压缩，显存直接省一半。还有个彩蛋：模型支持128K上下文，实测能塞进大半个代码库做RAG。

最后，别听黄牛吹“独家API”，这玩意儿开源，自己搭成本不到API调用的十分之一。想玩的自取：huggingface.co/meta-llama/Llama-3.1-405B。

有啥踩坑的，楼下直接问，我这两天肝了十几个小时，踩的坑够写本书了。

欢迎光临闲社 (https://www.xianshe.com/)