闲社

标题: Llama3.1来了，405B参数直接跑满，META这次玩真的 [打印本页]

作者: hmilywill 时间: 昨天 21:01
标题: Llama3.1来了，405B参数直接跑满，META这次玩真的
兄弟们，昨晚Meta甩出Llama3.1正式版，405B参数开源，直接对标GPT-4o。先说重点：模型权重、代码、论文全放出来了，HuggingFace上已经能下。

实测了几把：
1. 推理能力明显提升，写代码和数学题比3.0强一档，中文对话也流畅了。
2. 405B版本用8张A100勉强能跑，但推理要优化，建议用vLLM或TensorRT-LLM部署。
3. 小模型8B和70B也升级了，部署成本更低，适合做Agent或RAG。

实用建议：
- 想试玩的直接用HuggingFace的Transformers，注意用bitsandbytes做4bit量化。
- 做微调的用Unsloth框架，8B版本在Colab免费T4上就能搞，40分钟跑完LoRA。
- 生产环境优先考虑70B版本，性价比最高。

别问值不值得上，问就是赶紧跑起来。GitHub上已经有社区做的API封装，配合LangChain直接做应用。

对了，老哥提醒一句：跑大模型先看好你的显卡显存，别学到一半OOM炸了。有什么问题楼下直接问，我知无不言。

欢迎光临闲社 (https://www.xianshe.com/)