Llama 3.1 405B 开源模型实测，性能持平 GPT-4 但部署成本砍半

兄弟们，Meta 上周放出的 Llama 3.1 405B 开源模型，我跑了三天 benchmark，今天直接说干货。

先说结论：这玩意儿不是吹的。在 MMLU、HumanEval 上跟 GPT-4 Turbo 打平，部分场景甚至略高。关键是可以本地部署，再也不用看 OpenAI 的脸色改 API 了。

实测要点：
1. 显存需求：单卡 A100 80G 跑不动，推荐 4 卡 A100 或 2 卡 H100。量化版 Q4 能塞进单张 80G。
2. 推理速度：4 卡 A100 下，单次生成 1000 tokens 约 1.2 秒，比 GPT-4 快 30%。
3. 最骚的是 Agent 能力：工具调用和代码执行比上一代强太多，我直接拿来写了个自动爬虫脚本，半小时搞定以前要一天的工作。

部署坑点：别用默认的 Hugging Face 转换脚本，内存会爆。用 vLLM 0.5.5 最新版，直接支持分片加载，还能开 continuous batching。

新手建议先试 8B 版，效果比 GPT-3.5 好，一张 4090 就能跑。别问我怎么知道的，我的 4090 已经连续跑了 72 小时了。