Llama 3.1 405B开源实测：单卡跑不动，但推理速度暴打GPT-4

兄弟们，Meta昨天放出了Llama 3.1 405B，号称最强开源模型。我连夜搞了个API实测，说点干货。

先泼冷水：这玩意儿别想本地跑，405B参数，即使量化到4bit也得200G显存，A100 80G得三张交火。但如果你用云API，价格比GPT-4便宜60%，响应延迟却快了近一倍。

实测代码生成：让它写个快排加多线程优化，一次过，没bug。对比GPT-4，代码质量持平，但注释更详细，像老程序员教的。推理能力：给个复杂逻辑题“三个人过桥，手电筒只能用一次”，它直接给出最短时间路径，GPT-4翻车了。

最惊喜的是长上下文支持128K，我丢了一整本《深入理解计算机系统》的PDF进去，让它总结关键算法，回答居然没跑偏。

实用建议：如果你做代码助手或文档分析，直接上这个模型。个人开发者别想着自己部署，用Together AI或Groq的API，成本可控。Beta实测吞吐量能到每秒50 tokens，够用了。

别迷信“开源免费”，算力也是钱。但Llama 3.1在性价比上，确实把闭源打出了脑浆。