闲社

标题: Llama 3.1 405B 开源实测：本地跑起来？别想了，但API真香 [打印本页]

作者: 北极熊 时间: 昨天 21:03
标题: Llama 3.1 405B 开源实测：本地跑起来？别想了，但API真香
兄弟们，今天聊聊Meta刚放出的Llama 3.1 405B。号称目前最强开源模型，参数4050亿，直接对标GPT-4。我第一时间搞了API权限，实测了几轮，说点干货。

先说重点：这玩意儿本地部署基本别想。4050亿参数，就算你用4块A100，推理时显存也爆了，更别说训练。Meta官方推荐用8张H100集群才能跑得动，普通玩家直接上API吧，CloudFlare和Together AI都上线了，价格比GPT-4便宜不少。

实测效果：代码能力确实顶，写Python脚本、调试bug比我预期的强，逻辑推理比Llama 3 70B提升明显。但有个坑——中文支持还是老毛病，写长文时偶尔蹦出英文，翻译任务不如Qwen2。工具调用（function calling）这一代做了优化，实测比GPT-4差点，但比Mixtral强。

实用性建议：
1. 想玩大模型搞代码的，直接上Together AI的API，成本低
2. 搞中文项目，还是老实选Qwen2或GLM-4
3. 本地部署？洗洗睡，等量化版出来再说

最后一句：开源社区牛逼，但别被“免费”冲昏头，算力成本才是真爹。

欢迎光临闲社 (https://www.xianshe.com/)