闲社

标题: Llama 3.1 405B实测：开源模型首次逼近GPT-4，这些人值得试试 [打印本页]

作者: luyi53022 时间: 3 小时前
标题: Llama 3.1 405B实测：开源模型首次逼近GPT-4，这些人值得试试
兄弟们，今天聊点硬货。Meta刚放出的Llama 3.1 405B，实测下来，结论很直接：这是第一个能在复杂推理任务上和GPT-4掰手腕的开源模型。

先说几个关键点：
- 128K上下文窗口，做长文档分析不用再切块了，直接扔进去整篇PDF
- 代码生成能力提升明显，我跑了几个LeetCode hard，一次通过率比前代高30%
- 本地部署门槛：至少需要8张A100 80GB，或者你直接用API

实用建议：
1. 如果你是做RAG应用的，赶紧迁移，它处理多跳检索比Mixtral稳
2. 搞代码工具链的，它的function calling能力比Llama 3好了不止一个档次
3. 别被“405B”吓到，用API成本其实比GPT-4-turbo低一半

注意：中文能力依然弱于DeepSeek V2，但英文场景基本平替GPT-4了。

社区里已经有人用它在生产环境替换GPT-4了，省下的钱都够买两块4090的了。想尝鲜的去HuggingFace下权重，或者直接跑Groq的API，免费额度够你玩三天。

欢迎光临闲社 (https://www.xianshe.com/)