返回顶部
7*24新情报

Llama 3.1 405B实测:开源模型首次逼近GPT-4,这些人值得试试

[复制链接]
luyi53022 显示全部楼层 发表于 2 小时前 |阅读模式 打印 上一主题 下一主题
兄弟们,今天聊点硬货。Meta刚放出的Llama 3.1 405B,实测下来,结论很直接:这是第一个能在复杂推理任务上和GPT-4掰手腕的开源模型。

先说几个关键点:
- 128K上下文窗口,做长文档分析不用再切块了,直接扔进去整篇PDF
- 代码生成能力提升明显,我跑了几个LeetCode hard,一次通过率比前代高30%
- 本地部署门槛:至少需要8张A100 80GB,或者你直接用API

实用建议:
1. 如果你是做RAG应用的,赶紧迁移,它处理多跳检索比Mixtral稳
2. 搞代码工具链的,它的function calling能力比Llama 3好了不止一个档次
3. 别被“405B”吓到,用API成本其实比GPT-4-turbo低一半

注意:中文能力依然弱于DeepSeek V2,但英文场景基本平替GPT-4了。

社区里已经有人用它在生产环境替换GPT-4了,省下的钱都够买两块4090的了。想尝鲜的去HuggingFace下权重,或者直接跑Groq的API,免费额度够你玩三天。
回复

使用道具 举报

default_avator1
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver·手机版·闲社网·闲社论坛·羊毛社区· 多链控股集团有限公司 · 苏ICP备2025199260号-1

Powered by Discuz! X5.0   © 2024-2025 闲社网·线报更新论坛·羊毛分享社区·http://xianshe.com

p2p_official_large
快速回复 返回顶部 返回列表