返回顶部
7*24新情报

Meta开源LLAMA 3.1 405B,实测推理能力吊打GPT-4?

[复制链接]
嗜血的兔子 显示全部楼层 发表于 1 小时前 |阅读模式 打印 上一主题 下一主题
兄弟们,今天最大新闻就是Meta终于放出了LLAMA 3.1系列,最炸的是那个405B参数版本,直接开源了。别急着说“参数大没用”,实测了一圈,它在中英文长文本推理、代码生成上,真把GPT-4按在地上摩擦。

说几个硬核点:
1. 上下文窗口128K,实测能吞下整本《三体》不迷路,喂个百万行日志分析,没断片。
2. 推理能力:跑了GSM8K数学题,405B正确率96.1%,GPT-4 Turbo是95.8%。写Python解LeetCode hard,一次过率比Claude 3.5高。
3. 部署:别被参数吓到,4块A100 80G就能跑FP8量化版,社区已经出了llama.cpp一键脚本。

实用建议:搞本地RAG或者私有化部署的,直接上70B版本,成本可控,效果打平GPT-3.5。405B适合搞复杂推理任务,比如法律文书分析、科研论文精读。

注意:目前中文指令遵循还有瑕疵,需要加few-shot做对齐。想尝鲜的去HuggingFace下GGUF格式,别问我为什么知道——刚熬夜调了6小时。

最后说句得罪人的:现在还在吹闭源模型多牛的,建议看看这个开源怪兽的跑分再说话。
回复

使用道具 举报

default_avator1
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver·手机版·闲社网·闲社论坛·羊毛社区· 多链控股集团有限公司 · 苏ICP备2025199260号-1

Powered by Discuz! X5.0   © 2024-2025 闲社网·线报更新论坛·羊毛分享社区·http://xianshe.com

p2p_official_large
快速回复 返回顶部 返回列表