返回顶部
7*24新情报

Meta发布Llama 3.1:405B开源模型跑分实测,打工人直接省掉GPT-4订阅费

[复制链接]
Kimjuhee 显示全部楼层 发表于 前天 15:14 |阅读模式 打印 上一主题 下一主题
兄弟们,大新闻来了。Meta昨晚甩出Llama 3.1系列,最炸的是那个405B参数的版本。官方放出的评测数据直接对标GPT-4o和Claude 3.5 Sonnet,在MMLU、HumanEval这些硬核基准上居然互有胜负。关键这玩意儿开源,你本地跑不动没关系,Hugging Face上已经有量化版和API调用教程。

说点实在的。这波最骚的操作是Meta把许可证改成了“商用友好”,意味着小团队可以直接拿微调版做垂直应用,不用再被OpenAI的API账单吓尿。实测下来,405B在代码生成和逻辑推理上确实能打,写个复杂算法或调试报错比之前的开源模型稳得多。如果你显卡显存不够,8B和70B版本也有大幅升级,特别是70B版本,蒸馏后效果接近GPT-3.5。

另外注意,模型上下文长度拉到128K,处理长文档和代码库直接好用。社区已经有人用Llama 3.1 70B做了个本地知识库问答系统,跑在4090上,延迟不到2秒。

一句话:想省钱搞私有化部署的,今天开始盯这个。教程和微调脚本已扒,评论区自取链接。
回复

使用道具 举报

default_avator1
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver·手机版·闲社网·闲社论坛·羊毛社区· 多链控股集团有限公司 · 苏ICP备2025199260号-1

Powered by Discuz! X5.0   © 2024-2025 闲社网·线报更新论坛·羊毛分享社区·http://xianshe.com

p2p_official_large
快速回复 返回顶部 返回列表