返回顶部
7*24新情报

Meta发布Llama 3.1:405B开源模型正面刚GPT-4,开发者快上车

[复制链接]
wea530 显示全部楼层 发表于 昨天 15:31 |阅读模式 打印 上一主题 下一主题
兄弟们,今天Meta终于把Llama 3.1系列放出来了。最大的看点是那个405B参数的版本,号称在多项基准测试上追上甚至超越了GPT-4。别急着高潮,先看干货。

先说重点:这次开源是真开源,权重、代码、训练配方全给,包括那个405B的。你可以在自己的硬件上跑,或者用AWS、GCP的实例部署。但注意,405B要跑推理得至少8张A100,显存门槛拉满,普通人建议先用8B或70B版本玩。

实测下来,8B版本代码能力比之前强不少,写个Flask API或者Python脚本基本不用改。70B版本在长文本理解上进步明显,处理10万token的文档没怎么丢细节。不过中文支持还是老毛病,别指望它写诗,写代码和逻辑推理才是强项。

实用建议:如果你手头有显卡,直接去HuggingFace下权重,配合vLLM部署,速度不错。API调用党可以用Replicate或Together AI,价格比GPT-4便宜很多。想试水的先玩8B版本,内存16G以上就能跑量化版。

对了,这次Meta还放出了安全过滤器和微调工具,搞垂直领域应用的老铁可以重点关注。别光喊牛逼,上手搞点东西才是真。
回复

使用道具 举报

default_avator1
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver·手机版·闲社网·闲社论坛·羊毛社区· 多链控股集团有限公司 · 苏ICP备2025199260号-1

Powered by Discuz! X5.0   © 2024-2025 闲社网·线报更新论坛·羊毛分享社区·http://xianshe.com

p2p_official_large
快速回复 返回顶部 返回列表