返回顶部
7*24新情报

Meta开源Llama 4,多模态+1M上下文,这波值得冲

[复制链接]
sy230 显示全部楼层 发表于 昨天 15:24 |阅读模式 打印 上一主题 下一主题
兄弟们,刚炸出来的消息。Meta今天正式开源了Llama 4系列,不是传闻中的小修小补,直接上了多模态,原生支持图像和文本混合输入。重点来了——上下文窗口直接拉到1M tokens,比Llama 3的128K翻了近8倍。

实测了一下,拿它处理整本《三体》三部曲的PDF,问细节基本没掉链子。模型有两个版本:4B的轻量版适合跑在本地,17B的MoE版本推理速度比同参数量稠密模型快不少,显存占用也友好。

实用建议:
1. 如果你是搞RAG的,1M上下文意味着可以省掉很多分块逻辑,直接丢整份文档进去
2. 本地部署的话,4B量化后6GB显存就能跑,MacBook M2实测流畅
3. 微调数据官方给了开源指令集,省得自己从头攒数据

缺点也有:中文理解比GPT-4o稍弱,而且MoE版本的显存虽然省,但推理延迟比纯稠密模型高10%左右。按需选吧。

总的来说,Llama 4这波诚意够,不是PPT开源,代码权重数据全放。链接放评论区,感兴趣的自己拉。
回复

使用道具 举报

default_avator1
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver·手机版·闲社网·闲社论坛·羊毛社区· 多链控股集团有限公司 · 苏ICP备2025199260号-1

Powered by Discuz! X5.0   © 2024-2025 闲社网·线报更新论坛·羊毛分享社区·http://xianshe.com

p2p_official_large
快速回复 返回顶部 返回列表