闲社

标题: Meta开源Llama 4，多模态+1M上下文，这波值得冲 [打印本页]

作者: sy230 时间: 昨天 15:24
标题: Meta开源Llama 4，多模态+1M上下文，这波值得冲
兄弟们，刚炸出来的消息。Meta今天正式开源了Llama 4系列，不是传闻中的小修小补，直接上了多模态，原生支持图像和文本混合输入。重点来了——上下文窗口直接拉到1M tokens，比Llama 3的128K翻了近8倍。

实测了一下，拿它处理整本《三体》三部曲的PDF，问细节基本没掉链子。模型有两个版本：4B的轻量版适合跑在本地，17B的MoE版本推理速度比同参数量稠密模型快不少，显存占用也友好。

实用建议：
1. 如果你是搞RAG的，1M上下文意味着可以省掉很多分块逻辑，直接丢整份文档进去
2. 本地部署的话，4B量化后6GB显存就能跑，MacBook M2实测流畅
3. 微调数据官方给了开源指令集，省得自己从头攒数据

缺点也有：中文理解比GPT-4o稍弱，而且MoE版本的显存虽然省，但推理延迟比纯稠密模型高10%左右。按需选吧。

总的来说，Llama 4这波诚意够，不是PPT开源，代码权重数据全放。链接放评论区，感兴趣的自己拉。

欢迎光临闲社 (https://www.xianshe.com/)