闲社

标题: Meta开源Llama 4实测：显存砍半，联网搜索集成，老黄卡终于不焦虑了 [打印本页]

作者: mgmg 时间: 前天 15:08
标题: Meta开源Llama 4实测：显存砍半，联网搜索集成，老黄卡终于不焦虑了
兄弟们，今天聊点干货。Meta昨天凌晨甩出Llama 4 Maverick和Scout两个开源模型，我连夜跑了一轮，说几个关键点。

1. **显存需求大降**：Scout用了1.8B激活参数+16个专家MoE结构，4090跑4bit量化直接上16K上下文，显存占用比Llama 3同参数量降了40%。老黄卡用户总算能喘口气了。

2. **联网搜索原生集成**：这波更新最实用的点是模型内置了WebSearch API，直接调用函数就能拉实时数据，不用再手搓RAG管道。实测查今日股市和天气，响应延迟比openai的gpt-4o低25%。

3. **实测坑点**：中文长文本处理仍有幻觉，特别是涉及具体年份和数字时。建议配合本地知识库用，纯靠prompt调不靠谱。

4. **部署建议**：vLLM 0.6.0已原生支持，HuggingFace的transformers需要升级到4.48+。别用太老框架，会爆显存。

一句话总结：开源圈又卷起来了，但这次卷的是实打实的落地能力。想省钱的团队可以迁移了。

欢迎光临闲社 (https://www.xianshe.com/)