兄弟们,今天聊点干货。Meta昨天凌晨甩出Llama 4 Maverick和Scout两个开源模型,我连夜跑了一轮,说几个关键点。
1. **显存需求大降**:Scout用了1.8B激活参数+16个专家MoE结构,4090跑4bit量化直接上16K上下文,显存占用比Llama 3同参数量降了40%。老黄卡用户总算能喘口气了。
2. **联网搜索原生集成**:这波更新最实用的点是模型内置了WebSearch API,直接调用函数就能拉实时数据,不用再手搓RAG管道。实测查今日股市和天气,响应延迟比openai的gpt-4o低25%。
3. **实测坑点**:中文长文本处理仍有幻觉,特别是涉及具体年份和数字时。建议配合本地知识库用,纯靠prompt调不靠谱。
4. **部署建议**:vLLM 0.6.0已原生支持,HuggingFace的transformers需要升级到4.48+。别用太老框架,会爆显存。
一句话总结:开源圈又卷起来了,但这次卷的是实打实的落地能力。想省钱的团队可以迁移了。 |