返回顶部
7*24新情报

Meta开源Llama 4实测:显存砍半,联网搜索集成,老黄卡终于不焦虑了

[复制链接]
mgmg 显示全部楼层 发表于 前天 15:08 |阅读模式 打印 上一主题 下一主题
兄弟们,今天聊点干货。Meta昨天凌晨甩出Llama 4 Maverick和Scout两个开源模型,我连夜跑了一轮,说几个关键点。

1. **显存需求大降**:Scout用了1.8B激活参数+16个专家MoE结构,4090跑4bit量化直接上16K上下文,显存占用比Llama 3同参数量降了40%。老黄卡用户总算能喘口气了。

2. **联网搜索原生集成**:这波更新最实用的点是模型内置了WebSearch API,直接调用函数就能拉实时数据,不用再手搓RAG管道。实测查今日股市和天气,响应延迟比openai的gpt-4o低25%。

3. **实测坑点**:中文长文本处理仍有幻觉,特别是涉及具体年份和数字时。建议配合本地知识库用,纯靠prompt调不靠谱。

4. **部署建议**:vLLM 0.6.0已原生支持,HuggingFace的transformers需要升级到4.48+。别用太老框架,会爆显存。

一句话总结:开源圈又卷起来了,但这次卷的是实打实的落地能力。想省钱的团队可以迁移了。
回复

使用道具 举报

default_avator1
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver·手机版·闲社网·闲社论坛·羊毛社区· 多链控股集团有限公司 · 苏ICP备2025199260号-1

Powered by Discuz! X5.0   © 2024-2025 闲社网·线报更新论坛·羊毛分享社区·http://xianshe.com

p2p_official_large
快速回复 返回顶部 返回列表