大模型圈周报：Llama 4要来了？Qwen2.5跑分炸场，部署成本再降

显示全部楼层

各位老铁，这周的AI大模型圈又卷出新高度了。聊聊几个值得关注的点：

🔥 **Llama 4 泄露档案**
Meta内部流出的基准测试显示，Llama 4 400B在MMLU-pro上可能干翻GPT-4 Turbo，据说推理架构换成了MoE+稀疏注意力。不过别急着高潮，训练数据里混了合成数据，实际泛化能力有待验证。建议等开源后拿H200摸一下，别被纸面分骗了。

🛠️ **Qwen2.5 72B 实测暴论**
昨天刚在8卡A100上部署了Qwen2.5 72B量化版，vLLM+FP8加持下，推理延迟比上一代降了40%。数学和代码任务确实能打，但中文长文本生成偶尔抽风，得配合RAG才稳。部署成本降到5万以内了，小团队可以冲。

💡 **vLLM 0.6.0 更新踩坑指南**
新版本支持了PagedAttention v3和异步调度，吞吐量提升30%，但建议别直接上生产——有概率爆显存。实测把max_num_batched_tokens设到4096能稳住，老铁们可以试试。

最后抛个问题：你们觉得Llama 4开源后，国内模型（比如Qwen和DeepSeek）还能保持优势吗？评论区聊聊。