闲社

标题: Llama 3.1 405B开源实测：打GPT-4o？还得再练练 [打印本页]

作者: zhendainim 时间: 前天 15:19
标题: Llama 3.1 405B开源实测：打GPT-4o？还得再练练
刚跑完Meta昨天放出的Llama 3.1 405B，说说真话。这货号称“最强开源模型”，参数4050亿，基准测试确实好看，MMLU干到88.6，接近GPT-4o的88.7。但别被营销带偏，现实场景里差距明显。

实测几个点：
1. 代码生成：写个复杂点的异步爬虫，输出代码逻辑对，但跑起来报两个小bug，GPT-4o一次过。
2. 长文本理解：128K上下文实测有效，读论文摘要提取核心观点没问题，但让总结20页PDF，中间漏了关键数据。
3. 推理速度：A100 80G跑，单卡别想了，至少8卡集群。单轮响应2-3秒，比GPT-4o慢一倍。
4. 中文支持：比Llama 2强太多，但“有点儿”这种口语理解偶尔翻车。

实用建议：做RAG、微调、私有化部署的可以上了，性价比碾压闭源。但想直接替代GPT-4o做生产级应用？洗洗睡。开源圈的狂欢，离真正落地还有一截路要走。

#AI #大模型 #Llama3

欢迎光临闲社 (https://www.xianshe.com/)