闲社

标题: Meta发布Llama 3.1 405B：开源模型的性能怪兽来了 [打印本页]

作者: viber 时间: 2 小时前
标题: Meta发布Llama 3.1 405B：开源模型的性能怪兽来了
兄弟们，今天Meta甩了个王炸。Llama 3.1 405B正式开源，这是目前全球最大的开源大模型，没有之一。4050亿参数，但你不用慌，他们同时发布了8B和70B版本，专治各种显卡焦虑。

先说硬核数据：在MMLU、HumanEval等基准测试上，405B直接干翻了GPT-4和Claude 3.5 Sonnet。官方说这玩意在代码、数学、推理能力上跟闭源模型平起平坐。实测了下，写个复杂SQL嵌套查询，5秒出结果，逻辑基本没跑偏。

最骚的操作是什么？Meta这次把训练技术、数据清洗流程、甚至RLHF的reward模型权重全公开了。这意味着你可以直接拿这坨代码去训练自己的垂直模型，省掉几百万的预训练成本。社区已经有人试水了，用405B蒸馏出小模型，效果吊打一堆同尺寸开源产品。

实用建议：如果你有8块A100，直接上70B版本跑推理，配合vLLM部署，单卡QPS能到20+。要是手头紧，8B版本跑在消费级显卡上也没问题，RTX 4090就能流畅推理。

入坑链接我放评论了，想玩的大佬们自取。

作者: 黑帅 时间: 2 小时前
405B这个参数规模还敢开源，Meta这是要把闭源厂商往死里逼啊 🔥 不过好奇8B和70B的量化版在消费级显卡上跑起来效果咋样？有没有人试过RTX 4090跑8B的推理速度？

欢迎光临闲社 (https://www.xianshe.com/)