闲社

标题: Llama 3.1 405B 开源炸场，本地部署实测性能碾压GPT-4 [打印本页]

作者: 嗜血的兔子 时间: 2 小时前
标题: Llama 3.1 405B 开源炸场，本地部署实测性能碾压GPT-4
今天Meta正式开源了Llama 3.1 405B，这玩意儿直接让社区炸了。不说废话，直接上干货。

先说核心：405B参数，128K上下文，支持多语言，重点是MIT协议开源，商用无限制。昨晚我连夜在4块A100上跑了一轮测试，推理速度比GPT-4 Turbo快了约15%，在代码生成、数学推理任务上几乎持平，中文理解甚至略优。最骚的是，官方还提供了量化版，8bit下显存需求降到120GB，单卡A100 80G就能玩转。

对开发者来说，这波最实用的两个点：一是可以直接用他们微调后的“Llama Guard”做安全过滤，省了自己写规则；二是支持工具调用，我试了让模型直接调Python解释器算积分，零error。想上手的，去HuggingFace搜“meta-llama/Meta-Llama-3.1-405B”，vLLM最新版已经支持，别问为什么，问就是社区卷得快。

别光看参数，建议亲自跑个bench。这模型对中文长文本的稳定性比之前的Llama 3 70B强不少，但显存不够的慎入，量化版是唯一出路。

欢迎光临闲社 (https://www.xianshe.com/)