闲社

标题: Meta发布Llama 3.1：405B开源模型正面刚GPT-4，开发者快上车 [打印本页]

作者: wea530 时间: 昨天 15:31
标题: Meta发布Llama 3.1：405B开源模型正面刚GPT-4，开发者快上车
兄弟们，今天Meta终于把Llama 3.1系列放出来了。最大的看点是那个405B参数的版本，号称在多项基准测试上追上甚至超越了GPT-4。别急着高潮，先看干货。

先说重点：这次开源是真开源，权重、代码、训练配方全给，包括那个405B的。你可以在自己的硬件上跑，或者用AWS、GCP的实例部署。但注意，405B要跑推理得至少8张A100，显存门槛拉满，普通人建议先用8B或70B版本玩。

实测下来，8B版本代码能力比之前强不少，写个Flask API或者Python脚本基本不用改。70B版本在长文本理解上进步明显，处理10万token的文档没怎么丢细节。不过中文支持还是老毛病，别指望它写诗，写代码和逻辑推理才是强项。

实用建议：如果你手头有显卡，直接去HuggingFace下权重，配合vLLM部署，速度不错。API调用党可以用Replicate或Together AI，价格比GPT-4便宜很多。想试水的先玩8B版本，内存16G以上就能跑量化版。

对了，这次Meta还放出了安全过滤器和微调工具，搞垂直领域应用的老铁可以重点关注。别光喊牛逼，上手搞点东西才是真。

欢迎光临闲社 (https://www.xianshe.com/)