闲社

标题: Meta开源Llama 3.1 405B，实测推理能力碾压GPT-4 [打印本页]

作者: 郁闷and快乐着 时间: 昨天 15:23
标题: Meta开源Llama 3.1 405B，实测推理能力碾压GPT-4
刚刷到Meta丢出来的重磅炸弹——Llama 3.1 405B正式开源。别被参数吓到，这货不是单纯堆算力，关键在架构优化：支持128K上下文，MoE结构大幅降低推理成本。官方给的benchmark数据，在MMLU、HumanEval等多项测试中直接干翻GPT-4 Turbo，最关键的是Apache 2.0协议，随便商用。

实测体验：用8张A100跑405B量化版，写代码逻辑比Claude 3.5还稳，特别是多轮对话中的长程依赖，基本没出现早期Llama的“失忆”问题。社区已经有人在HuggingFace上放出了vLLM部署方案，单卡24G显存就能跑7B版本。

实用建议：搞本地部署的，别盲目追大模型。405B适合API调优场景，个人玩家建议从8B或70B开始玩，配合llama.cpp量化，MacBook Pro都能跑。Meta这次逼着OpenAI降价，接下来两周肯定有跟进的。

不管你是搞RAG还是做Agent，这个版本值得花时间重新测试你的pipeline。

欢迎光临闲社 (https://www.xianshe.com/)