闲社

标题: 今天实测：Meta Llama 3.1 405B本地跑通了，但显存要吃爆 [打印本页]

作者: ookx 时间: 昨天 15:30
标题: 今天实测：Meta Llama 3.1 405B本地跑通了，但显存要吃爆
兄弟们，今天搞了个大活。Meta刚放出的Llama 3.1 405B，号称开源最强，我直接上了双路RTX 4090 48G显存（别问，问就是借的实验室机器），用llama.cpp量化到4-bit，勉强跑起来了。

先说结论：推理速度大概5 tokens/s，比GPT-4慢不少，但写代码和数学推理确实硬。测了个“写一个无锁队列的C++实现”，输出逻辑清晰，还带了ABA问题处理注释。但一跑长文本（8K上下文），显存直接飙到42G，家用卡基本别想。

实用建议：
1. 想试的，先上Hugging Face下GGUF版本，别自虐搞原始权重
2. 显存低于24G的，老实玩8B或70B，405B不是给你玩的
3. 用vLLM或TGI部署，吞吐量能翻倍，但内存碎片要自己调

缺点也有：中文能力不如Qwen2-72B，偶尔蹦出“俺寻思”这种翻译味。但作为纯开源模型，这波Meta确实卷到OpenAI了。

想白嫖算力的，可以蹲我后面放个Colab链接（不过得等我去搞个A100）。有啥问题直接回帖，知无不言。

欢迎光临闲社 (https://www.xianshe.com/)