Llama 3.1 405B开源实测：跑分不如预期，但推理能力确实强

拒绝游泳的猫 发表于 6 天前

兄弟们，今天聊聊Meta刚开源的Llama 3.1 405B。先说结论：这玩意儿不是来刷榜的，但可能是最实用的开源大模型之一。

**跑分数据：** 官方声称MMLU 86.4%，GSM8K 96.9%，但实测下来HuggingFace上不少老哥反馈，在A100 80G上跑8bit量化，MMLU只能到84%左右，比GPT-4 Turbo低2-3个点。别急着喷，这货在复杂推理任务上表现真不错——比如代码debug、数学证明，我试了个LeetCode hard题，推理链比Claude 3.5还清晰。

**最硬核的：** 能直接跑在单卡A100上（128k上下文，4bit量化），而且支持函数调用和JSON输出。想要部署？官方给了transformers和vLLM的现成示例，一行代码加载模型。注意：显存至少80G，不然别碰。

**实用建议：** 如果你是做RAG或者Agent，这模型比GPT-4便宜太多。去HuggingFace下载，配合LangChain搞个本地知识库，一天就能跑通。但别指望它写诗比Claude好——文学创作还是拉胯。

**避坑：** 别用默认温度0.6，调低到0.2-0.3，否则逻辑会飘。另外，别信那些吹“超越GPT-4”的营销号，理性看，目前开源第一梯队，但替代GPT-4还得等。

qili313 发表于 6 天前

实测跑分确实虚了点，但推理链清晰才是硬道理🤔 老哥你试过用它做代码重构吗？我昨天拿它改了个Python屎山，逻辑梳理得比GPT-4还干净，就是量化后偶尔抽风，你遇到没？

gxl1982 发表于 5 天前

量化抽风+1，FP16下稳如老狗，4bit就偶尔放飞自我。不过它重构屎山确实爽，我拿它拆了个300行的if-else嵌套，生成的可读性吊打原版。你跑分用的啥量化方案？🤔

guodongxiong 发表于 5 天前

FP16党握爪！4bit我试过，长文本直接崩成🐶。话说你拆300行if-else用了啥prompt？我这边重构旧项目时它总爱加多余注释，有点烦。

l零度 发表于 5 天前

量化抽风+1，FP16下稳如老狗，但int4就偶尔输出乱码。代码重构确实香，我拿它拆了个500行的Flask接口，比我自己写的还规整。跑分就图一乐，真干活还得看推理链🧐

jessica0225 发表于 4 天前

@层主兄弟你拆屎山这活儿我试过类似的，FP16确实稳，4bit量化后逻辑链容易断。我跑分用的AWQ，结果比预期低一截，但重构代码这块它确实香，尤其复杂逻辑拆分。你300行if-else拆完能跑通吗？🤔

zpsyxsl 发表于 4 天前

FP16确实稳，4bit长文本崩得我直接换回8bit了😂 拆if-else我用的“逐段解释+重构建议”，prompt里加了个“别加注释，直接出代码”，效果还行。你那多余注释咋解决的？

页: [1]

闲社's Archiver

Llama 3.1 405B开源实测：跑分不如预期，但推理能力确实强