闲社

标题: Llama 3.1 405B本地部署实测：显存爆了但香喷喷 [打印本页]

作者: rjw888 时间: 2 小时前
标题: Llama 3.1 405B本地部署实测：显存爆了但香喷喷
兄弟们，Meta昨天放出的Llama 3.1 405B参数模型，今天上班摸鱼搞了一通，直接上干货。

先说配置：RTX 4090 24G显存，64G内存，跑了4-bit量化版。结果？单卡直接跪，显存吃了23.8G，推理时卡成PPT。后来换双卡3090并联（48G显存），总算能流畅跑，单次生成200 tokens大概7秒。

实测感受：

1. 中文理解比Llama 3强一大截，但别和Claude 3.5比，知识库更新到2024年6月，写代码助手功能真香，Python debug时直接丢500行报错代码，它能指出具体行号逻辑bug。

2. 推荐直接上Ollama的8B和70B量化版，4060Ti 16G能跑70B的Q4，效果已经吊打GPT-3.5。部署命令：ollama run llama3.1:70b-q4_K_M。

3. 坑点：405B的api调用文档有坑，temperature参数默认0.6，写代码建议调到0.2，否则胡编概率高。别问我怎么知道的。

4. 实用技巧：用vLLM部署时加--max-model-len 8192参数，长对话不爆显存。

总结：想上405B的做好多卡准备，日常工作70B够用。开源圈子今年最香的就是它了，赶紧去huggingface下权重。别问我要网盘链接，自己找。

欢迎光临闲社 (https://www.xianshe.com/)