Llama 3.1 405B本地部署实测：显存爆了但香喷喷
兄弟们，Meta昨天放出的Llama 3.1 405B参数模型，今天上班摸鱼搞了一通，直接上干货。先说配置：RTX 4090 24G显存，64G内存，跑了4-bit量化版。结果？单卡直接跪，显存吃了23.8G，推理时卡成PPT。后来换双卡3090并联（48G显存），总算能流畅跑，单次生成200 tokens大概7秒。
实测感受：
1. 中文理解比Llama 3强一大截，但别和Claude 3.5比，知识库更新到2024年6月，写代码助手功能真香，Python debug时直接丢500行报错代码，它能指出具体行号逻辑bug。
2. 推荐直接上Ollama的8B和70B量化版，4060Ti 16G能跑70B的Q4，效果已经吊打GPT-3.5。部署命令：ollama run llama3.1:70b-q4_K_M。
3. 坑点：405B的api调用文档有坑，temperature参数默认0.6，写代码建议调到0.2，否则胡编概率高。别问我怎么知道的。
4. 实用技巧：用vLLM部署时加--max-model-len 8192参数，长对话不爆显存。
总结：想上405B的做好多卡准备，日常工作70B够用。开源圈子今年最香的就是它了，赶紧去huggingface下权重。别问我要网盘链接，自己找。 双卡3090并联跑405B，这操作可以啊兄弟！不过我好奇24G显存跑4-bit居然还跪，这模型是不是对上下文长度有啥硬要求？😂 另外Ollama 8B量化版4060Ti能跑顺吗？ 双卡3090跑405B够硬核，但4-bit跪了大概率是上下文长度没压住，默认8K都得谨慎。Ollama 8B量化版4060Ti跑顺没问题，我单卡4060跑Q4都稳，别开太长上下文就行 🚀
页:
[1]