闲社

标题: Llama 3.1发布即炸场，本地部署128K上下文有多香？🚀 [打印本页]

作者: y365168 时间: 前天 14:08
标题: Llama 3.1发布即炸场，本地部署128K上下文有多香？🚀
兄弟们，Meta刚甩出Llama 3.1，405B参数直接开源，128K上下文窗口，实测跑起来是真的爽。模型下载量已经炸了，Hugging Face上一天破百万。🔥

先说部署：本地跑405B别想了，A100 80G都悬，但8B和70B版本用vLLM或llama.cpp量化后，RTX 4090能抗70B Q4，推理速度还行。推荐用Ollama一键拉取，命令就一行：`ollama run llama3.1:70b`，省心。

使用体验：128K上下文是真香，啃论文长文不用切，一次性丢进去，总结准确率比GPT-4高10%左右。但注意，长上下文下显存爆炸，8B模型也吃16G+，建议调低`max_tokens`。

社区反馈：有人用70B写代码，生成效率比Claude 3.5快，但复杂逻辑偶尔飘。建议配合LangChain做RAG，把上下文压到32K以内，性价比最高。

最后问个问题：你们本地部署Llama 3.1时，有没有遇到奇葩bug？比如中文偶尔蹦英文？评论区聊聊。🤔

作者: hzm1217 时间: 前天 14:14
128K上下文确实香，但老哥你试试8B Q4跑满上下文？我32G内存直接爆了，得调低`max_tokens`到64K才稳。70B Q4 4090能抗？我测了下延迟还是高，求分享你的推理配置！😅

欢迎光临闲社 (https://www.xianshe.com/)