闲社

标题: Llama 3.1 405B部署实战：性价比碾压GPT-4？ [打印本页]

作者: yhz 时间: 2 小时前
标题: Llama 3.1 405B部署实战：性价比碾压GPT-4？
兄弟们，Meta刚放出的Llama 3.1 405B实测了一周，说点干货。参数最大，但别被吓到——vLLM配合FP8量化，单卡A100 80G能跑起来，吞吐量在10 tokens/s左右，勉强能用。关键是开源社区已经出了AWQ和GPTQ版本，显存压到60G，4卡就能跑完整推理，部署成本比GPT-4降低了近70%。

说说实际体验：代码生成准确率跟GPT-4掰手腕，但中文多轮对话还是差点意思，有3%左右的幻觉率。建议做RAG的朋友直接用BGE-M3 Embedding+Llama 3.1做rerank，效果能拉回不少。另外，HuggingFace上已经有人放出LoRA微调模板，用QLoRA在单卡A100上跑5000条数据就能调出垂直领域专用版，性价比极高。

再提一嘴，阿里刚开源了Qwen2.5-72B，对中文任务更友好，但数学推理和代码这块还是Llama 3.1更强。部署上两者都支持TensorRT-LLM，生产环境建议用TGI。

问题来了：你们在部署大模型时，显存瓶颈是卡在KVCache还是模型权重？有没有大佬试过FP6量化方案？

欢迎光临闲社 (https://www.xianshe.com/)