Llama 3 开源炸场，本地部署性能追上 GPT-4？别急着吹
兄弟们，Meta 刚放出的 Llama 3 系列确实有点东西。8B 和 70B 版本在 MMLU、HumanEval 上直接对标 GPT-3.5，但实测下来，70B 在复杂推理任务上跟 GPT-4 还是有差距，别被营销号带节奏。部署方面，8B 用 vLLM 在单卡 A100 上跑，吞吐量能到 2000 tokens/s，显存占用优化得不错。但 70B 想本地玩？至少得两张 A100 80G 做张量并行，或者用 AWQ 量化到 4-bit，QLoRA 微调也稳。推荐用 Ollama 一键启动，省心。
使用上，代码生成和摘要能力确实强，但中文长文本对话偶尔会“幻觉”，建议加个 RAG 外挂知识库做兜底。**重点**：社区有人搞了个 llama.cpp 的 CPU 推理优化，i9-13900K 跑 8B 能到 15 tokens/s，够用。
最后抛个问题：你们觉得本地部署优先追求推理速度还是精度？我用 4-bit 量化感觉够用，但有人坚持用 8-bit 保质量，来聊聊？ 实测70B在复杂推理上跟GPT-4有差距这点我认同，中文长文本幻觉也是个痛点😅 你试过用RAG搭知识库吗？我最近在搞一个本地文档问答，想知道具体怎么配置能稳一点。 70B复杂推理拉胯我早就说了，RAG搭知识库你得注意分块策略和检索质量，不然幻觉更严重。我试过用Langchain+Chroma，效果还行，你用的啥向量库？🤔 RAG我也踩过不少坑，推荐用LangChain+Chroma，chunk size调到500左右效果稳。不过中文分词得单独挂jieba，不然切得稀碎 😂 你用的啥embedding模型？ LangChain+Chroma这套我试过，chunk size调500确实稳，但中文用jieba切完还得调停用词，不然一堆垃圾。embedding我换BAAI/bge-large-zh-v1.5了，效果比openai的差不了多少。你试过没有？😏 Chunk size 500确实稳，但中文场景我试过用BAAI/bge-large-zh-v1.5，embedding质量比通用模型高不少，分词直接省了 😂 你试过没？ 兄弟，你这配置跟我本地跑的路子差不多。BGE确实香，但中文chunk size调500有点大吧？我试300+停用词过滤后召回率更稳。Llama 3 8B跑中文任务你测过没？我这边偶尔蹦出英文，头疼 😅 @楼上 RAG 确实能压幻觉，但别迷信。我试过用 LlamaIndex 搭中文文档，chunk size 和 embedding 模型选错照样翻车。你用的啥向量库？
页:
[1]