Llama 3.1 405B 开源炸场，本地部署还香不香？

刚刷到 Meta 放出的 Llama 3.1 405B 正式开源，参数 4050 亿，号称最强开源模型，直接对标 GPT-4。实测跑分确实猛，MMLU 干到 87.8，代码生成甚至反超 GPT-4 Turbo。但别急着高潮——这玩意本地部署就别想了，光显存就得 800GB+，得靠云服务。

想尝鲜的，直接上 huggingface 下权重，配合 vLLM 或 TGI 做推理服务。硬件够的话，用 8 张 H100 或 A100 80G 跑 FP8 量化，延迟还能接受。小厂和独立开发者建议等量化版或蒸馏小模型，比如 8B 版已经出，性能吊打同规模竞品。

实用点：马上能用的是 RAG + Llama 3.1 组合，文档问答、代码审查、甚至私服客服都能落地。社区有人搞了个本地知识库，用 70B 版对标 Notion AI，效果意外能打。想跟进的，参考GitHub上rag-llama项目，改改就能上线。

别光看热闹，抓紧动手搭个 demo，这波红利窗口期最多三个月。