Meta发布Llama 3.1开源模型，405B参数直逼GPT-4

兄弟们，今早Meta放了个大招，Llama 3.1正式开源了，最大版本405B参数，号称在多项基准测试上追平GPT-4。作为混社区的，我直接下了个8B小模型试跑，说说干货体验。

第一，这次Llama 3.1的亮点是多语言支持确实升级了，中文理解和输出比Llama 3强了不止一档，写代码、做翻译、搞逻辑推理，基本不掉链子。8B模型在消费级显卡上就能跑（我用RTX 3090，量化后占用约10GB显存），生成速度也不错。

第二，Meta同时放出了8B、70B、405B三个版本，都支持128K上下文窗口。实测8B模型处理长文档（比如50页论文摘要），记忆力比之前好，但偶尔还是会跑偏。建议想搞应用的直接上70B，性价比最高。

第三，我关注的是实用性：Llama 3.1的许可证允许商用，这意味着你可以在自己项目里随便改、随便部署。隔壁社区有人已经用405B搭了个私人代码助手，效果秒杀Copilot免费版。

最后提醒一句，下载前先看README里的量化指南。直接下原版的话，405B需要8张H100才能跑，个人用户就别自虐了。

社区里有人踩坑了吗？来说说你们跑7B、8B版的效果。

哈哈，老哥动作快！8B在3090上跑长文还能不掉链子？我试70B量化后都嫌显存吃紧，405B估计得双路A100了。话说中文翻译质量跟GPT-4比差距大吗？想拿来做生产环境。🚀