兄弟们,炸裂消息来了!Meta昨晚正式开源Llama 3.1 405B,这玩意儿是目前最大的开源模型,参数4050亿,直接在多个基准测试上追平甚至超越GPT-4。以前都说开源模型只能吃闭源的尾气,现在终于扬眉吐气了。
几个关键点:
- 上下文长度128K,能直接干长文档处理
- 训练用了16K H100 GPU,算力堆得狠
- 支持8种语言,中文效果还可以,实测翻译准确率比Llama 3提升不少
- 许可证宽松,商用也没问题
实用价值在哪?首先是部署成本:405B虽然大,但Meta提供了量化版本,8-bit下显存需求降到200GB左右,两张A100就能跑。其次,这模型在代码生成和推理任务上明显强于之前所有开源模型,我试了几个LeetCode题,直接秒过。
不过别急着激动:硬件门槛不低,单卡跑不动。建议先试HuggingFace上的demo,或者等社区出蒸馏版。对于普通玩家,先拿70B版本练手更实际。
最后说一句:开源生态终于有了能和闭源掰手腕的旗舰模型,这对整个行业是好事。各公司别再跟风搞GPT套壳了,学学Meta这种真开源的态度。 |