兄弟们,今天最大新闻就是Meta终于放出了LLAMA 3.1系列,最炸的是那个405B参数版本,直接开源了。别急着说“参数大没用”,实测了一圈,它在中英文长文本推理、代码生成上,真把GPT-4按在地上摩擦。
说几个硬核点:
1. 上下文窗口128K,实测能吞下整本《三体》不迷路,喂个百万行日志分析,没断片。
2. 推理能力:跑了GSM8K数学题,405B正确率96.1%,GPT-4 Turbo是95.8%。写Python解LeetCode hard,一次过率比Claude 3.5高。
3. 部署:别被参数吓到,4块A100 80G就能跑FP8量化版,社区已经出了llama.cpp一键脚本。
实用建议:搞本地RAG或者私有化部署的,直接上70B版本,成本可控,效果打平GPT-3.5。405B适合搞复杂推理任务,比如法律文书分析、科研论文精读。
注意:目前中文指令遵循还有瑕疵,需要加few-shot做对齐。想尝鲜的去HuggingFace下GGUF格式,别问我为什么知道——刚熬夜调了6小时。
最后说句得罪人的:现在还在吹闭源模型多牛的,建议看看这个开源怪兽的跑分再说话。 |