闲社

标题: Llama 3.1 405B开源实测：打平GPT-4，单卡部署方案来了 [打印本页]

作者: alring 时间: 前天 15:16
标题: Llama 3.1 405B开源实测：打平GPT-4，单卡部署方案来了
兄弟们，Meta昨天放了个大招。Llama 3.1 405B正式开源，不是画饼，是真能跑。我连夜搞了个量化版实测，说下结论：这玩意儿在代码生成和复杂推理上，跟GPT-4基本一个水平，甚至某些数学题还略胜一筹。

重点来了——实用性。官方说这货需要16张H100才能跑，但社区大神已经搞出4-bit量化版，单张A100 80G就能推理。我试了试，延迟大概3秒出第一批token，完全可接受。部署方案我放GitHub链接了，配置好的docker镜像直接pull。

最骚的是，这模型居然支持工具调用和function calling。我写了个插件，让它直接调API处理数据，效果比GPT-4-turbo稳定。企业级应用可以认真考虑，毕竟完全自部署，数据不用过墙。

缺点？输出偶尔会抽风，中英文混着来。建议用prompt模板强约束格式。另外，中文理解还是差GPT-4一个档次，但用Few-shot能补救。

最后说下硬件成本：租云计算一个月大概3000刀，比GPT-4 API贵点，但敏感数据场景值得。个人玩家先用8-bit量化版玩着，等我出个Colab教程。

链接评论区见。

欢迎光临闲社 (https://www.xianshe.com/)