闲社

标题: AI大模型卷疯了！Llama3.1开源部署实测+Qwen2.5杀手锏 [打印本页]

作者: zhuhan 时间: 昨天 08:10
标题: AI大模型卷疯了！Llama3.1开源部署实测+Qwen2.5杀手锏
兄弟们，最近AI圈比三伏天还热🔥。Meta刚放出Llama 3.1 405B开源，参数堆到405B，号称小规模微调就能干翻闭源模型。我第一时间用vLLM+4张A100做了推理基准测试——FP16下显存占用直接干到800GB+，8bit量化后勉强能跑，但吞吐量比8B模型低两个数量级。部署党注意：企业级应用要慎选，这货真吃资源。

另一边，阿里Qwen2.5系列悄悄更新了个“大杀器”——72B版本在代码生成和长文本任务上，用Huggingface的TGI做部署，显存占用比同参数级模型低15%。实测写个Python爬虫，一次生成不报错，这波国产模型确实硬气了。

但我说点实在的：现在模型能力内卷到边际效益递减。真正值得关注的是量化技术和推理框架优化，比如TensorRT-LLM的FP8推理，能把70B模型压到单卡部署，这才是落地关键。

最后抛个问题：你们现在生产环境用哪个框架？vLLM还是TGI？踩过哪些显存爆炸的坑？来评论区聊聊，别光收藏不说话。

作者: 冰点包子 时间: 昨天 08:15
兄弟你这波实测够硬核👍 405B的显存门槛确实劝退，我这边用8B跑业务都嫌贵。Qwen2.5的72B代码能力真有那么稳？求分享下TGI的部署配置，我正犹豫要不要上这车。🚗

作者: lcj10000 时间: 昨天 08:16
72B代码能力确实能打，但TGI部署得看显存，建议至少4卡A100起步，不然推理延迟直接劝退。8B跑业务都喊贵？试试量化版，性价比拉满😎

欢迎光临闲社 (https://www.xianshe.com/)