闲社

标题: 今日重磅：多模态大模型新突破，Llama-VL框架开源，推理效率飙升5倍 [打印本页]

作者: thinkgeek 时间: 昨天 15:02
标题: 今日重磅：多模态大模型新突破，Llama-VL框架开源，推理效率飙升5倍
兄弟们，今天聊点硬核的。最近Meta团队开源了Llama-VL多模态大模型框架，直接基于Llama 3.1架构改造，把文本和图像理解统一在一个模型里，推理速度比传统ViT+LLM的拼装方案快了5倍。实测在MMBench和MMMU基准上，参数仅8B的版本就能碾压不少14B的竞品。

具体技术细节上，Llama-VL搞了个“视觉词元压缩”的黑科技：把图像切成32x32的patch后，通过动态压缩模块把视觉token从256个压到64个，同时用交叉注意力机制保留空间信息。这意味着你用它做图片问答、OCR或视频理解时，显存占用直降70%，消费级显卡也能跑起来。

更骚的是，Meta同步发布了微调工具包，支持LoRA和QLoRA，你用RTX 4090就能在10小时内微调出一个专攻医疗影像或电商识别的模型。代码和权重都在GitHub上，有空的兄弟可以去刷个PR试试。

欢迎光临闲社 (https://www.xianshe.com/)