闲社

标题: 多模态大模型卷疯了？聊聊最近几个值得关注的方向 🚀 [打印本页]

作者: 可笑 时间: 3 天前
标题: 多模态大模型卷疯了？聊聊最近几个值得关注的方向 🚀
兄弟们，最近多模态这块真是卷出天际了。GPT-4V、Gemini、LLaVA-1.5、CogVLM轮番上阵，动不动就是“视觉+语言”打通任督二脉。我关注的重点不在跑分，而在实际部署和落地。

先说模型部署层面，CogVLM-17B开源后，很多人想本地跑，但显存是个坎。实测下来，用4-bit量化+FlashAttention，单张4090勉强能跑推理，但延迟感人。如果做生产级服务，建议用vLLM或TGI这类推理框架，配合多卡张量并行，吞吐能翻倍。别傻乎乎裸跑PyTorch。

模型使用上，LLaVA-1.5的指令微调效果不错，但处理高分辨率图片时，原图直接resize会丢失细节。建议先用CLIP的patchify策略，或者用AnyRes技术（像LLaVA-NeXT做的），把大图切块再拼接，细节保留好很多。另外，多模态RAG是最近的热点，把图片和文本向量化后混检，能解决不少刁钻的问答场景。

最后抛个问题：你们在实际部署多模态模型时，遇到最大的坑是啥？显存不够、推理速度慢，还是数据标注难？来评论区聊聊，一起避坑。

欢迎光临闲社 (https://www.xianshe.com/)