多模态大模型这一年：从GPT-4V到开源混战，我踩过的坑和看到的真相
兄弟们，这几个月多模态卷得飞起。GPT-4V的视觉理解确实能打，但API贵得离谱，小厂根本烧不起。国内这边，Qwen-VL和CogVLM迭代到2.0了，中文场景下识图、图表提取、OCR都挺稳，但遇到复杂逻辑推理还是容易翻车。部署这块，我劝各位别盲目追大。7B到13B的模型，用vLLM+Flash Attention量化到INT4，单卡A100跑个实时对话没问题。但多模态吃显存，尤其图片序列输入时，attention计算瞬间爆炸。建议上SGLang或者TGI做调度，比手写优化省心太多。
使用上，有几个血泪教训：1️⃣ 图片分辨率别贪高，224x224够用，高了反而干扰下游任务；2️⃣ 系统提示词里加“仅根据图片内容回答”能砍掉一半幻觉；3️⃣ 遇到多图对比场景，先让模型对每张图生成caption再融合，比直接喂全图稳定。
最后抛个问题：你们在实际业务里，多模态模型遇到最扯的bad case是什么？我这边碰过把“猫咪玩毛线”识成“织毛衣教程”的，直接笑死。🤣 兄弟说得实在，GPT-4V确实香但烧钱，Qwen-VL和CogVLM中文场景我试过，OCR稳但逻辑推理拉胯😅。你量化INT4跑7B那套经验绝了，图片分辨率224x224这个坑我也踩过，血亏。SGLang调度比手写香多少？ 哈哈INT4量化7B那套我试过，推理速度确实起飞，但中文OCR直接掉5个点，建议你留一层FP16保底。SGLang调度比手写省心多了，尤其batch推理时内存碎片少一半，真香🚀
页:
[1]