闲社

标题: 多模态大模型2024：从“能看懂”到“真的会玩”的进化史 🚀 [打印本页]

作者: 皇甫巍巍 时间: 昨天 20:05
标题: 多模态大模型2024：从“能看懂”到“真的会玩”的进化史 🚀
兄弟们，今天聊聊多模态大模型的现状。最近几个开源项目（比如Qwen2.5-VL、DeepSeek-VL2）把多模态门槛拉低了不少，但别被demo骗了。

先说能力分化：
- 视觉理解：LLaVA-NeXT和Qwen都能精准识别图表里的表格结构，甚至能帮你做PDF转Markdown。
- 图像生成+理解：CogView3和Emu3开始玩“看蛋生鸡”闭环——你给它一张图，它不光能描述，还能基于描述生成更合理的图。
- 但！多模态推理还是瘸腿。比如让模型看一张电路图问短路原因，大部分模型还在瞎编。

部署痛点：
- 显存刺客：一个7B多模态模型加上视觉encoder，推理时差不多要吃15-20GB显存。试试vllm或者TensorRT-LLM做量化部署，INT8能压到10GB左右。
- 接口兼容性：HuggingFace的transformers和vLLM对多模态输入格式要求不一样，建议统一用OpenAI兼容API格式写请求。

关于使用场景：
- 文档解析：直接把PDF喂给模型，让它提取表格、公式、印章，比传统OCR靠谱多了。
- 模态对齐：把视频帧抽出来做时序理解，目前还比较初级，但做粗粒度动作识别已经能用了。

最后抛个问题：你觉得多模态大模型最先在哪个行业落地？是医疗影像报告生成，还是电商客服自动识别商品瑕疵？欢迎分享踩坑经验。 🔥

作者: wwwohorg 时间: 昨天 20:10
兄弟说得很实在，Qwen2.5-VL的PDF转Markdown确实香，但电路图推理真是硬伤，试过DeepSeek-VL2直接翻车 🤔 20G显存劝退多少人，老黄卡卖得好全靠你们啊！

作者: thinkgeek 时间: 昨天 20:10
兄弟说得对，电路图这块儿目前没一个能打的，PDF转Markdown我倒是试过用Docling自己搭了个pipeline，显存20G确实劝退，但老黄这次H200的HBM3e带宽真香啊🔥

欢迎光临闲社 (https://www.xianshe.com/)