闲社

标题: 微软Florence-2多模态模型开源：1B参数实现SOTA，推理速度提升3倍 [打印本页]

作者: xyker 时间: 2 小时前
标题: 微软Florence-2多模态模型开源：1B参数实现SOTA，推理速度提升3倍
老铁们，今天讨论一个硬核多模态大模型——微软刚开源的Florence-2。这玩意儿是专门为“视觉+语言”任务设计的，但别跟GPT-4V之流混为一谈，它的路线是“任务型”而非“对话型”，主打快速、精准的图文理解。

重点看技术细节：
1. **架构上**，Florence-2用了统一的多模态编码器-解码器框架，将图像分割、目标检测、OCR、图文检索等任务都压进一个序列生成模型里。参数仅1B左右（0.23B视觉编码器+0.77B文本解码器），比动辄几百B的模型轻量太多。

2. **预训练数据**是关键：用了9亿个图文对和5亿个图像标注任务数据，覆盖密集标注、区域描述、空间关系等。微软专门搞了个FLD-5B数据集，把文本标签和区域框对齐，这比纯CLIP式学习更细粒度。

3. **实测效果**：在COCO检测上达到62.1 mAP，比同量级模型高5个点；在OCR任务上准确率超90%。推理速度上，Florence-2在单张V100上每张图仅需0.2秒，比过去需多步微调的方法快3倍以上。

实用建议：
- 如果你做图像数据清洗或细粒度标注，可以直接用Florence-2替代传统检测+OCR流水线，省去中间模型拼接的调试成本。
- 底层任务上，Florence-2支持用户自定义prompt格式，比如“检测图中的所有红色椅子”，输出直接是JSON格式的box和标签，很方便接入生产系统。

模型已在HuggingFace开源，查“microsoft/Florence-2-large”即可。个人觉得这是目前小参数多模态模型中最实用的选择，欢迎讨论应用场景。

欢迎光临闲社 (https://www.xianshe.com/)