All systems operationalAI Agent Automation Platform
English
Language简体中文EnglishSelected

Choose your language

SceneVTG

Kpillow/SceneVTG

PublisherKpillow

Download access requirementsModelScope source

SceneVTG自然场景视觉文本图像生成 在视觉文本相关领域,自然场景文本图像是最具挑战的研究目标之一。然而,获取足够真实的自然场景文本图像是十分困难的。其中,有三个重要的方面需要考虑,分别是保真性(fidelity)、合理性(Reasonability)和可用性(Utility)。现有的自然场景文本图像生成方法主要分为传统的基于渲染的方法(Rendering-based)和基于扩散模型的方法(Diffusion-based),它们在这三个方面上都存在或多或少的缺陷。因此,我

Image Generation
Model details

模型介绍

中文整理

SceneVTG自然场景视觉文本图像生成

在视觉文本相关领域,自然场景文本图像是最具挑战的研究目标之一。然而,获取足够真实的自然场景文本图像是十分困难的。其中,有三个重要的方面需要考虑,分别是保真性(fidelity)、合理性(Reasonability)和可用性(Utility)。现有的自然场景文本图像生成方法主要分为传统的基于渲染的方法(Rendering-based)和基于扩散模型的方法(Diffusion-based),它们在这三个方面上都存在或多或少的缺陷。因此,我们将高质量的自然场景文本图像生成拆解为两步,提出了一种两阶段的生成方法SceneVTG,在一阶段采用多模态大模型(MLLMs)获得文本的合理位置和内容,在第二阶段在局部应用条件扩散模型(CDMs)渲染高质量的文本。此外,我们还构建了数据集SceneVTG-Erase,包含155K的自然场景文本图像及擦除对,希望对此领域的相关研究带来更多的帮助。

代码链接:https://github.com/AlibabaResearch/AdvancedLiterateMachinery/tree/main/AIGC/SceneVTG

论文链接:https://arxiv.org/abs/2407.14138

数据集链接:https://modelscope.cn/datasets/Kpillow/SceneVTG-Erase

模型介绍

SceneVTG分为两个阶段:文本区域和内容生成器(TRCG)和局部视觉文本渲染器(LVTR)。

文本区域和内容生成器(TRCG)

多模态大模型在视觉推理中展示出强大的能力,我们微调多模态大模型,使其注重于预测文本的合理位置和内容的任务。具体地,我们将此任务分为两步,第一步预测文本的合理中心点和内容,第二步再根据中心点和内容确定框的大小。两步的设计符合大语言模型CoT的思想并可以输出更加准确的框。此外,为了更好的模拟真实场景,TRCG可以基于贝塞尔曲线生成曲线文本框。

文本区域和内容生成器(TRCG)

当前的扩散模型专注于一次性生成整图,难以模拟真实场景中的复杂特性,尤其是较小的文本。LVTR将整图生成解耦成局部图像生成再融合的过程,可以有效地生成任意尺度的文本。此外,采用一阶段输出的框信息获得图像级条件,文本信息获得特征级条件,从而提升生成文本在位置上和内容上的准确性。最后还提出前景损失函数和背景损失函数,进一步提升文本内容在语义层面的准确性和融合过程在像素层面的一致性。

局部视觉文本渲染器(LVTR)

本模型有两种推理方式:

  • 输入背景图(可带文字),模型将在一阶段输出可渲染文本的区域和内容,并通过二阶段进行渲染。(对应论文中End-to-end Inference)
  • 输入背景图(可带文字)和需要渲染文字的区域和内容,仅通过二阶段进行渲染。(对应论文中Local Image Generation)

使用方式

ModelScope中仅提供模型下载,请参考AdvancedLiterateMachinery中进行训练和推理。注意将本处的模型复制到训练代码的相应位置中。

可视化

模型局限性以及可能得偏差

由于训练数据的原因,当前模型仅支持英文,文字颜色等属性暂不可控;

有一定概率二阶段会出现文本生成不准确的问题;

有一定概率会出现因为一阶段的框位置不合理而使二阶段生成失败的问题。

训练数据介绍

本模型的训练数据集为SceneVTG-Erase,包含155K自然场景图片及其擦除图像,对应约1.92M文本行。来源为两部分,1). 开源的自然场景文本擦除数据集SCUT-EnsText;2). 自然场景开源数据集CTW-1500, ICDAR-2013, ICDAR-2015, TextOCR, TotalText, HierText和UberText,我们使用先进的自然场景擦除方法CTRNet对这些数据集进行擦除,并通过DiffBIR平滑擦除区域,最终获得质量较高的擦除图像。

模型评测指标

我们通过多种指标分别评价了模型的保真性(fidelity)、合理性(Reasonability)和可用性(Utility),详细的指标介绍和实验分析请参考我们的论文。

相关论文及引用信息

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

Back to top