Qwen-VL-Chat-Finetuned-Dense-Captioner

新闻

loading..

2024-07-18开源模型**Qwen-VL-Chat-Finetuned-Dense-Captioner**

2024-07-16开源数据集**SA1B-描述-子图对**

2024-05-24开源数据集**SA1B-长文本图文描述**

模型简介

Qwen-VL-Chat-Finetuned-Dense-Captioner** 是Qwen-VL-Chat模型在生成式数据+人工数据上通过LoRA Finetuning方式得到的可以输出图片结构化描述的大模型。该模型支持输出中文或英文图片描述，支持在输入图片原始描述的基础上得到更准确细致的图片描述。

模型的输出是一个结构化的数据格式，其中**global caption**是图片的整体描述，**caption list**是一个描述列表，每一条描述和图片的某个局部相关。具体例子如下所示。更多例子可参考**快速使用**

Prompt列表

模型支持以下4种prompt，分别对应的场景如下表所示：

场景 prompt

• --- ----

输出中文描述 用中文生成输入图片内容的详细描述和图片中所有实体的描述列表。输出为格式为：{"global caption":"详细描述", "caption list":["实体A的描述", "实体B的描述", "实体C的描述", ...]}。

在原始描述的基础上输出中文描述 根据输入的图片和描述提示：###中文或英文原始描述###用中文生成图片内容的详细描述和图片中所有实体的描述列表。输出为格式为：{"global caption":"详细描述", "caption list":["实体A的描述", "实体B的描述", "实体C的描述", ...]}。

输出英文描述 Generate an English detailed description of the content of the input image and a list of descriptions for all entities in the image. The output should be in the format: {"global caption":"Detailed description", "caption list":["Description of Entity A", "Description of Entity B", "Description of Entity C", ...]}.

在原始描述的基础上输出英文描述 Given an image and some tips: ###中文或英文原始描述### related to image, generate an English detailed description of the content of the input image and a list of descriptions for all entities in the image. The output should be in the format: {"global caption":"Detailed description", "caption list":["Description of Entity A", "Description of Entity B", "Description of Entity C", ...]}.

注意：prompt中的#需要保留。

依赖项

python 3.8及以上版本

pytorch 1.12及以上版本，推荐2.0及以上版本

建议使用CUDA 11.4及以上（GPU用户需考虑此选项）

快速使用

您可以通过以下代码轻松调用：

使用协议

遵循Qwen-VL-Chat的使用协议。

局限性和免责声明

Qwen-VL-Chat-Finetuned-Dense-Captioner与其他LLM模型一样，在特定情境下可能生成不准确、带有偏见或令人不悦的内容。因此，请小心使用该模型产生的输出，切勿传播任何有害信息。

我们严正警告不得利用Qwen-VL-Chat-Finetuned-Dense-Captioner模型制作或散播有害信息，以及从事任何可能危害公众、国家安全、社会稳定或违反法律法规的活动。对于因使用Qwen-VL-Chat-Finetuned-Dense-Captioner模型而导致的任何问题，包括数据安全漏洞、公众舆情风险，或是模型被错误理解、滥用、传播及不合规使用的所有相关风险与问题，我们概不承担责任。

致谢

感谢通义千问和通义万相团队的模型开源工作。