模型介绍
中文整理模型用途
Bunny 是一系列轻量级但功能强大的多模态模型。该系列提供多种即插即用的视觉编码器(如 EVA-CLIP、SigLIP)和语言骨干模型(包括 Llama-3-8B、Phi-1.5、StableLM-2、Qwen1.5、MiniCPM 和 Phi-2)。Bunny-v1.0-3B-zh 版本使用 MiniCPM-2B 作为语言模型,SigLIP 作为视觉编码器,专注于中文语言处理,在 MMBench-CN 测试集上达到 64.9 分。
主要能力
该模型系列支持视觉与语言的多模态理解与生成。通过使用更广泛的精选训练数据来弥补模型规模的减小带来的性能损失,Bunny-v1.0-3B 模型在性能上不仅超越了同规模的多模态大语言模型,还优于更大的 7B 模型框架,并能达到与 13B 模型相当的性能水平。
输入输出
模型接受图像和文本作为输入,输出文本回复。
运行要求
模型在 LAION-2M 数据集上进行预训练,并在 Bunny-695K 数据集上进行微调。运行需要 CUDA 支持,建议根据显存情况设置 CUDA VISIBLE DEVICES 环境变量以获得更好的执行效率。
基本用法
使用前需安装相关依赖包。具体用法可参考 ModelScope 上的代码示例。
限制
本项目使用了受各自原始许可证约束的数据集和模型检查点。用户必须遵守这些原始许可证的所有条款和条件。
许可证
本项目内容采用 Apache 许可证 2.0 授权。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
