模型详情
模型介绍
中文整理# ViSFT 模型卡片
## 模型名称
ViSFT（Vision Supervised Fine-tuning）
模型用途
ViSFT是一个两阶段监督微调方法，旨在释放视觉基础模型的细粒度知识，提升模型在视觉和视觉-语言任务上的表现。
## 主要能力
- 零样本图像分类
- 零样本图像-文本检索
- OCR光学字符识别
- 定位目标识别
- 视觉问答VQA
- 图像描述生成（NoCaps数据集）
运行要求
- 硬件：8块NVIDIA Volta V100-SXM2-32GB GPU
- 框架：PyTorch 1.12 + CUDA 11.3
- 依赖：xformers、loralib、MSDeform（用于Mask2former头）
- 训练时间：少于2天
- 模型规模：超过4.4B参数的视觉Transformer
基本用法
训练分为两个阶段：
- *第一阶段**：训练领域内任务头
- 为EVA-ViT-G或EVA-ViT-E模型准备权重
- 分别为Caption、Segment、Detection任务训练独立的头部
- *第二阶段**：联合微调
- 在第一阶段权重基础上进行视觉联合学习
- 可使用LoRA方法提取和加载微调权重
## 评估基准
模型在多个领域外基准上进行了测试，包括视觉和视觉-语言场景。
许可证
未明确提供许可证信息。
## 致谢
代码基于mmf、EVA和LAVIS的官方实现。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。
