Model details
模型介绍
中文整理简介
Vision Transformer(ViT)是一个基于 transformer 编码器模型在一个大型图像集合上以监督学习进行预训练的模型, 即 ImageNet-21k, 分辨率为 224x224 像素。图像被呈现给模型作为一系列固定大小的 patch(分辨率为16x16), 这些patch被线性嵌入。还在序列的开头添加了一个 [CLS] 标记, 用于分类任务。在将序列馈送到 Transformer 编码器的层之前, 还添加了绝对位置嵌入。需要注意的是, 该模型不提供任何精细调整的头部, 因为这些头部已被 Google 研究人员置零。然而, 模型包括预训练的池化器, 可用于下游任务(如图像分类)。通过对模型进行预训练, 它学习了图像的内部表示, 然后可以用于提取有用于下游任务的特征：例如, 如果您有一个带标签的图像数据集, 您可以通过在预训练的编码器顶部放置一个线性层来训练一个标准的分类器。通常将线性层放在 [CLS] 标记的顶部, 因为该标记的最后隐藏状态可以看作是整个图像的表示。
使用
:modelscope-code[]{type="sdk"}
维护
:modelscope-code[]{type="git"}
致谢
- An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
Problem with the information or download?
Sign in to submit feedback.
