模型介绍
中文整理HybridFormer通用图像分类模型介绍
采用ImageNet-1K数据训练,用于识别1000类通用物体。
创空间快速可视化展示: HybridFormer图像分类-通用
模型描述
HybridFormer为CNN与Transformer混合模型,由两个主要构建块组成,即局部Convolution块(LCB)和全局Transformer块(GTB)。HybridFormer集成了改进的多核卷积(MKCA)和跨头自注意力(CHSA)的优点,以平衡冗余和依赖性,实现有效和高效的表示学习。
HybridFormer相关论文
HybridFormer论文
HybridFormer Github
HybridFormer Github
期望模型使用方式以及适用范围
本模型适用范围较广,支持ImageNet 1000类物体识别,也可作为下游任务的预训练backbone
如何使用
在ModelScope框架上,提供输入图片,即可通过简单的Pipeline调用来使用。
代码范例
数据评估及结果
模型在ImageNet-1k val上进行测试,结果如下:
Model #Params(M) FLOPs(G) Top-1(%) Reference
- ---------------------- ----------- ---------- -------- ---------
LIT-S 27 4.1 81.5 AAAI22
CrossFormer-S 30.7 4.9 82.5 ICLR22
iFormer-S 20 4.8 83.4 NeurIPS22
CETNet-T 23 4.3 82.7 ECCV22
DaViT-Tiny 28.3 4.5 82.8 ECCV22
ScalableViT-S 32 4.2 83.1 ECCV22
MixFormer-B4 35 3.6 83.0 CVPR22
DAT-T 29 4.6 82.0 CVPR22
MViTv2-T 24 4.7 82.3 CVPR22
NAT-T 28 4.3 83.2 CVPR23
UniFormer-S 22 3.6 82.9 TPAMI23
- *HybridFormer-S (ours)** **21.6** **4.3** **83.4**
RegionViT-M 41.2 7.4 83.1 ICLR22
CETNet-S 34 6.8 83.4 ECCV22
MOAT-0 27.8 5.7 83.3 ICLR23
MViTv2-S 35 7.0 83.6 CVPR22
NAT-S 51 7.8 83.7 CVPR23
PaCa-Small 22.0 5.5 83.1 CVPR23
InternImage-T 30 5.0 83.5 CVPR23
- *HybridFormer-B (ours)** **29.9** **6.2** **83.8**
LIT-M 48 8.6 83.0 AAAI22
CrossFormer-B 52.0 9.2 83.4 ICLR22
DaViT-Small 49.7 8.8 84.2 ECCV22
ScalableViT-B 81 8.6 84.1 ECCV22
DAT-S 50 9.0 83.7 CVPR22
MOAT-1 41.6 9.1 84.2 ICLR23
PaCa-Base 46.9 9.5 84.0 CVPR23
InternImage-S 50 8.0 84.2 CVPR23
UniFormer-B 50 8.3 83.9 TPAMI23
- *HybridFormer-L (ours)** **38.3** **8.0** **84.2**
LIT-B 86 15.0 83.4 AAAI22
RegionViT-B 72.7 13.0 83.2 ICLR22
CrossFormer-L 92.0 16.1 84.0 ICLR22
CETNet-B 75 15.1 83.8 ECCV22
DaViT-Base 87.9 15.5 84.6 ECCV22
ScalableViT-L 104 14.7 84.4 ECCV22
MViTv2-B 52 10.2 84.4 CVPR22
DAT-B 88 15.8 84.0 CVPR22
NAT-B 90 13.7 84.3 CVPR23
- *HybridFormer-H (ours)** **55.2** **11.6** **84.6**
该模型当前使用的是默认介绍模版,处于“预发布”阶段,页面仅限所有者可见。
请根据模型贡献文档说明,及时完善模型卡片内容。ModelScope平台将在模型卡片完善后展示。谢谢您的理解。
Clone with HTTP
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.
