Model details
模型介绍
中文整理鲁棒图像识别介绍
鲁棒图像识别要求模型在带噪声或分布外图像输入上依然返回正确分类结果。
模型描述
离散对抗训练 (Discrete Adversarial Training, DAT) 是一种针对视觉模型的鲁棒训练方法。DAT通过VQ-GAN将训练图像离散化为一组视觉词 (Visual Words),并对抗性的修改视觉词产生用于训练的离散对抗样本。通过离散对抗样本训练的模型,可在维持正常性能不下降的情况下,显著提升其鲁棒性,在对应对抗样本或者自然图像分布外图像输入时具有更好识别能力。离散对抗训练可适用于多个视觉任务 (分类,检测等),多种训练设定 (从零训练,微调等)。
本模型是基于掩码自编码器 (Masked AutoEncoder, MAE) 预训练的ViT-H/14,通过离散对抗训练 (DAT) 微调后得到的鲁棒图像识别模型。模型仅使用了ImageNet-1K数据集,通过EasyRobust框架训练。
论文链接:http://arxiv.org/abs/2209.07735
训练代码:https://github.com/alibaba/easyrobust/tree/main/examples/imageclassification/imagenet/dat
使用模型
训练数据介绍
ImageNet
模型训练流程
暂时不支持通过ModelScope接口进行训练。如您需要详细的训练流程请参照EasyRobust中的实现:https://github.com/alibaba/easyrobust/tree/main/examples/imageclassification/imagenet/dat
数据评估及结果
Model ImageNet-Val V2 C (mCE↓) R A Sketch Stylized Files
- --- :----: :----: :----: :----: :----: :----: :----: :----:
MAE-ViT-H 87.02% 78.82% 31.40 65.61% 68.92% 50.03% 32.77% ckpt
相关论文以及引用信息
如果你觉得这个该模型对有所帮助,请考虑引用下面的相关的论文:
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖,以原作者说明为准。
授权范围是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.