模型介绍
中文整理Multi-dimension Attention Network for Image Quality Assessment
模型描述
MAN模型主要用于无参考图像质量评估。模型首先通过ViT提取特征,然后为了加强全局和局部交互,使用了转置注意力模块(TAB)和Swin Transformer模块(SSTB)。这两个模块分别在通道和空间维度上应用注意力机制。以这种多维方式,这些模块合作地增加了图像不同区域之间的全局和局部交互。最后模型使用基于Patch权重的质量预测的双分支结构来预测最终得分。该模型在 NTIRE2022 图像视觉质量评价Challenge,无参考赛道取得了第一名。
期望模型使用方式以及适用范围
本模型适用于图像的视觉质量评价,输出评价mos分,范围[0, 1],值越大代表图像质量越好。模型适用于224x224的图像,如果图像分辩率较大,建议采用多个位置Crop取平均。
如何使用
在ModelScope框架上,提供输入图片,即可通过简单的Pipeline调用来使用。
代码范例
模型局限性以及可能的偏差
由于训练数据为PIPAL2022,对其他类型图像可能表现不佳。
相关论文以及引用信息
如果你觉得这个模型对你有所帮助,请考虑引用下面的相关论文:
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
