模型介绍
中文整理# Open-MAGVIT2
模型用途
Open-MAGVIT2 是一个用于视觉生成任务的强大 tokenizer(分词器),专为自回归视觉生成任务设计。
## 主要能力
MAGVIT2 引入了创新的 LookUpFree 量化技术,将 codebook 规模扩展至 2^18,在图像和视频生成任务中展现出优异的性能。该 tokenizer 是当前先进自回归视频生成模型 VideoPoet 的核心组件。Open-MAGVIT2 基于 MAGVIT-2 的 tokenizer 设计理念,使用 PyTorch 重新实现,达到了与原始实现最为接近的效果。
## 输入输出
输入:图像或视频数据
输出:离散 token 序列,用于后续自回归生成模型处理
运行要求
基于 PyTorch 实现
基本用法
用于自回归视觉生成任务,可作为图像生成和视频生成模型的 tokenizer 组件
限制
原版 MAGVIT2 tokenizer 此前无法公开访问
许可证
MIT 许可证
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
