模型介绍
中文整理# Step-Video-T2V 模型卡片
Model use case
Step-Video-T2V 是一个先进的文本到视频预训练模型，能够根据文本提示生成高质量视频。
## 主要能力
模型参数规模为 300 亿，支持生成最长 204 帧的视频。采用深度压缩视频 VAE 技术，实现 16×16 空间压缩和 8×时间压缩。使用双语文本编码器支持英文和中文提示。模型架构基于 DiT，采用 3D 全注意力机制，包含 48 层，每层 48 个注意力头，每头维度 128。引入 AdaLN-Single 时间步条件注入、QK-Norm 训练稳定化技术以及 3D RoPE 位置编码。在训练最后阶段应用直接偏好优化（DPO）以提升生成视频的视觉质量，减少伪影并使输出更加流畅真实。
## 输入输出
输入：文本提示（支持中英文）
输出：视频文件
运行要求
硬件要求：需要 NVIDIA GPU 并支持 CUDA。建议使用 80GB 显存的 GPU 以获得最佳生成质量。测试平台为 Linux 系统，使用 4 块 GPU 进行测试。
显存与推理时间（批次大小 1，无 cfg 蒸馏）：
- 544×992像素、204 帧：峰值显存 77.64 GB，50 步推理约 743 秒（使用 flash-attn）或 1232 秒
- 544×992 像素、136 帧：峰值显存 72.48 GB，50 步推理约 408 秒（使用 flash-attn）或 605 秒
文本编码器的自注意力仅支持 CUDA 计算能力 sm 80、sm 86 和 sm 90。
软件依赖：
- Python ≥ 3.10.0
- PyTorch ≥ 2.3-cu121
- CUDA Toolkit
- FFmpeg
基本用法
推理设置建议：
- Step-Video-T2V：推理步数 30-50，cfg 比例 9.0，时间偏移 13.0，最大帧数 204
- Step-Video-T2V-Turbo：推理步数 10-15，cfg 比例 5.0，时间偏移 17.0，最大帧数 204
模型采用文本编码器、VAE 解码和 DiT 分离的策略优化 GPU 资源利用，需要专用 GPU 处理文本编码器嵌入和 VAE 解码的 API 服务。
限制
文本编码器的自注意力模块仅支持特定的 CUDA 计算能力版本（sm 80、sm 86、sm 90），可能不兼容其他架构的 GPU。
许可证
原文未提供许可证相关信息。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。