stable-zero123

Stable Zero123 模型卡片

Model use case

Stable Zero123 是基于 Zero123 开发的视图条件图像生成模型，用于从单张输入图像生成该物体的多个视角图像，进而通过后续处理生成 3D 模型。

主要能力

通过分数蒸馏采样（SDS）技术结合 Stable Zero123 模型，可以从任意输入图像生成高质量 3D 模型。该过程也可扩展到文本到 3D 生成：首先使用 SDXL 生成单张图像，然后使用 SDS 在 Stable Zero123 上生成 3D 对象。

输入输出

输入：单张图像（建议使用移除背景的 RGBA 格式图像）

输出：3D 网格模型（mesh）

运行要求

硬件：需使用 Stability AI 集群训练，单节点 8 张 A100 80GB GPU

软件：需安装 threestudio 框架

基本用法

在 threestudio 中使用 Stable Zero123 生成 3D 网格模型的步骤：

• 按照 threestudio 官方说明安装框架
• 将 Stable Zero123 检查点文件 stable zero123.ckpt 下载到 load/zero123/ 目录
• 准备一张图像（可使用 AI 图像生成器生成，如输入"A simple 3D render of a friendly dog"）
• 移除图像背景
• 保存到 load/images/ 目录，文件名建议使用 rgba.png 后缀
• 使用 Stable Zero123 检查点运行 Zero-1-to-3

Model details

开发者：Stability AI

模型类型：潜在扩散模型

微调基础模型：lambdalabs/sd-image-variations-diffusers

License

Stable Zero123：包含部分 CC-BY-NC 3D 对象，不可用于商业用途，仅可用于研究目的，发布于 Stability AI 非商业研究社区许可证

Stable Zero123C（"C"代表"商业可用"）：仅使用 CC-BY 和 CC0 3D 对象训练，发布于 StabilityAI 社区许可证

根据内部测试，两种模型在视觉质量预测方面表现相似。

训练数据

使用 Objaverse 数据集的渲染图像，采用增强的渲染方法训练。

训练基础设施

硬件：Stability AI 集群，单节点 8 张 A100 80GB GPU

代码库：基于原始 zero123 仓库的修改版本

使用限制

本模型不得用于故意创建或传播可能对人们产生敌意或疏离感的内容。这包括生成人们可预见的会感到不安、困扰或反感的内容，或传播历史或当前刻板印象的内容。