模型介绍
中文整理DreamLite-OnnxMobile
端侧移动端 ONNX 推理版本的 DreamLite 生图模型,针对 Android 设备优化,支持 **txt2img 文本生图** 与 **img2img 引用修改** 两种模式。
模型概览
项目 说明
- -- ---
模型名称 DreamLite 2.0 (fp16 text encoder + fp32 unet/vae)
输出分辨率 1024 × 1024
去噪步数 4 步
推理后端 ONNX Runtime(CPU)
总大小 约 10.4 GB
适配平台 Android arm64-v8a(需 8GB+ RAM)
文件清单
仓库采用**平铺结构**,与 App 端加载路径一致:
使用方法
在 CompanionChat App 中使用
该模型专为 CompanionChat 项目设计,App 启动时会自动检测模型是否就绪,未就绪会引导到「设置 → 生图模型下载」页面。
Android 部署路径**:
通过 modelscope CLI 下载:
下载后用 adb push 到设备:
txt2img 文本生图
输入文本提示词,模型生成 1024×1024 图像,4 步去噪。
img2img 引用修改
选择已生成的图片作为参考,输入修改指令(如「变成全身照」、「穿现代服装」),模型会在保留参考图结构的基础上进行修改。
关键实现细节**:
参考图 latents 存储为 .latents.bin (UNet 输出域,std≈0.85,未经 VAE decode 的 unscale 步骤)
喂给 UNet 的右侧 cond 时**不做缩放**,与 PC 参考实现 test mobile models.py 中 src lat = (vae enc - 0.5) / 3.0 同域
UNet 输入为 [noise image latents] 的拼接,左侧噪声、右侧参考图 latents
4 步全流程去噪,sigmas = [1.0, 0.75, 0.5, 0.25, 0.0]
配置文件示例
dreamlite config.json :
- *注**: required files 仅列出 txt2img 模式所需的最小集。要启用 img2img 引用修改,还需 tokenizer/added tokens.json 、 text encoder edit.onnx(.data) 、 vision encoder.onnx(.data) 。
性能参考
在骁龙 8 Gen 2 设备(Android 14)上:
模式 耗时 内存峰值
- -- --- ---
txt2img ~80 秒 ~4 GB
img2img ~95 秒 ~4.5 GB
Quote
如使用本模型,请引用 DreamLite 原始工作。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.
