Model details
模型介绍
中文整理麻雀:从零训一个多模态模型 · 第 2 集(生图)
视频课程《从零训一个多模态模型》第 2 集(生图)的配套代码与训好的权重,内容在 ep02-t2i/ 。这一集从零训练一只约 16M 参数、只会「照字画图」的小模型「麻雀」:训练时学从噪声指向答案的方向,画图时从一团噪声出发,一步步顺着方向走,并用文字引导画出「红色 小猫」这样的 64×64 图。
第 4 集(生声音)的配套代码、权重、训练录音与样例见 ep04-t2a/ 。
第 5 集(生视频)的配套代码、权重、训练命令与样例见 ep05-t2v/ 。
第 6 集(看图听声)的配套代码、主线权重、接续训练命令与实测回答见 ep06-understand/ 。
模型仓库:https://modelscope.cn/models/llmzerotohero/sparrow
硬件
一块 NVIDIA 显卡,训练显存峰值约 5 GB;要下载的只有 FLUX.2 的图像 VAE,约 0.16 GB。
Quote
视频:B 站「大模型成长之路」合集《从零训一个多模态模型 把技术讲清楚》第 2 集:https://www.bilibili.com/video/BV1zDpQ6zE8n
License
代码与权重见 LICENSE 。训练数据全部由程序生成。用到的冻结零件只有 FLUX.2 的图像 VAE,许可证为 Apache-2.0。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖,以原作者说明为准。
授权范围是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.