模型介绍
中文整理麻雀:从零训一个多模态模型 · 第 2 集(生图)
视频课程《从零训一个多模态模型》第 2 集(生图)的配套代码与训好的权重,内容在 ep02-t2i/ 。这一集从零训练一只约 16M 参数、只会「照字画图」的小模型「麻雀」:训练时学从噪声指向答案的方向,画图时从一团噪声出发,一步步顺着方向走,并用文字引导画出「红色 小猫」这样的 64×64 图。
第 4 集（生声音）的配套代码、权重、训练录音与样例见 ep04-t2a/ 。
第 5 集（生视频）的配套代码、权重、训练命令与样例见 ep05-t2v/ 。
第 6 集（看图听声）的配套代码、主线权重、接续训练命令与实测回答见 ep06-understand/ 。
模型仓库:https://modelscope.cn/models/llmzerotohero/sparrow
硬件
一块 NVIDIA 显卡,训练显存峰值约 5 GB;要下载的只有 FLUX.2 的图像 VAE,约 0.16 GB。
引用
视频:B 站「大模型成长之路」合集《从零训一个多模态模型 把技术讲清楚》第 2 集:https://www.bilibili.com/video/BV1zDpQ6zE8n
许可证
代码与权重见 LICENSE 。训练数据全部由程序生成。用到的冻结零件只有 FLUX.2 的图像 VAE,许可证为 Apache-2.0。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。