SenseNova-U1-A3B-MoT-SFT

基于SenseNova-U1-A3B-MoT-SFT的合并模型和gguf量化模型

Q4的部分层量化策略须改动，目前的Q4出图质量一般

此模型测试可以基于官方gguf的加载代码，或者我的comfyUI插件测试

单层卸载 moe的显存占用5G，内存较大，须48G以上

以下为原始项目页的部分内容，感谢商汤日日新开源此项目

SenseNova-U1：基于 NEO-unify 架构统一多模态理解与生成

SenseNova U1 是一系列原生多模态模型，通过单一架构统一了多模态理解、推理和生成。

它标志着多模态 AI 的根本性范式转变：从模态集成迈向真正的统一。SenseNova U1 模型无需依赖适配器在模态间进行转换，而是原生地在语言与视觉之间进行思考与行动。

在一个端到端架构中统一视觉理解与生成（从像素到文字）开启了巨大的可能性，从而以原生多模态的方式实现高度高效且强大的理解、生成及交错推理能力。

其中，SFT 模型（×32 下采样率）经过理解预热（Understanding Warmup）、生成预训练（Generation Pre-training）、统一中期训练（Unified Mid-training）和统一监督微调（Unified SFT）训练而成，最终模型则在首轮 T2I 强化学习（RL）训练后获得。

尽管按当今标准这些模型相对紧凑，但已在多种任务上展现出强劲性能，媲美商业模型，同时具备优异的成本效益。值得注意的是，未来计划推出更大规模的版本，以进一步提升能力和性能。

SenseNova U1 的核心是 NEO-unify，这是一种为多模态 AI 从第一性原理出发设计的全新架构：它消除了视觉编码器（VE）和变分自编码器（VAE），因为像素与文字信息在此架构中本质上深度关联。 其若干重要特性如下：

🔗 将语言与视觉信息端到端地建模为统一的复合体。

🖼️ 在保持像素级视觉保真度的同时，保留语义丰富性。

🧠 通过原生 MoT（Mixture of Tokens）机制，高效且低冲突地进行跨模态推理。

✨ 此架构解锁的能力：

依托这一全新核心架构，SenseNova U1 在多模态学习中实现了卓越的效率：

左图：在 OneIG（EN, ZH）、LongText（EN, ZH）、BizGenEval（Easy, Hard）、CVTG 和 IGenBench 上的生成延迟与平均性能对比。

右图：在信息图表基准（即 BizGenEval（Easy, Hard）和 IGenBench）上的生成延迟与平均性能对比。

🏆 开源领域理解与生成的 SOTA：SenseNova U1 为统一的多模态理解与生成树立了新标杆，在广泛的开源模型中，于多项理解、推理和生成基准上均达到当前最优性能。

📖 原生交错式图文生成：SenseNova U1 能够通过单一模型以连贯的方式生成交错排列的文本与图像，支持如实用指南、旅行日记等应用场景，将清晰的信息传达与生动的叙事相结合，并将复杂信息转化为直观的视觉内容。

📰 高密度信息渲染：SenseNova U1 在密集型视觉传达方面展现出强大能力，可生成结构丰富的知识图解、海报、演示文稿、漫画、简历及其他信息密集型格式的布局。

下载方式

SDK下载

Git下载

如果您是本模型的贡献者，我们邀请您根据模型贡献文档，及时完善模型卡片内容。