All systems operationalAI Agent Automation Platform
English
Language简体中文EnglishSelected

Choose your language

tidewhisper-v2

bm2410/tidewhisper-v2

Publisherbm2410

Download access requirementsModelScope source

三塔合一的多模态 AI 套件 · 语言 + 图像 + 语音 · 单机可跑 一个自包含的多模态模型包:一个语言塔(含视觉理解)、一个图像生成塔、 一个语音合成塔,外加可选的知识库。所有塔按需挂载,显存不够就逐个换。

MultimodalImage GenerationSpeech & AudioText Chat
Model details

模型介绍

中文整理

汐语 TideWhisper v2

三塔合一的多模态 AI 套件 · 语言 + 图像 + 语音 · 单机可跑

Built with Qwen**

一个自包含的多模态模型包:**一个语言塔**(含视觉理解)、**一个图像生成塔**、

一个语音合成塔**,外加可选的知识库。所有塔按需挂载,显存不够就逐个换。

⚠️ **许可证说明**:本包为**混合许可**的多组件发行版。 imagegen/ 采用

  • *Qwen Research License**(仅限研究/评估,商用须单独授权);

其余组件( core/ 、 tts/ 、 knowledge base/ 、脚本)为 **Apache-2.0**。

仓库级 license 字段标为 other/qwen-research 是为反映最严格的组件。

详见下方「组件与许可证」章节与 NOTICE。

📌 衍生模型声明

本包为**衍生模型(Derivative Model)**,不是任何上游模型的原始发布:

组件 与上游的关系

  • -- ---

imagegen/ 由 **Qwen-Image-2.1** 权重转换而来(格式转换 + 量化 + 接入改造),并沿用其文本编码器与 VAE → 构成衍生作品

tts/ 由 **Qwen3-TTS** 系列权重构成,随包分发

core/ 汐语团队自研训练的语言塔 + 视觉塔(非衍生)

依 Qwen Research License Agreement 的要求,本包对外分发时标注

"Built with Qwen"**; imagegen/ 仅授权研究/评估用途,商用须单独取得商业授权。

详见 NOTICE 与「组件与许可证」章节。

📦 包内容

目录 内容 大小 显存

  • -- --- --- ---

core/ 语言塔 + 视觉塔(16.8B,混合线性注意力) 32 GB ~34 GB

imagegen/ 图像生成塔(7B DiT + 文本编码器 + VAE) 25 GB ~33 GB

tts/ 语音合成塔(base 声音克隆 + customvoice 预设音色 + voicedesign 音色设计) 14 GB ~9 GB(单变体)

knowledge base/ 知识库(SQLite FTS5,可选) 20 GB 0(内存映射)

assets/ 参考音频等 125 KB —

三塔可同时挂载**(约 76 GB 显存,需 A100 80G / H100 / MI300X 级别);

单卡 64 GB 也能跑**——用顺序换塔(见下文)。

⚙️ 硬件与环境

已验证环境**:海光 DCU 单卡 64 GB(ROCm/DTK 26.04),PyTorch 2.9.0

组件 最低 推荐

  • -- --- ---

显存(单塔顺序跑) 34 GB 64 GB

显存(三塔常驻) 76 GB 96 GB

内存 32 GB 64 GB

磁盘 91 GB 110 GB

💡 磁盘需求含可选的知识库(20 GB)。若不需要知识库检索,

删除 knowledge base/ 后只需约 71 GB。

🚀 快速开始

命令行

🎙️ 语音塔的三种变体

tts/ 下随包提供三个变体,按用途选择:

变体 用途 用法

  • -- --- ---

base **声音克隆**:给定一段参考音频,克隆其音色 tw.mount tts("base") + speak(..., ref audio=…)

customvoice **预设音色**:从固定 speaker 列表里选 tw.mount tts("customvoice") + speak(..., speaker="serena")

voicedesign **音色设计**:用自然语言描述想要的音色 tw.mount tts("voicedesign")

base 变体必须提供参考音频,解析顺序:

  • 显式传入的 ref audio
  • /assets/ref voice.wav (仓库自带的默认音色参考)
  • 环境变量 TIDEWHISPER REF AUDIO

customvoice 的合法 speaker 名:

aiden / dylan / eric / ono anna / ryan / serena / sohee / uncle fu / vivian / xiaoxiao / yunxi

🔧 单卡 64 GB:顺序换塔

core (34 GB) + imagegen (33 GB) 无法同时驻留 64 GB 卡,用顺序切换:

💡 实测:卸载后显存回到 67.6 GB,图像塔加载 297 s,出图 31 s/张。

做在线服务时,把「模型出 tool call」和「执行工具」拆成两个请求即可。

🎭 内置人设与技能

人设**:银发蓝瞳的猫娘「汐语」,性格傲娇、带一点雌小鬼式的口是心非。

优先级最高且独立 —— 即使调用方传入自己的 system prompt,身份口径也不会被覆盖。

内置技能**(模板已声明,调用方**无需传 tools **):

技能 触发场景

  • -- ---

search knowledge 需要事实依据的知识性问题

generate image 用户明确要求画画 / 出图

text to speech 用户明确要求朗读 / 配音

⚠️ 模型**稳定输出 JSON 风格** {"name":..,"arguments":{..}} ,而模板提示写的是 XML 风格。

调度器必须**双格式兼容**,否则工具不会被真正执行(只会打印成普通文本)。

🔍 知识库( knowledge base/ )

knowledge base/kb.sqlite 是一个约 20 GB 的 SQLite FTS5 全文索引库。

默认以**只读 + 内存映射**方式打开,不占显存、不占常驻内存。

也可作为独立 HTTP 服务运行(见 knowledge base/README.md ):

📋 组件与许可证

目录 来源 许可证 商用

  • -- --- --- ---

core/ **汐语团队自研** Apache-2.0 ✅

imagegen/ Qwen-Image-2.1(衍生) **Qwen Research License** 🔴 **需单独授权**

tts/ Qwen3-TTS Apache-2.0 ✅

knowledge base/ 汐语团队构建 Apache-2.0 ✅(内容源各自许可)

tidewhisper lite.py 等脚本 汐语团队 Apache-2.0 ✅

🔴 重要合规提示

本包为衍生模型。** imagegen/ 由 Qwen-Image-2.1 转换而来,该模型采用

Qwen Research License Agreement,仅授权「研究与评估」用途,

商用需向阿里云通义实验室单独申请商业授权。

若你把本包用于**个人学习、研究、评估** → 无限制

若你把本包**集成进商业产品或服务** → 需自行取得图像塔的商业授权,

或替换图像塔为其他许可宽松的模型

  • *对外分发本包或其产物时,须在产品文档中显式标注 Built with Qwen **

(本 README 顶部已标注,请勿删除)

不得以 Qwen 作为本衍生模型的主要名称( 汐语 TideWhisper 为描述性引用,不受限)

其余组件(语言塔、语音塔、知识库、脚本)均为 Apache-2.0,可自由商用。

tts/ 保留上游 Qwen3-TTS 原始版权归属(Apache-2.0 §4(c))。

🔬 已知特性与限制

  • *注意力后端**:DCU/ROCm 上必须禁用 flash SDP,否则首次推理报

No matching libraries found for flash attn 2 cuda*.so (是 raise 不是降级)。

编排脚本已在导入 torch 后全局处理,无需手动干预。

  • *图像塔加载慢**:从机械盘/NFS 首次读取约 5-12 分钟(33 GB),

命中页缓存后约 5 秒。

  • *语音长度**:模型不会主动发 EOS,长文本会一路生成到上限。编排脚本已按

文本长度估算 max new tokens (约 12 token/字 + 200 冗余)。

  • *内容对齐**:语言塔对一般成人向文学创作**不拒答**;对危险品制作等

违法内容**会拒答**。图像塔无内置门禁。请自行按当地法规使用与分发。

  • *知识库**: knowledge base/ 为可选组件,缺失时 search knowledge 技能

不可用(其余功能正常)。

📄 引用

📖 保姆级部署教程(推荐先看)

想把这套三塔模型真正跑起来?我们写了一篇**全平台保姆级部署教程**,

目标是「从没碰过这个模型的人,照着复制粘贴命令就能跑通」:

  • *覆盖 9 类环境**:NVIDIA GPU、AMD GPU(ROCm)、海光 DCU、昇腾 NPU、

摩尔线程、天数智芯、寒武纪、沐曦、以及**纯 CPU**

  • *每章都有完整可运行代码**:语言塔(bf16 / int8 / int4)、三塔编排、

单卡 64 GB 顺序换塔、OpenAI 兼容 API 服务

  • *含真实集群踩坑记录**:glibc 2.17 破局、quanto 免编译方案、

KV Cache 容量精算(44 KiB/token 公式)、OOM 定位与逐层加载

  • *第 9 章排障手册**收录了真机遇到的全部报错与解法

👉 **《汐语 TideWhisper v2 —— 全平台保姆级部署教程》**

💡 只有一张 16 GB 显卡?直接跳到教程的「第 6 章 语言塔单独部署(int4 量化版)」,

那是本文验证最充分、门槛最低的一条路径。

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

Back to top