Fun-CosyVoice3-0.5B-2512-GGUF

Fun-CosyVoice3-0.5B-2512-GGUF

这是一个面向 CosyVoice3-2512 的非官方社区 GGUF 发布包。

该模型包建议与 cosyvoice.cpp 配套使用。

重要说明

这**不是** CosyVoice 官方发布。

本实现由独立社区开发者维护。

C++ 运行时项目（ cosyvoice.cpp ）采用 MIT。

• *本模型包中的模型文件继续采用 Apache-2.0**。

可用文件

命名变更说明

原有量化版本做了以下调整：

Q6 K S → Q6 K

Q5 K S → Q5 K XXS

Q4 K S → Q4 K XXS

Q3 K S → Q3 K XXS

Q2 K S → 已移除（质量基本为噪音，不可用）

当前量化版本

文件 量化类型 体积（约） 说明

• -- ---: ---: ---

CosyVoice3-2512 F32.gguf F32 3.21 GiB 精度最高，体积最大

CosyVoice3-2512 F16.gguf F16 1.61 GiB 高质量基线版本

CosyVoice3-2512 Q8 0.gguf Q8 0 0.88 GiB 接近 F16 质量，体积更小

CosyVoice3-2512 Q6 K.gguf Q6 K 0.78 GiB 原名 Q6 K S；质量与体积较均衡

CosyVoice3-2512 Q5 1.gguf Q5 1 0.64 GiB 质量通常优于 Q5 0

CosyVoice3-2512 Q5 K M.gguf Q5 K M 0.64 GiB 新增；保持不低的质量，效果不错

CosyVoice3-2512 Q5 K S.gguf Q5 K S 0.61 GiB 新增；保持不低的质量，效果不错

CosyVoice3-2512 Q5 K XXS.gguf Q5 K XXS 0.61 GiB 原名 Q5 K S；进一步压缩版本

CosyVoice3-2512 Q5 0.gguf Q5 0 0.59 GiB 中等体积与质量

CosyVoice3-2512 Q4 K M.gguf Q4 K M 0.59 GiB 新增；质量较 Q5 下降，偶尔发糊，基本可接受

CosyVoice3-2512 Q4 K S.gguf Q4 K S 0.56 GiB 新增；质量低于 Q4 K M

CosyVoice3-2512 Q4 1.gguf Q4 1 0.54 GiB 体积更小，但发音伪影明显

CosyVoice3-2512 Q4 K XXS.gguf Q4 K XXS 0.54 GiB 原名 Q4 K S

CosyVoice3-2512 Q4 0.gguf Q4 0 0.49 GiB 质量进一步下降，语音清晰度较差

CosyVoice3-2512 Q3 K M.gguf Q3 K M 0.49 GiB 新增；声音发糊，略低于但接近 Q4 K XXS

CosyVoice3-2512 Q3 K S.gguf Q3 K S 0.46 GiB 新增；质量低于 Q3 K M

CosyVoice3-2512 Q3 K XXS.gguf Q3 K XXS 0.44 GiB 原名 Q3 K S

CosyVoice3-2512 Q2 K L.gguf Q2 K L 0.43 GiB 新增；质量下滑明显，声音小发糊，有噪音

CosyVoice3-2512 Q2 K.gguf Q2 K 0.42 GiB 新增；伪音噪音严重，但基本能分辨说话内容

选择建议

同系列 K 量化质量关系（由高到低）：K M > K S > K XXS

默认优先推荐： Q8 0 （当前测试中听感几乎无明显损失，且体积明显小于 F16 ）

高质量备选： F16 、 Q6 K

可用的中档选择： Q5 1 、 Q5 K M 、 Q5 K S 、 Q5 0 、 Q5 K XXS

质量有所下降但基本可接受： Q4 K M 、 Q4 K S

发音伪影较明显： Q4 1 、 Q4 K XXS 、 Q4 0

质量进一步下降： Q3 K M 、 Q3 K S 、 Q3 K XXS

仅限极端体积需求： Q2 K L 、 Q2 K

当前主观听感补充：

Q8 0 ：音质依然很稳，常见样本下几乎听不出明显损失。

Q6 K ：整体也不错，通常是实用选择。

Q5 K M / Q5 K S （新增）：保持不低的质量，效果不错。

Q5 K XXS （原 Q5 K S ）：略高于但接近 Q4 K M 。

Q5 系列（ Q5 1 / Q5 K M / Q5 K S / Q5 0 / Q5 K XXS ）：整体可用，但有一定退化。

Q4 K M / Q4 K S （新增）：质量对比 Q5 有所下降，偶尔听出部分声音发糊，但基本可接受。

Q4 系列（含 Q4 1 / Q4 K XXS / Q4 0 ）：发音伪影更明显，听感会发糊。

Q3 K M / Q3 K S （新增）：质量进一步下降，声音发糊，略低于但接近 Q4 K XXS 。

Q3 K XXS （原 Q3 K S ）：激进量化，质量有限。

Q2 K L （新增）：质量下滑明显，声音较小发糊，有噪音。

Q2 K （新增）：伪音严重，噪音严重，但基本能分辨说话声音内容。

~~ Q2 K S ~~（已移除）：基本接近噪音，通常不可用。

运行要求

面向 cosyvoice.cpp 的 GGUF 推理流程。

当前运行时内部部分数据处理需要 **AVX2** 支持。

GPU 后端效果取决于 GGML 后端与驱动环境。

基本用法

• -prompt-speech 需要传入 GGUF 格式的提示音文件（例如 prompt speech.gguf ）。

运行方式与完整文档请查看 cosyvoice.cpp 仓库：

来源说明

本工作参考上游 CosyVoice 发布的架构与推理行为，并在 C++/GGML 侧独立重实现。

许可证

本模型仓库中的模型文件：**Apache-2.0**

运行时代码（ cosyvoice.cpp ）：**MIT**