Qwen3.5-4B-KIMI-DeepSeek-Merged-GGUF

Qwen3.5-4B-KIMI-DeepSeek-Merged (GGUF)

这是一个通过 **模型融合（Model Merging）** 技术，将两个基于 Qwen3.5-4B 架构的蒸馏模型进行 **线性加权平均** 后得到的 4B 参数语言模型，并已转换为 **GGUF Q4 K M** 格式，适合在 llama.cpp 、 Ollama 等推理框架上运行。

📖 模型简介

• *基础架构**：Qwen3.5-4B（混合注意力架构，支持长上下文）
• *融合来源**：
• Kassadin88/Qwen3.5-4B-KIMI-Distill —— 以中文对话和长文本见长
• ShenRen1231/Qwen3.5-4B-DeepSeek-v4-Flash —— 以代码生成和数学推理见长
• *融合方法**：对两个模型的语言层权重进行 **0.5 : 0.5 线性加权平均**，视觉塔等非语言部分被舍弃
• *量化格式**：Q4 K M，文件约 **2.5GB**
• *支持语言**：中文、英文
• *适用任务**：文本生成、代码补全、问答、推理、中文对话

🧪 融合细节

仅合并了 **426 个共有语言层张量**（ model.language model.* ）

KIMI 原模型中的 297 个视觉塔张量（ model.visual.* ）被丢弃

融合时保持 FP16 精度，随后转换为 GGUF F16 并量化为 Q4 K M

转换脚本基于 llama.cpp 的 convert hf to gguf.py ，并使用了 --no-mtp 跳过 MTP 层

🚀 快速开始

本仓库包含以下文件：

merged-Q4 K M.gguf ：模型权重

Modelfile ：Ollama 加载配置

方式一：使用 Ollama（推荐）

• 安装 Ollama：https://ollama.com/download

• 下载本仓库的 merged-Q4 K M.gguf 和 Modelfile ，放在同一个目录下。

• 在终端进入该目录，执行：

• 之后即可直接对话。也可以作为 API 调用：

方式二：使用 llama.cpp

• 克隆并编译 llama.cpp ：

• 用 llama-cli 直接推理：

• 对话模式（多轮）：

方式三：使用 llama-server（OpenAI 兼容 API）

• 启动服务：

• 用 curl 调用：

• 也可以配合任意 OpenAI 兼容客户端（Chatbox、NextChat 等）使用，API Base 填 http://localhost:8080/v1 。

📊 初步测试表现

在纯 CPU（8 核）环境下，使用 llama-cli 进行测试，结果如下：

任务 表现

• ----- ------

Python 回文判断函数 ✅ 正确生成，逻辑清晰

括号匹配函数 ✅ 正确使用栈实现，边界处理完整

鸡兔同笼问题 ✅ 正确列出方程并求解

中文闭包解释 ✅ 语言通俗，举例恰当

JSON 格式输出 ✅ 严格遵循格式要求

生成速度约为 **16 tokens/s**（Q4 K M，8 核 CPU），Prompt 处理速度约 **58 tokens/s**。

⚠️ 局限性

• *视觉能力缺失**：原 KIMI 模型的多模态能力在融合过程中被移除，本模型仅支持纯文本。
• *性能波动**：线性融合可能导致在某些任务上不如单一原版模型，建议在实际使用中评估。
• *推理速度**：纯 CPU 推理速度有限，建议在 GPU 或高性能 CPU 上使用。
• *上下文长度**：受限于量化格式，建议上下文不超过 4096 tokens。
• *Ollama 兼容性**：需要 Ollama 版本支持 qwen3.5 架构，建议使用最新版。如果加载失败，请升级 Ollama。
• *thinking 模式**：该模型带思考链，使用时建议在请求中关闭 thinking，否则容易耗尽 max tokens： "chat template kwargs": {"enable thinking": false}

📜 许可证

本项目遵循 **Apache 2.0** 许可证。使用前请确保遵守原模型的许可条款。

🙏 致谢

感谢 Kassadin88 和 ShenRen1231 提供的优秀蒸馏模型

感谢 llama.cpp 社区提供的 GGUF 转换与量化工具

📚 引用