qwen3.5-2b-deepseek-v4-GGUF

qwen3.5-2b-deepseek-v4-GGUF

本仓库提供 qwen3.5-2b-deepseek-v4 的 **GGUF 量化版本**，方便在 llama.cpp、Ollama、LM Studio 等工具中本地部署。

原始模型

• *基座模型**：Qwen/Qwen3.5-2B
• *上游模型**：Jackrong/Qwen3.5-2B-Claude-4.6-Opus-Reasoning-Distilled
• *本模型**：基于上游模型进行二次微调，强化日常对话、数学推理和编程能力

模型简介

这是一个 **2B 参数**的大语言模型，专注于以下三大能力：

• *日常对话**：风格切换自然，角色扮演和科普解释表现优秀
• *数学推理**：基础逻辑推理良好，能跨越常见陷阱
• *编程**：算法/后端代码生成能力强，前端 HTML/CSS 输出规范

量化文件

文件名 量化类型 大小 推荐场景

:--- :--- :--- :---

qwen3.5-2B-deepseek-v4-Q3 K M.gguf Q3 K M ~1.02 GB 内存紧张，追求速度

qwen3.5-2B-deepseek-v4-Q4 K M.gguf Q4 K M ~1.19 GB 速度与质量平衡

qwen3.5-2B-deepseek-v4-Q5 K M.gguf Q5 K M ~1.31 GB **推荐日常使用**

qwen3.5-2B-deepseek-v4-Q8 0.gguf Q8 0 ~1.87 GB 质量优先，显存充裕

所有量化文件均使用 llama.cpp 转换生成。

能力评估

领域 表现 说明

:--- :--- :---

日常对话 ⭐⭐⭐⭐ 风格切换自然，角色扮演和科普解释表现优秀

数学推理 ⭐⭐⭐½ 基础逻辑推理良好，能跨越常见陷阱

编程-算法/后端 ⭐⭐⭐⭐⭐ 代码生成、Debug、Flask API 均达到工业级可用

编程-前端 HTML/CSS ⭐⭐⭐⭐⭐ 语义化、CSS 变量、响应式、动画均出色

编程-前端 JavaScript ⭐⭐⭐ 交互逻辑设计正确，但在 JS 动态生成字符串时偶有引号未闭合的错误

已知局限（请务必阅读）

• JavaScript 字符串拼接偶发错误

在进行 textContent 、 innerHTML 等动态 DOM 操作时，模型可能写出引号未闭合的代码。

错误示例：**

应修正为：**

原因：** 训练数据中缺少足够的 JS 动态字符串生成样本。

• 思维链输出

即使关闭思维链选项，模型仍可能输出较短的思考过程。这是因为训练数据和上游模型均包含思维链数据。

使用方法

llama.cpp / llama-server

Ollama

创建 Modelfile ：

然后运行：

警告！！！ 因为Jackrong/Qwen3.5-2B-Claude-4.6-Opus-Reasoning-Distilled](https://modelscope.cn/models/Jackrong/Qwen3.5-2B-Claude-4.6-Opus-Reasoning-Distilled训练的是带思维链的模型，再加上我也是使用的带思维链的对话，所以模型即使关闭思考，模型依旧会思考

LM Studio

• 下载任意 .gguf 文件
• 在 LM Studio 中点击 "My Models"
• 将 .gguf 文件放入模型目录
• 刷新后即可选择加载

Python + llama-cpp-python

训练细节

• *基座模型**：Jackrong/Qwen3.5-2B-Claude-4.6-Opus-Reasoning-Distilled（License: Apache-2.0）
• *二次微调方向**：日常对话、数学推理、前后端编程能力增强
• *微调框架**：Unsloth
• *训练数据**：约 2000 道前后端编程题 + 日常对话 + 数学推理题，约10000条
• *训练硬件**：NVIDIA RTX 4090 D
• *量化工具**：llama.cpp

文件说明

License

本仓库采用 Apache License 2.0 开源许可。

原始基座模型 Qwen3.5-2B 由 Qwen 团队发布，上游模型 Jackrong/Qwen3.5-2B-Claude-4.6-Opus-Reasoning-Distilled 采用 Apache-2.0 许可证。

致谢

感谢 Qwen 团队发布的 Qwen3.5-2B 基座模型，感谢 Jackrong 发布的蒸馏模型，以及 Unsloth、llama.cpp 等开源项目的贡献者。

如果你发现任何问题、有好玩的用例，或者想反馈 JS 字符串 bug 的具体触发样例，欢迎在模型页面提 Issue。