模型介绍
中文整理通义千问Qwen2.5-7B-Instruct-GGUF-V3-LOT
原模型 qwen/Qwen2.5-7B-Instruct
官方GGUF仓库 Qwen/Qwen2.5-7B-Instruct-GGUF
Qwen2.5 同系列模型
Finetuned Model
- *Model tree**
Base model - Qwen/Qwen2.5-32B
╰─ Finetuned - Qwen/Qwen2.5-32B-Instruct
├─ Finetuned - CompassJudger-1
└─ Finetuned - Rombos-LLM-Qwen2.5
同系量化
- *Model** GPTQ Compression & FP8 GGUF **MLX** (macOS)
- ----------- ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- -------------------------------------------------------------------------------------------- ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
- 3B params* - 3B-GGUF-V3-LOT 3B-MLX-4bit3B-MLX-8bit
- 7B params* 7B-Int4-W4A167B-Int8-W8A167B-FP8-A16 Coder-7B-Instruct-FP8 7B-GGUF-V3-LOT 7B-MLX-4bit7B-MLX-8bit
- Coder 7B params* Coder-7B-Int4-W4A16Coder-7B-Int8-W8A16 Coder-7B-FP8-A16 Coder-7B-GGUF-V3-LOT Coder-7B-MLX-4bitCoder-7B-MLX-8bit
- 14B params* 14B-Int4-W4A1614B-Int8-W8A1614B-FP8-A16 14B-GGUF-V3-LOT 14B-MLX-4bit14B-MLX-8bit
- Coder 14B params* Coder-14B-Int4-W4A16Coder-14B-Int8-W8A16 Coder-14B-GGUF-V3-LOT Coder-14B-MLX-4bitCoder-14B-MLX-8bit
- 32B params* 32B-Int4-W4A1632B-Int8-W8A1632B-FP8-A16 32B-GGUF-V3-LOT 32B-MLX-2bit32B-MLX-4bit32B-MLX-8bit
- Coder 32B params* Coder-32B-Int4-W4A16Coder-32B-FP8 Coder-32B-GGUF-V3-LOT Coder-32B-MLX-4bitCoder-32B-MLX-8bit
- QwQ-Preview 32B params* QwQ-32B-Preview-Int4-W4A16QwQ-32B-Preview-FP8 QwQ-32B-GGUF-V3-LOT QwQ-32B-MLX-4bitQwQ-32B-MLX-8bit
- 72B params* - 72B-GGUF-V3-LOT 72B-MLX-2bit72B-MLX-4bit72B-MLX-8bit
Quickstart
建议参考千问官方的llama.cpp文档
手动下载
由于克隆整个存储库可能效率低下，因此你可以手动下载所需的 GGUF 文件或使用 modelscope：
- 安装
- 下载
使用 *Ollama*
如果机器上安装了 Ollama，还可以通过 Ollama 拉取仓库中的模型。如下示例：
使用仓库的默认地址会拉取 Q4 K M 精度的 GGUF 模型
拉取指定精度的模型
模型简介
通义千问Qwen2.5-7B-Instruct-GGUF-V3-LOT 是一个基于 通义千问2.5-7B-Instruct 的 GGUF 格式量化模型。
本仓库的GGUF格式模型与官方的不同之处是：
- 模型权重文件不分片。下载单文件即可用。
- 模型在量化过程中保留了 output tensor 的激活值，以提升量化后模型的精度表现。所以相比官方量化的 GGUF 格式模型，本仓库的同量化等级的权重文件，会略大一点，当然，理论上精度也会高一点。
本仓库包含如下量化等级：q2 K、q3 K M、q4 K M、q5 K M、q6 K、q8 0，以及原模型精度的 GGUF，bf16 和 fp16。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。