Model details
模型介绍
中文整理DeepSeek-V3-GGUF-V3-LOT 高精量化
原模型 deepseek-ai/DeepSeek-V3
Quickstart
建议参考官方的llama.cpp文档
手动下载
由于克隆整个存储库可能效率低下，因此你可以手动下载所需的 GGUF 文件或使用 modelscope：
使用 *Ollama*
如果机器上安装了 Ollama，还可以通过 Ollama 拉取仓库中的模型。如下示例：
使用仓库的默认地址会拉取 Q4 K M 精度的 GGUF 模型
拉取指定精度的模型
模型简介
okwinds/DeepSeek-V3-GGUF-V3-LOT 是一个基于 deepseek-ai/DeepSeek-V3 的 GGUF 格式量化模型。
模型在量化过程中保留了 output tensor 的激活值，以提升量化后模型的精度表现。所以相比一般量化的 GGUF 格式模型，本仓库的同量化等级的权重文件，会略大一点，当然，理论上精度也会高一点。
本仓库包含如下量化等级：q2 K、q3 K M、q4 K M、q5 K M、q6 K。
作者在此 👇🏻 扫一扫
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
Problem with the information or download?
Sign in to submit feedback.
