模型介绍
中文整理Rombos-LLM-V2.5-Qwen-32b-GGUF-V3-LOT 高精量化
原模型 okwinds/Rombos-LLM-V2.5-Qwen-32b
- **同系合集 Rombos-LLM-Qwen2.5***
Quickstart
建议参考官方的llama.cpp文档
手动下载
由于克隆整个存储库可能效率低下,因此你可以手动下载所需的 GGUF 文件或使用 modelscope:
- 安装
- 下载
使用 *Ollama*
如果机器上安装了 Ollama,还可以通过 Ollama 拉取仓库中的模型。如下示例:
使用仓库的默认地址会拉取 Q4 K M 精度的 GGUF 模型
拉取指定精度的模型
模型简介
Rombos-LLM-V2.5-Qwen-32b-GGUF-V3-LOT 是一个基于 okwinds/Rombos-LLM-V2.5-Qwen-32b 的 GGUF (V3) 格式量化模型。
本仓库的GGUF格式概要:
- 模型权重文件不分片。下载单文件即可用。
- 模型在量化过程中保留了 output tensor 的激活值,以提升量化后模型的精度表现。本仓库的同量化等级的权重文件,会略大一点,当然,理论上精度也会高一点。
本仓库包含如下量化等级:q2 K、q3 K M、q4 K M、q5 K M、q6 K、q8 0。
原模型简介
原模型 okwinds/Rombos-LLM-V2.5-Qwen-32b 转载于 huggingface 上的 rombodawg/Rombos-LLM-V2.5-Qwen-32b
作者介绍到:原模型是一个基于 Qwen/Qwen2.5-32B 的 Continuous Fine-tuning 版本,并通过 TIES-Merging 方法将合并了adapter的 Qwen/Qwen2.5-32B-Instruct 与 Qwen/Qwen2.5-32B 进行了 TIES Merge。这使得本模型的性能优于原始的 base 模型以及 pretrain 后 fine-tune 的 Instruct 模型。
Benchmark
以下摘自 2024-10-28 的 Huggingface 上 Leadboard 排名数据
原模型总榜排名第6。
截图:
截图中的数据:
- *Model** **Average** **IFEval** **BBH** **MATH Lvl 5** **GPQA** **MUSR** **MMLU-PRO**
- - - - - - - -
dfurman/CalmeRys-78B-Orpo-v0.1 50.78 81.63 61.92 37.92 20.02 36.37 66.8
MaziyarPanahi/calme-2.4-rys-78b 50.26 80.11 62.16 37.69 20.36 34.57 66.69
rombodawg/Rombos-LLM-V2.5-Qwen-72b 45.39 71.55 61.27 47.58 19.8 17.32 54.83
dnhkng/RYS-XLarge 44.75 79.96 58.77 38.97 17.9 23.72 49.2
MaziyarPanahi/calme-2.1-rys-78b 44.14 81.36 59.47 36.4 19.24 19 49.38
- rombodawg/Rombos-LLM-V2.5-Qwen-32b* 44.1 68.27 58.26 39.12 19.57 24.73 54.62
MaziyarPanahi/calme-2.3-rys-78b 44.02 80.66 59.57 36.56 20.58 17 49.73
MaziyarPanahi/calme-2.2-rys-78b 43.92 79.86 59.27 37.92 20.92 16.83 48.73
MaziyarPanahi/calme-2.1-qwen2-72b 43.61 81.63 57.33 36.03 17.45 20.15 49.05
dnhkng/RYS-XLarge-base 43.56 79.1 58.69 34.67 17.23 22.42 49.23
arcee-ai/Arcee-Nova 43.5 79.07 56.74 40.48 18.01 17.22 49.47
MaziyarPanahi/calme-2.2-qwen2-72b 43.4 80.08 56.8 41.16 16.55 16.52 49.27
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
