模型介绍
中文整理Rombos-LLM-V2.5-Qwen-32b-Int4-W4A16 量化高精校准
原模型 okwinds/Rombos-LLM-V2.5-Qwen-32b
- **同系合集 Rombos-LLM-Qwen2.5***
Download
SDK下载
Git下载
模型概述
Rombos-LLM-V2.5-Qwen-32b-Int4-W4A16 是一个基于 okwinds/Rombos-LLM-V2.5-Qwen-32b 的 INT4 量化并校准的模型。
- *模型名称:** Rombos-LLM-V2.5-Qwen-32b-Int4-W4A16
- *模型架构:** Qwen2.5
- *权重量化:** INT4
- *Model tree**
Base model - Qwen/Qwen2.5-32B
╰─ Finetuned - Qwen/Qwen2.5-32B-Instruct
╰─ Finetuned - 原模型 okwinds/Rombos-LLM-V2.5-Qwen-32b
╰─ Quantization **本模型 Rombos-LLM-V2.5-Qwen-32b-Int4-W4A16**
本模型通过将 okwinds/Rombos-LLM-V2.5-Qwen-32b 的权重量化为 INT4 数据类型而实现。
量化过程将每个参数从 16bit 减少到 4bit，将模型占用磁盘空间大小，以及推理时加载模型需要的GPU显存空间，减少到了大约为原模型的1/4。只有 transformer 中的 Linear 层权重是量化的，其他层均保持为原模型数据类型，采用了混合精度的计算方式，尽可能减少模型量化后所带来的精度损失。
量化本模型，使用了AutoGPTQ，采用 Symmetric group-wise 方式量化（group size : 128）。并在量化过程中，进行了数据校准，以提升模型生成精度，修复 gptq-int4 模型出现乱吐字和无限循环的问题（*如循环输出 !!!!!*）。
注意：本模型需要 compute capability > 8.0（Ampere、Ada Lovelace、Hopper 架构）的 Nvidia GPU 来支持 INT4 **混合精度**计算。
部署推理
推荐使用 vLLM
Openai api 兼容模式
原模型简介
原模型 okwinds/Rombos-LLM-V2.5-Qwen-32b 转载于 huggingface 上的 rombodawg/Rombos-LLM-V2.5-Qwen-32b
作者介绍到：原模型是一个基于 Qwen/Qwen2.5-32B 的 Continuous Fine-tuning 版本，并通过 TIES-Merging 方法将合并了adapter的 Qwen/Qwen2.5-32B-Instruct 与 Qwen/Qwen2.5-32B 进行了 TIES Merge。这使得本模型的性能优于原始的 base 模型以及 pretrain 后 fine-tune 的 Instruct 模型。
Benchmark
以下摘自 2024-10-28 的 Huggingface 上 Leadboard 排名数据
原模型总榜排名第6。
截图：
截图中的数据：
- *Model** **Average** **IFEval** **BBH** **MATH Lvl 5** **GPQA** **MUSR** **MMLU-PRO**
- - - - - - - -
dfurman/CalmeRys-78B-Orpo-v0.1 50.78 81.63 61.92 37.92 20.02 36.37 66.8
MaziyarPanahi/calme-2.4-rys-78b 50.26 80.11 62.16 37.69 20.36 34.57 66.69
rombodawg/Rombos-LLM-V2.5-Qwen-72b 45.39 71.55 61.27 47.58 19.8 17.32 54.83
dnhkng/RYS-XLarge 44.75 79.96 58.77 38.97 17.9 23.72 49.2
MaziyarPanahi/calme-2.1-rys-78b 44.14 81.36 59.47 36.4 19.24 19 49.38
- rombodawg/Rombos-LLM-V2.5-Qwen-32b* 44.1 68.27 58.26 39.12 19.57 24.73 54.62
MaziyarPanahi/calme-2.3-rys-78b 44.02 80.66 59.57 36.56 20.58 17 49.73
MaziyarPanahi/calme-2.2-rys-78b 43.92 79.86 59.27 37.92 20.92 16.83 48.73
MaziyarPanahi/calme-2.1-qwen2-72b 43.61 81.63 57.33 36.03 17.45 20.15 49.05
dnhkng/RYS-XLarge-base 43.56 79.1 58.69 34.67 17.23 22.42 49.23
arcee-ai/Arcee-Nova 43.5 79.07 56.74 40.48 18.01 17.22 49.47
MaziyarPanahi/calme-2.2-qwen2-72b 43.4 80.08 56.8 41.16 16.55 16.52 49.27
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
Problem with the information or download?
Sign in to submit feedback.