这项工具能帮你做什么
面向大语言模型量化与压缩提供工具，适合按支持范围生成更适合部署的量化模型。
你会得到
量化工具与硬件、推理框架适配说明。
使用前准备
兼容权重、量化所需资源及可能需要的校准数据。
从哪里开始
- 先阅读原项目的安装说明，确认系统、硬件和模型兼容性。
- 优先采用作者提供的安装方式；源码 ZIP 是项目代码，不是已安装的软件，也不包含模型权重。
- 先用非敏感示例材料试用，再接入自己的模型或业务。
使用边界
仅适用于项目明确支持的模型与运行环境，不承诺下载源码后即可使用。模型、数据集、外部接口和云计算费用不包含在工具源码中。
闲社整理项目资料，未对每个项目执行安装或运行测试。模型权重、数据集与工具自身可能采用不同许可证，商用和再分发前需分别确认。
- 项目维护者
- ModelCloud
- 项目关联仓库
- ModelCloud/GPTQModel
- 仓库最近推送
- 2026-09-18
- 许可信息
- 许可待核对，查看原项目