LLM Compressor 模型压缩 - 模型工具

这项工具能帮你做什么

提供与 Transformers 配合的模型压缩方法，用于为兼容的 vLLM 部署准备压缩模型。

模型压缩工具与配方示例。

受支持的模型、压缩配置；部分方法需要校准数据。

使用边界

仅适用于项目明确支持的模型与运行环境，不承诺下载源码后即可使用。模型、数据集、外部接口和云计算费用不包含在工具源码中。

闲社整理项目资料，未对每个项目执行安装或运行测试。模型权重、数据集与工具自身可能采用不同许可证，商用和再分发前需分别确认。