Qwen3-Coder-30B-A3B-Instruct-Int8-W8A16

重要：友情提醒，推理本模型时，请按照如下官方最佳实践：

为了达到最佳性能，建议以下设置：

• **采样参数**:
• 建议使用 Temperature=0.7 , TopP=0.8 , TopK=20 , 以及 presence penalty=1.05 .

• **足够的输出长度**: 对于大多数查询，建议使用 65,536 个 tokens 的输出长度，这对于指令模型是足够的。

📖 关于量化损失方面的研究，可阅读公众号“觉察流”文章👇

《Reason Model 的“瘦身计划”：量化技术的得与失》

通义千问 Qwen3-Coder-30B-A3B-Instruct-Int8-W8A16 量化高精校准

原模型 Qwen/Qwen3-Coder-30B-A3B-Instruct

作者在此 👇🏻 扫一扫

Download

SDK下载

Git下载

模型概述

Qwen3-Coder-30B-A3B-Instruct-Int8-W8A16 是一个基于 通义千问 Qwen3-Coder-30B-A3B-Instruct 的 INT8 量化并校准的模型。

• *模型名称:** Qwen3-Coder-30B-A3B-Instruct-Int8-W8A16
• *模型架构:** Qwen3 MoE
• *权重量化:** INT8

该模型通过将 qwen/Qwen3-Coder-30B-A3B-Instruct 的权重量化为 INT8 数据类型而实现。

量化过程将每个参数从 16bit 减少到 8bit，将模型占用磁盘空间大小，以及推理时加载模型需要的GPU显存空间，减少到了大约为原模型的1/2。

量化过程中，只有 transformer 中的 Linear 层权重是量化的，其他层均保持为原模型数据类型，采用混合精度的计算方式，尽可能减少模型量化后所带来的精度损失。

在量化过程中，使用了AutoGPTQ，采用 Symmetric group-wise 方式量化。并在此次量化过程中，进行了数据校准，以提升模型生成精度。（相对比 BF16 做到几乎无损）

注意：本模型需要 compute capability > 8.0（Ampere、Ada Lovelace、Hopper 架构）的 Nvidia GPU 来支持 INT8 **混合精度**计算。

部署推理

推荐使用 vLLM>=0.8.4 ( transformers>=4.51.0 )

Openai api 兼容模式

附录 Qwen3-Coder-30B-A3B-Instruct 介绍

Highlights

Qwen3-Coder** is available in multiple sizes. Today, we're excited to introduce **Qwen3-Coder-30B-A3B-Instruct**. This streamlined model maintains impressive performance and efficiency, featuring the following key enhancements:

• *Significant Performance** among open models on **Agentic Coding**, **Agentic Browser-Use**, and other foundational coding tasks.
• *Long-context Capabilities** with native support for **256K** tokens, extendable up to **1M** tokens using Yarn, optimized for repository-scale understanding.
• *Agentic Coding** supporting for most platform such as **Qwen Code**, **CLINE**, featuring a specially designed function call format.

Model Overview

Qwen3-Coder-30B-A3B-Instruct** has the following features:

Type: Causal Language Models

Training Stage: Pretraining & Post-training

Number of Parameters: 30.5B in total and 3.3B activated

Number of Layers: 48

Number of Attention Heads (GQA): 32 for Q and 4 for KV

Number of Experts: 128

Number of Activated Experts: 8

Context Length: **262,144 natively**.

NOTE: This model supports only non-thinking mode and does not generate

Best Practices

To achieve optimal performance, we recommend the following settings:

• **Sampling Parameters**:
• We suggest using temperature=0.7 , top p=0.8 , top k=20 , repetition penalty=1.05 .

• **Adequate Output Length**: We recommend using an output length of 65,536 tokens for most queries, which is adequate for instruct models.

Citation

If you find our work helpful, feel free to give us a cite.