Megrez2-3x7B-A3B-Preview

Megrez2-3x7B-A3B-Preview

🔗 Github

   

📄 Tech Report

   

💻 Demo

   

💬 WeChat Official

 

中文 English

模型简介

Megrez2-3x7B-A3B-Preview 是专为终端设备设计的大模型，兼顾MoE的精度杠杆与Dense的总参数量友好。本次发布的为Megrez 2.0预览版本，训练数据量5T Tokens，未来我们计划完成更大规模的数据训练，并提高模型的推理和Agent能力，正式版本预计今年年内发布。

基础信息

:---: :---:

• *Architecture** Mixture-of-Experts (MoE)
• *Total Parameters** 3x7B
• *Activated Parameters** 3B
• *Experts Shared Frequency** 3
• *Number of Layers** (Dense layer included) 31
• *Number of Dense Layers** 1
• *Attention Hidden Dimension** 2048
• *MoE Hidden Dimension** (per Expert) 1408
• *Number of Attention Heads** 16
• *Number of Experts** 64
• *Selected Experts per Token** 6
• *Number of Shared Experts** 4
• *Vocabulary Size** 128,880
• *Context Length** 32K
• *Base Frequency of RoPE** 5,000,000
• *Attention Mechanism** GQA
• *Activation Function** SwiGLU

性能测试

我们使用开源评测工具 OpenCompass 对 Megrez2-3x7B-A3B-Preview 进行了评测，部分评测结果如下表所示。

Benchmark

Metric

Megrez2-3x7B-A3B-Preview

Qwen2.5-3B

Qwen2.5-7B

Qwen3-4B

Qwen3-8B

Phi-4-mini

Gemma-3-4B

GPT-4o-mini 2024-07-18

Activate Params (B)

• 0
• 1
• 6
• 0
• 2
• 8
• 3

Stored Params (B)

• 5
• 1
• 6
• 0
• 2
• 8
• 3

General Tasks

C-EVAL

EM

• 7
• 2
• 2
• 2
• 9
• 0
• 3

MMLU-Pro

EM

• 6
• 7
• 3
• 8
• 6

Instruction Tasks

IF-Eval

Prompt Strict

• 2
• 2
• 2
• 2
• 0
• 6
• 2
• 4

Math & STEM Tasks

MATH-500

EM

• 6
• 9
• 5
• 8
• 4
• 0
• 6
• 2

GSM8K

EM

• 6
• 7
• 6
• 2
• 6
• 2

Coding Tasks

HumanEval

Pass@1

• 4
• 4
• 8
• 9
• 4
• 3
• 2

MBPP

Pass@1

• 0
• 7
• 2
• 0
• 3
• 2

如何运行

Transformers

推荐使用最新版本的 transformers 或者 transformers>=4.52.4 的版本。

以下是一个非常简单的代码片段示例，展示如何运行 Megrez2-3x7B-A3B-Preview 模型：

ModelScope

ModelScope 采用了与 Transformers 类似（但不完全一致）的编程接口。对于基础使用，仅需将上面代码第一行做如下修改：

llama.cpp

即将到来...

如何部署

Megrez2-3x7B-A3B-Preview 支持使用 vLLM 和 SGLang 作为推理后端，更详细的信息请查看我们的github仓库。

最佳实践

为了获得最佳性能，建议以下设置：

• 采样参数：推荐使用 Temperature=0.7 和 TopP=0.9 。

• 标准化输出格式：在基准测试时，我们建议使用提示来标准化模型输出，比如：
• 数学问题：在提示中包含“请逐步推理，并将最终答案放在\boxed{}中。”
• 选择题：在提示中添加以下 JSON 结构以标准化响应：“请在 answer 字段中仅以选择字母的形式显示您的选择，例如 "answer": "C" 。”

许可声明

我们所有的开源模型均采用Apache 2.0协议授权。

引用信息

如果您觉得我们的代码和模型有用，请引用以下信息。

联系我们

如果您有任何问题，请随时提交GitHub issue或联系微信群组。