模型介绍
中文整理Eagle3-Qwen3-4B-Instruct-2507-zh
介绍
Eagle3-Qwen3-4B-Instruct-2507-zh** 基于开源的 Qwen3-4B-Instruct-2507 模型再训练所得,可用于 Eagle-3 投机解码算法,具备**中/英文本加速能力**,旨在加速语言大模型在解码阶段的推理速度。该模型使用中英文混合数据集进行训练,优化了中文接受率,适用于处理中/英文本的推理任务。
注:项目内配置文件基于 SGLang 框架进行配置,如若用于 vLLM 等其他框架,请自行修改相关配置。
训练配置
在 Eagle 官方开源仓库的指导下,我们使用开源代码仓 **SpecForge** 来训练获取适用于 Qwen3-4B-Instruct-2507 非推理模型且具备中/英文本加速能力的 Eagle-3 权重。
数据集:分别从 ShareGPT-68K (英文)和 ShareGPT-Chinese-English-90k (中文)数据集中选取32K条样本来构造中英问题1:1的训练数据集(共68K数据)。训练数据集的 prompt 部分使用原数据集内容,output 部分则由 Qwen3-4B-Instruct-2507 模型重新生成。
训练环境:在2卡24G显存的 NVIDIA RTX 4090 显卡上开展训练,训练时长约3天
推理命令
sglang 启动 eagle-3 算法服务
sglang 启动原始模型服务(用于对比实验)
性能测评
我们在单卡 4090 环境下,基于多轮对话 MT-bench 数据集开展了性能测试。我们分别使用了中英文版本的 MT-bench 数据集。其中,中文版本的数据集是通过通义千问官网的服务处理后,再经过人工修改得到的。测试结果如下所示:
数据集 并发数(parallel) Throughput/parallel(tokens/s) Accept length 推理效率 (Inference Speedup)
- ----------- ------------------ ------------------------------- --------------- ------------------------------
MT-bench-zh 1 211.18 3.33 2.08x
MT-bench-zh 4 171.92 3.33 1.94x
数据集 并发数(parallel) Throughput/parallel(tokens/s) Accept length 推理效率 (Inference Speedup)
- ----------- ------------------ ------------------------------- --------------- ------------------------------
MT-bench-en 1 208.06 3.27 2.05x
MT-bench-en 4 169.37 3.27 1.91x
其对应仅使用原始模型的效果如下:
数据集 并发数(parallel) Throughput/parallel(tokens/s)
- ----------- ------------------ ------------------------------
MT-bench-zh 1 101.3
MT-bench-zh 4 88.62
MT-bench-en 1 101.32
MT-bench-en 4 88.51
通过对比,我们获得如下结论
综合来看,在训练数据68k的前提下,模型在中英文数据集上的表现较为均衡,**推理效率的提升幅度都接近 2 倍**,充分展示了模型在处理中/英文文本任务时的优异性能和稳定性。
注:
- 计算公式 推理效率 = 优化后吞吐量(tokens/s)/ 基线吞吐量(tokens/s)
- 通过前期的大量实践,我们所选定的服务参数配置虽然会牺牲部分 Accept length ,但在当前配置下运行推理速率相对最佳。
相关链接
Qwen3-4B-Instruct-2507开源权重: https://www.modelscope.cn/models/Qwen/Qwen3-4B-Instruct-2507
Eagle开源仓库:https://github.com/SafeAILab/EAGLE
SpecForce训练框架:https://github.com/sgl-project/SpecForge
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
