模型介绍
中文整理Eagle3-Qwen3-8B-zh
💡 介绍
Eagle3-Qwen3-8B-zh** 基于开源的 **Qwen3-8B** 模型再训练所得,可用于 Eagle-3 投机解码算法,具备**中/英文本加速能力**,旨在加速语言大模型在解码阶段的推理速度。该模型使用中英文混合数据集进行训练,提高了中文接受率,适用于处理中/英文本的推理任务。
为降低训练成本,我们基于 Eagle 和 SpecForge 框架,搭建了一套面向消费级显卡和一体机生产环境的 Eagle-3 训练工具。其可在 NVIDIA RTX 4090 一体机上运行端到端的训练流程,且优化了运行效率,约用**3天时间**完成此次训练。
值得说明的是,我们用约 **135k** 条数据训练所得的草稿模型,其加速性能优于当前已开源的同类权重(英文加速表现略优,中文加速显著提升)。经实测,在单卡 NVIDIA RTX 4090 上,MT-bench(-zh)上单并发输出吞吐**中英文均达 🚀 2.5 倍**的解码加速。
注:项目内配置文件基于 SGLang 框架进行配置,如若用于 vLLM 等其他框架,请自行修改相关配置。
⚙️ 训练配置
在硬件资源有限的条件下,我们基于 **Eagle** 和 **SpecForge** 开源项目,搭建了一套面向消费级显卡的低成本 Eagle-3 权重训练工具,支持常用规模的大语言模型在一体机环境中的高效 Eagle-3 训练。
数据集:使用 ShareGPT-68K(英文)和 ShareGPT-Chinese-English-90k(中文)构建了 135K 条文本的训练数据集。训练数据集的 prompt 部分使用原数据集内容,output 部分则由 Qwen3-8B 模型重新生成。
训练环境:在 4 卡 24G 显存的 NVIDIA RTX 4090 显卡上展开训练,训练时长约 3 天。
🖥️ 推理命令
sglang 启动 eagle-3 算法服务
sglang 启动原始模型服务(用于对比实验)
🌟 性能测评
在单卡 NVIDIA RTX 4090 上,我们基于 Eagle-3 算法,在以下数据集上对开源权重进行了系统性的测试:
MT-bench :该数据集包含了 80 条英文多轮高质量的对话,涵盖了不同领域。
MT-bench-zh:中文版本的 MT-bench 数据集是通过通义千问官网的服务处理后,再经过人工修正所得。
C-Eval:从 C-Eval 数据集的每个类别中各抽取了 2 条数据,共构成了 104 条样本。
GSM8K:从 GSM8K 数据集中随机抽取了 100 条数据。
注:所有测试均在 4 并发下进行。MT-bench 生成 token 数设置上限为 512,C-Eval 与 GSM8K 为 2048
为确保结论的充分性,我们在不同的投机解码超参配置和请求采样参数配置下展开了大量实验。
🧪 实验一
设置每次推理进行 5 步投机解码迭代,保留 top-4 最高概率的 token 进行推测,最多选取 16 个草稿 token 进行并行验证。
  
MT-bench-zh
MT-bench
C-Eval
GSM8K
TemperatureModelSpeedupτSpeedupτSpeedupτSpeedupτ
T=0
Zjcxy-SmartAI/Eagle3-Qwen3-8B-zh2.16x3.442.27x3.622.25x3.382.81x4.18
AngelSlim/Qwen3-8B eagle30.79x1.252.18x3.520.83x1.212.27x3.32
Tengyunw/qwen3 8b eagle3B0.72x1.122.23x3.510.77x1.132.67x3.95
RedHatAI/Qwen3-8B-speculator.eagle30.88x1.332.03x3.12 - - - -
🧪 实验二
设置每次推理进行 6 步投机解码迭代,保留 top-10 最高概率的 token 进行推测,最多选取 32 个草稿token进行并行验证。(该配置为目前常用配置)
  
MT-bench-zh
MT-bench
C-Eval
GSM8K
TemperatureModelSpeedupτSpeedupτSpeedupτSpeedupτ
T=0
Zjcxy-SmartAI/Eagle3-Qwen3-8B-zh2.13x3.92.25x4.112.26x3.862.85x4.8
AngelSlim/Qwen3-8B eagle3 - - 2.16x4.01 - - 2.21x3.72
Tengyunw/qwen3 8b eagle3B - - 2.21x4 - - 2.66x4.5
T=1
Zjcxy-SmartAI/Eagle3-Qwen3-8B1.46x3.571.58x3.891.5x3.421.99x4.52
AngelSlim/Qwen3-8B eagle3 - - 1.53x3.84 - - 1.55x3.54
Tengyunw/qwen3 8b eagle3B - - 1.56x3.51 - - 1.85x4.26
🧪 实验三
在常用配置的基础上,基于 Qwen3-8B 官方推荐的采样参数配置,Temperature=0.6,TopP=0.95,TopK=20 和 MinP=0 。我们也进行了相关测试。
  
MT-bench-zh
MT-bench
C-Eval
GSM8K
TemperatureModelSpeedupτSpeedupτSpeedupτSpeedupτ
T=0.6
Zjcxy-SmartAI/Eagle3-Qwen3-8B-zh1.73x3.821.83x4.061.79x3.692.32x4.73
AngelSlim/Qwen3-8B eagle3 - - 1.78x3.97 - - 1.79x3.67
Tengyunw/qwen3 8b eagle3B - - 1.81x3.97 - - 2.17x4.45
RedHatAI/Qwen3-8B-speculator.eagle3 - - 1.61x3.43 - - - -
✏️ 实验结论
通过对比,我们获得如下结论:
综合来看,在训练数据规模为 **135k** 的条件下,模型在各项评测中均展现出不错的性能。与当前同规模的开源权重相比,本模型的猜词能力和加速效果**在维持英文任务优势的基础上,在中文任务上取得了显著进步**。实验进一步表明,在单卡 NVIDIA RTX 4090 显卡上,模型在中英文场景中的推理效率最高均可提升近 **2.5 倍**。
🔑 相关链接
Qwen3-8B 开源权重: https://www.modelscope.cn/models/Qwen/Qwen3-8B
Eagle 开源仓库:https://github.com/SafeAILab/EAGLE
SpecForce 训练框架:https://github.com/sgl-project/SpecForge
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.
