模型介绍
中文整理Qwen-WisdomVast (千问-智瀚)
介绍
Qwen-WisdomVast**是**以Qwen1.5-7B为底座**,使用 DORA + LORA+ 的训练方法,在100w高质量中文多轮SFT数据 + 20w英文多轮SFT数据 + 2000单轮自我认知数据训练而来的大模型,**数学能力**相比Qwen1.5-7B-Chat**提升了5.16%**,在**HumanEval**数据集上相比Qwen1.5-7B-Chat**提升了12.8**,在**MBPP**数据集上**提升了11.6%**,在**BBH**数据集上**提升了12.44%**,全部评测表现见下表。
GitHub:**https://github.com/seanzhang-zhichen/Qwen-WisdomVast
评测表现
Model MMLU C-Eval GSM8K MATH HumanEval MBPP BBH
- ------------------ ------- -------- ------- ------- ----------- ------- -------
- *Qwen1.5-7B-Chat** 60.88 70.18 54.13 7.96 31.10 15.00 31.67
- *Qwen-WisdomVast** 57.09 **70.82** 51.93 **13.12** **43.90** **26.60** **44.11**
说明:
由于官方并未公布Qwen1.5-7B-Chat的评测表现,所以我们自己使用opencompass测试得到以上结果
Qwen-WisdomVast使用和Qwen1.5-7B-Chat一样的参数进行测试
模型下载
Model Download
:-------------------: :-----------:
Qwen1.5-7B 🤗 HuggingFace 🤖 ModelScope
Qwen-WisdomVast-Lora 🤗 HuggingFace 🤖 ModelScope
Qwen-WisdomVast (合并好的模型) 🤗 HuggingFace 🤖 ModelScope
合并LORA模型(可跳过)
- 下载 Qwen1.5-7B
- 下载Qwen-WisdomVast-Lora
From ModelScope**
From HuggingFace**
- 合并模型
下载 Qwen-WisdomVast(合并好的模型)
From ModelScope**
From HuggingFace**
命令行推理
web 推理
vllm web 推理
- 使用vllm部署模型
- 在命令行执行
复现测试结果
- 使用vllm部署 openai api server
部署命令:
- 使用opencompass框架进行测试
参考:使用opencompass验证模型效果
按照以上文章修改好后,将 eval qwen wisdomvast.py 文件到 opencompass/configs 文件夹下
- 执行测试脚本
LICENSE
本项目仅可应用于研究目的,项目开发者不承担任何因使用本项目(包含但不限于数据、模型、代码等)导致的危害或损失。详细请参考免责声明。
Qwen-WisdomVast项目代码的授权协议为 The Apache License 2.0,代码可免费用做商业用途,模型权重和数据只能用于研究目的。请在产品说明中附加Qwen-WisdomVast的链接和授权协议。
Citation
如果你在研究中使用了Qwen-WisdomVast,请按如下格式引用:
Acknowledgement
QwenLM/Qwen1.5
hiyouga/LLaMA-Factory
shibing624/MedicalGPT
modelscope/swift
Star History
[](https://star-history.com/#seanzhang-zhichen/Qwen-WisdomVast&Date)
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
