All systems operationalAI Agent Automation Platform
English
Language简体中文EnglishSelected

Choose your language

Qwen-WisdomVast-Lora

seanzhang/Qwen-WisdomVast-Lora

Publisherseanzhang

Download access requirementsModelScope source

Qwen-WisdomVast (千问-智瀚) Qwen-WisdomVast是以Qwen1.5-7B为底座,使用 DORA + LORA+ 的训练方法,在100w高质量中文多轮SFT数据 + 20w英文多轮SFT数据 + 2000单轮自我认知数据训练而来的大模型,数学能力相比Qwen1.5-7B-Chat提升了5.16%,在HumanEval数据集上相比Qwen1.5-7B-Chat提升了12.8,在MBPP数据集上提升了11.6%,在BBH数据集上提升了12.44%,全部

Text Chat
Model details

模型介绍

中文整理

Qwen-WisdomVast (千问-智瀚)

介绍

Qwen-WisdomVast**是**以Qwen1.5-7B为底座**,使用 DORA + LORA+ 的训练方法,在100w高质量中文多轮SFT数据 + 20w英文多轮SFT数据 + 2000单轮自我认知数据训练而来的大模型,**数学能力**相比Qwen1.5-7B-Chat**提升了5.16%**,在**HumanEval**数据集上相比Qwen1.5-7B-Chat**提升了12.8**,在**MBPP**数据集上**提升了11.6%**,在**BBH**数据集上**提升了12.44%**,全部评测表现见下表。

GitHub:**https://github.com/seanzhang-zhichen/Qwen-WisdomVast

评测表现

Model MMLU C-Eval GSM8K MATH HumanEval MBPP BBH

  • ------------------ ------- -------- ------- ------- ----------- ------- -------
  • *Qwen1.5-7B-Chat** 60.88 70.18 54.13 7.96 31.10 15.00 31.67
  • *Qwen-WisdomVast** 57.09 **70.82** 51.93 **13.12** **43.90** **26.60** **44.11**

说明:

由于官方并未公布Qwen1.5-7B-Chat的评测表现,所以我们自己使用opencompass测试得到以上结果

Qwen-WisdomVast使用和Qwen1.5-7B-Chat一样的参数进行测试

模型下载

Model Download

:-------------------: :-----------:

Qwen1.5-7B 🤗 HuggingFace 🤖 ModelScope

Qwen-WisdomVast-Lora 🤗 HuggingFace 🤖 ModelScope

Qwen-WisdomVast (合并好的模型) 🤗 HuggingFace 🤖 ModelScope

合并LORA模型(可跳过)

  • 下载 Qwen1.5-7B
  • 下载Qwen-WisdomVast-Lora

From ModelScope**

From HuggingFace**

  • 合并模型

下载 Qwen-WisdomVast(合并好的模型)

From ModelScope**

From HuggingFace**

命令行推理

web 推理

vllm web 推理

  • 使用vllm部署模型
  • 在命令行执行

复现测试结果

  • 使用vllm部署 openai api server

部署命令:

  • 使用opencompass框架进行测试

参考:使用opencompass验证模型效果

按照以上文章修改好后,将 eval qwen wisdomvast.py 文件到 opencompass/configs 文件夹下

  • 执行测试脚本

LICENSE

本项目仅可应用于研究目的,项目开发者不承担任何因使用本项目(包含但不限于数据、模型、代码等)导致的危害或损失。详细请参考免责声明。

Qwen-WisdomVast项目代码的授权协议为 The Apache License 2.0,代码可免费用做商业用途,模型权重和数据只能用于研究目的。请在产品说明中附加Qwen-WisdomVast的链接和授权协议。

Citation

如果你在研究中使用了Qwen-WisdomVast,请按如下格式引用:

Acknowledgement

QwenLM/Qwen1.5

hiyouga/LLaMA-Factory

shibing624/MedicalGPT

modelscope/swift

Star History

[](https://star-history.com/#seanzhang-zhichen/Qwen-WisdomVast&Date)

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

Back to top