All systems operationalAI Agent Automation Platform
English
Language简体中文EnglishSelected

Choose your language

Lingzhi-7B-chat

LingzhiLLM/Lingzhi-7B-chat

PublisherLingzhiLLM

Download access requirementsModelScope source

从Qwen2-base完美复现了Qwen2-chat,并公开了训练数据; 在垂类领域训练场景下,灵智模型能够在提升垂类领域性能的同时也保持了通用领域的性能; 对多种训练范式(例如直接指令微调,先持续预训练再指令微调等八种范式)做了总结,并针对不同的模型大小采取了最佳的训练范式;

Text Chat
Model details

模型介绍

中文整理

灵智大模型 - 垂直领域行业专家

🌐 官方网站,欢迎访问

✨ 亮点

从Qwen2-base完美复现了Qwen2-chat,并公开了训练数据;

在垂类领域训练场景下,灵智模型能够在提升垂类领域性能的同时也保持了通用领域的性能;

对多种训练范式(例如直接指令微调,先持续预训练再指令微调等八种范式)做了总结,并针对不同的模型大小采取了最佳的训练范式;

开源了8个灵智模型: Lingzhi-0.5B-chat , Lingzhi-0.8B-chat , Lingzhi-1.5B-chat , Lingzhi-2.7B-chat , Lingzhi-7B-chat , Lingzhi-10B-chat , Lingzhi-57MOE14B-chat , Lingzhi-72B-chat .

📄 摘要

在实际应用中,当预训练数据不可用时,进行**持续训练**是很常见的。然而,持续训练往往会在增强领域特定技能的同时导致大语言模型(LLMs)灾难性地遗忘其通用能力。在本文中,我们首先对常见的持续训练范式进行了实证研究,然后选择了最佳范式来训练灵智系列模型。实验表明,灵智能够在保持通用能力的同时增强领域特定的性能。我们已经开源了所有模型、训练数据和基准测试,用户可以将它们应用到自己的领域特定区域。

📘 介绍

大语言模型(LLMs)近年来因其在各种实际下游任务中的出色表现而备受关注。实际上,尽管现有的LLMs在通用领域表现良好,但由于在预训练或指令微调期间缺乏特定领域的专业暴露,它们可能在用户需要的特定领域(如会计、法律、金融)中表现不佳。

为了提升LLMs在特定领域的表现,我们需要收集相应的数据进行持续学习,如持续预训练(CPT)或有监督微调(SFT)。然而,我们注意到,仅在特定领域进行持续学习可能导致通用能力的灾难性遗忘,如规划、指令执行、数学、编程和自然语言理解等。

为了同时保持通用和领域特定能力,通常会部署一个未修改的原生模型用于通用任务,而一个微调模型用于专业任务。这将对计算硬件资源(如GPU和内存)提出巨大的需求,从而阻碍商业部署。众所周知,上述现象是业界面临的一个非常棘手的问题。因此,一个值得研究的问题出现了:如何在持续学习过程中提高领域特定的表现,而不损害通用能力?

为了解决这个问题,我们进行了实证研究,探索了各种持续学习范式并总结了它们的优缺点。最终,在实证研究之后,我们选择了最佳的学习范式和训练数据,基于Qwen2-base进行持续学习,衍生出我们的灵智系列模型。经过大量实验,灵智能够在多个特定领域中表现出色,同时在通用能力方面也表现出与原始Qwen2-chat模型相当的性能。

📋 示例

  • huggingface示例代码
  • modelscope示例代码

📊 结果

备注:Baselines中Qwen2的所有结果均是在我们统一的环境下进行评测的。

  • *Base Model** **General** **Domains** **Avg.**

:-------------------- :---------- :----- :---------- :----- :------- :----- :-------- :----- :---------- :----- :-------

  • *English** **Chinese** **Math** **Code**

MMLU BBH C-Eval CMMLU GSM8K MathQA HumanEval MBPP Account Law

  • **Baselines***

Qwen2-0\.5B-chat 43\.30 10\.35 54\.16 53\.57 33\.97 25\.76 20\.73 12\.40 17\.01 25\.00 29\.62

Qwen2-1\.5B-chat 55\.73 9\.55 69\.32 70\.13 54\.21 32\.93 42\.68 20\.60 32\.65 42\.07 42\.99

Qwen2-7B-chat 69\.82 30\.56 81\.58 81\.77 66\.26 44\.09 72\.56 42\.20 55\.10 59\.15 60\.31

Qwen2-57MOE14B-chat

Qwen2-72B-chat

  • **Lingzhi Models***

Lingzhi-0\.5B-chat 44\.25 25\.65 55\.05 53\.74 29\.34 29\.18 25\.00 22\.40 25\.85 40\.24 35\.07

Lingzhi-0\.8B-chat 42\.93 27\.77 53\.34 50\.98 21\.00 28\.84 28\.66 18\.00 24\.49 40\.85 33\.69

Lingzhi-1\.5B-chat 55\.35 33\.67 69\.47 69\.10 49\.58 35\.31 39\.02 31\.00 37\.41 42\.68 46\.26

Lingzhi-2\.7B-chat 53\.65 36\.77 67\.09 67\.39 46\.02 34\.51 40\.85 30\.00 38\.10 60\.98 47\.54

Lingzhi-7B-chat 69\.06 58\.95 82\.69 83\.05 74\.22 45\.59 56\.10 49\.80 72\.79 89\.02 68\.13

Lingzhi-10B-chat 69\.37 64\.37 81\.50 82\.27 76\.19 46\.00 60\.98 50\.40 70\.07 82\.93 68\.41

Lingzhi-57MOE14B-chat

Lingzhi-72B-chat

📚 引用

⚠️ **警告** 如果您用到了我们的模型和数据,请使用以下参考文献。

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

Back to top