All systems operationalAI Agent Automation Platform
English
Language简体中文EnglishSelected

Choose your language

chinese-alpaca-plus-13b-hf

AI-ModelScope/chinese-alpaca-plus-13b-hf

PublisherAI-ModelScope

Download access requirementsModelScope source

Chinese Alpaca Plus 13B Model 发布中文LLaMA-Plus, Alpaca-Plus 13B版本模型 发布中文LLaMA-Plus, Alpaca-Plus 13B版本,改进点如下:

Text Chat
Model details

模型介绍

中文整理

Chinese Alpaca Plus 13B Model

发布中文LLaMA-Plus, Alpaca-Plus 13B版本模型**

发布中文LLaMA-Plus, Alpaca-Plus 13B版本,改进点如下:

相比基础版进一步扩充了训练数据,其中LLaMA扩充至120G文本,Alpaca扩充至4.3M指令数据,重点增加了科学领域数据,涵盖:物理、化学、生物、医学、地球科学等

Alpaca训练时采用了更大的rank,相比基础版具有更低的验证集损失

Alpaca评测结果:13B获得74.3分,Plus-7B获得78.2分,Plus-13B获得80.8分,具体评测结果请参考效果评测

多轮回复长度相比旧模型提升明显(可适当增大温度系数)

知识问答、写作、翻译等方面效果显著提升

本模型是 decapoda-research/llama-13b-hf

底座模型 合并 ziqingyang/chinese-llama-plus-lora-13b

和 ziqingyang/chinese-alpaca-plus-lora-13b 两个LoRA权重,

并转化为HuggingFace版本权重(.bin文件),可以直接使用或者继续训练。

test case:

input text predict

:-- :---

为什么天空是蓝色的? 天空是蓝色的是因为大气中的气体分子散射了太阳光中的短波长蓝光,使得我们看到的天空呈现出蓝色。

release model weight

chinese-llama-plus-7b 模型权重链接:https://huggingface.co/minlik/chinese-llama-plus-7b-merged

chinese-alpaca-plus-7b 模型权重链接:https://huggingface.co/shibing624/chinese-alpaca-plus-7b-hf

chinese-llama-plus-13b 模型权重链接:https://huggingface.co/shibing624/chinese-llama-plus-13b-hf

chinese-aplaca-plus-13b 模型权重链接:https://huggingface.co/shibing624/chinese-alpaca-plus-13b-hf

Usage

本项目开源在textgen项目:textgen,可支持llama模型,通过如下命令调用:

Install package:

Usage (HuggingFace Transformers)

Without textgen, you can use the model like this:

First, you pass your input through the transformer model, then you get the generated sentence.

Install package:

output:

示例代码

模型来源

release合并后的模型权重,一步到位直接使用,省电、减少碳排放。

基于 多LoRA权重合并(适用于Chinese-Alpaca-Plus )方法手动合并而成,具体是使用 decapoda-research/llama-13b-hf

底座模型 合并 ziqingyang/chinese-llama-plus-lora-13b 和 ziqingyang/chinese-alpaca-plus-lora-13b 两个LoRA权重 得到,并转化为HuggingFace版本权重(.bin文件)。

HuggingFace版本权重(.bin文件)可用于:

使用Transformers进行训练和推理

使用text-generation-webui搭建界面

PyTorch版本权重(.pth文件)可用于:

使用llama.cpp工具进行量化和部署

PyTorch版本权重(.pth文件)链接:shibing624/chinese-alpaca-plus-13b-pth

模型文件组成:

硬件要求:25G显存

微调数据集

我整理部分公开微调数据集:

  • 50万条中文ChatGPT指令Belle数据集:BelleGroup/train 0.5M CN
  • 100万条中文ChatGPT指令Belle数据集:BelleGroup/train 1M CN
  • 5万条英文ChatGPT指令Alpaca数据集:50k English Stanford Alpaca dataset
  • 5万条中文GPT4指令Alpaca数据集:shibing624/alpaca-zh
  • 69万条中文指令Guanaco数据集(Belle50万条+Guanaco19万条):Chinese-Vicuna/guanaco belle merge v1.0

如果需要训练LLaMA模型,请参考https://github.com/shibing624/textgen

Citation

Reference

https://github.com/ymcui/Chinese-LLaMA-Alpaca

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

Back to top