模型介绍
中文整理Chinese Alpaca Plus 13B Model
发布中文LLaMA-Plus, Alpaca-Plus 13B版本模型**
发布中文LLaMA-Plus, Alpaca-Plus 13B版本,改进点如下:
相比基础版进一步扩充了训练数据,其中LLaMA扩充至120G文本,Alpaca扩充至4.3M指令数据,重点增加了科学领域数据,涵盖:物理、化学、生物、医学、地球科学等
Alpaca训练时采用了更大的rank,相比基础版具有更低的验证集损失
Alpaca评测结果:13B获得74.3分,Plus-7B获得78.2分,Plus-13B获得80.8分,具体评测结果请参考效果评测
多轮回复长度相比旧模型提升明显(可适当增大温度系数)
知识问答、写作、翻译等方面效果显著提升
本模型是 decapoda-research/llama-13b-hf
底座模型 合并 ziqingyang/chinese-llama-plus-lora-13b
和 ziqingyang/chinese-alpaca-plus-lora-13b 两个LoRA权重,
并转化为HuggingFace版本权重(.bin文件),可以直接使用或者继续训练。
test case:
input text predict
:-- :---
为什么天空是蓝色的? 天空是蓝色的是因为大气中的气体分子散射了太阳光中的短波长蓝光,使得我们看到的天空呈现出蓝色。
release model weight
chinese-llama-plus-7b 模型权重链接:https://huggingface.co/minlik/chinese-llama-plus-7b-merged
chinese-alpaca-plus-7b 模型权重链接:https://huggingface.co/shibing624/chinese-alpaca-plus-7b-hf
chinese-llama-plus-13b 模型权重链接:https://huggingface.co/shibing624/chinese-llama-plus-13b-hf
chinese-aplaca-plus-13b 模型权重链接:https://huggingface.co/shibing624/chinese-alpaca-plus-13b-hf
Usage
本项目开源在textgen项目:textgen,可支持llama模型,通过如下命令调用:
Install package:
Usage (HuggingFace Transformers)
Without textgen, you can use the model like this:
First, you pass your input through the transformer model, then you get the generated sentence.
Install package:
output:
示例代码
模型来源
release合并后的模型权重,一步到位直接使用,省电、减少碳排放。
基于 多LoRA权重合并(适用于Chinese-Alpaca-Plus )方法手动合并而成,具体是使用 decapoda-research/llama-13b-hf
底座模型 合并 ziqingyang/chinese-llama-plus-lora-13b 和 ziqingyang/chinese-alpaca-plus-lora-13b 两个LoRA权重 得到,并转化为HuggingFace版本权重(.bin文件)。
HuggingFace版本权重(.bin文件)可用于:
使用Transformers进行训练和推理
使用text-generation-webui搭建界面
PyTorch版本权重(.pth文件)可用于:
使用llama.cpp工具进行量化和部署
PyTorch版本权重(.pth文件)链接:shibing624/chinese-alpaca-plus-13b-pth
模型文件组成:
硬件要求:25G显存
微调数据集
我整理部分公开微调数据集:
- 50万条中文ChatGPT指令Belle数据集:BelleGroup/train 0.5M CN
- 100万条中文ChatGPT指令Belle数据集:BelleGroup/train 1M CN
- 5万条英文ChatGPT指令Alpaca数据集:50k English Stanford Alpaca dataset
- 5万条中文GPT4指令Alpaca数据集:shibing624/alpaca-zh
- 69万条中文指令Guanaco数据集(Belle50万条+Guanaco19万条):Chinese-Vicuna/guanaco belle merge v1.0
如果需要训练LLaMA模型,请参考https://github.com/shibing624/textgen
Citation
Reference
https://github.com/ymcui/Chinese-LLaMA-Alpaca
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.
