模型介绍
中文整理license: apache-2.0
language:
zh
en
- *📣📣📣 v3版指令模型已发布，欢迎使用 👉 [[HF版]](https://modelscope.cn/models/ChineseAlpacaGroup/llama-3-chinese-8b-instruct-v3) [[GGUF版]](https://modelscope.cn/models/ChineseAlpacaGroup/llama-3-chinese-8b-instruct-v3-gguf)**
Llama-3-Chinese-8B-Instruct-v2-GGUF
这个仓库包含了**Llama-3-Chinese-8B-Instruct-v2-GGUF**（兼容llama.cpp/ollama等），是Llama-3-Chinese-8B-Instruct-v2模型的量化版本。
注意：这是一个指令模型，可以直接适用于对话、问答等任务。**
更多细节（性能、使用方法等）请参考GitHub项目页面：https://github.com/ymcui/Chinese-LLaMA-Alpaca-3
量化性能
评测指标：PPL，**越低越好**
Quant Size PPL
:---: -------: ------------------:
Q2 K 2.96 GB 13.2488 +/- 0.17217
Q3 K 3.74 GB 6.9618 +/- 0.08420
Q4 0 4.34 GB 6.8925 +/- 0.08437
Q4 K 4.58 GB 6.4851 +/- 0.07892
Q5 0 5.21 GB 6.4608 +/- 0.07862
Q5 K 5.34 GB 6.3742 +/- 0.07740
Q6 K 6.14 GB 6.3494 +/- 0.07703
Q8 0 7.95 GB 6.3110 +/- 0.07673
F16 14.97 GB 6.3005 +/- 0.07658
其他
完整模型：https://modelscope.cn/models/ChineseAlpacaGroup/llama-3-chinese-8b-instruct-v2
LoRA模型：https://modelscope.cn/models/ChineseAlpacaGroup/llama-3-chinese-8b-instruct-v2-lora
关于本模型的提问，请通过 https://github.com/ymcui/Chinese-LLaMA-Alpaca-3 提交issue
This repository contains **Llama-3-Chinese-8B-Instruct-v2-GGUF** (llama.cpp/ollama/tgw, etc. compatible), which is the quantized version of Llama-3-Chinese-8B-Instruct-v2.
Note: this is an instruction (chat) model, which can be used for conversation, QA, etc.**
Further details (performance, usage, etc.) should refer to GitHub project page: https://github.com/ymcui/Chinese-LLaMA-Alpaca-3
Performance
Metric: PPL, lower is better
Quant Size PPL
:---: -------: ------------------:
Q2 K 2.96 GB 13.2488 +/- 0.17217
Q3 K 3.74 GB 6.9618 +/- 0.08420
Q4 0 4.34 GB 6.8925 +/- 0.08437
Q4 K 4.58 GB 6.4851 +/- 0.07892
Q5 0 5.21 GB 6.4608 +/- 0.07862
Q5 K 5.34 GB 6.3742 +/- 0.07740
Q6 K 6.14 GB 6.3494 +/- 0.07703
Q8 0 7.95 GB 6.3110 +/- 0.07673
F16 14.97 GB 6.3005 +/- 0.07658
Others
For full model, please see: https://huggingface.co/hfl/llama-3-chinese-8b-instruct-v2
For LoRA-only model, please see: https://huggingface.co/hfl/llama-3-chinese-8b-instruct-v2-lora
If you have questions/issues regarding this model, please submit an issue through https://github.com/ymcui/Chinese-LLaMA-Alpaca-3
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。