模型介绍
中文整理license: apache-2.0
language:
zh
en
Llama-3-Chinese-8B-Instruct-v3-GGUF
这个仓库包含了**Llama-3-Chinese-8B-Instruct-v3-GGUF**（兼容llama.cpp/ollama等），是Llama-3-Chinese-8B-Instruct-v3模型的量化版本。
注意：这是一个指令模型，可以直接适用于对话、问答等任务。**
更多细节（性能、使用方法等）请参考GitHub项目页面：https://github.com/ymcui/Chinese-LLaMA-Alpaca-3
量化性能
评测指标：PPL，**越低越好**
Quant Size PPL
:---: -------: ------------------:
Q2 K 2.96 GB 10.0534 +/- 0.13135
Q3 K 3.74 GB 6.3295 +/- 0.07816
Q4 0 4.34 GB 6.3200 +/- 0.07893
Q4 K 4.58 GB 6.0042 +/- 0.07431
Q5 0 5.21 GB 6.0437 +/- 0.07526
Q5 K 5.34 GB 5.9484 +/- 0.07399
Q6 K 6.14 GB 5.9469 +/- 0.07404
Q8 0 7.95 GB 5.8933 +/- 0.07305
F16 14.97 GB 5.8902 +/- 0.07303
其他
完整模型：https://modelscope.cn/models/ChineseAlpacaGroup/llama-3-chinese-8b-instruct-v3
关于本模型的提问，请通过 https://github.com/ymcui/Chinese-LLaMA-Alpaca-3 提交issue
This repository contains **Llama-3-Chinese-8B-Instruct-v3-GGUF** (llama.cpp/ollama/tgw, etc. compatible), which is the quantized version of Llama-3-Chinese-8B-Instruct-v3.
Note: this is an instruction (chat) model, which can be used for conversation, QA, etc.**
Further details (performance, usage, etc.) should refer to GitHub project page: https://github.com/ymcui/Chinese-LLaMA-Alpaca-3
Performance
Metric: PPL, lower is better
Quant Size PPL
:---: -------: ------------------:
Q2 K 2.96 GB 10.0534 +/- 0.13135
Q3 K 3.74 GB 6.3295 +/- 0.07816
Q4 0 4.34 GB 6.3200 +/- 0.07893
Q4 K 4.58 GB 6.0042 +/- 0.07431
Q5 0 5.21 GB 6.0437 +/- 0.07526
Q5 K 5.34 GB 5.9484 +/- 0.07399
Q6 K 6.14 GB 5.9469 +/- 0.07404
Q8 0 7.95 GB 5.8933 +/- 0.07305
F16 14.97 GB 5.8902 +/- 0.07303
Others
For full model, please see: https://huggingface.co/hfl/llama-3-chinese-8b-instruct-v3
If you have questions/issues regarding this model, please submit an issue through https://github.com/ymcui/Chinese-LLaMA-Alpaca-3
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。