模型介绍
中文整理# LLaMA-Pro-8B 模型卡片
Model use case
LLaMA-Pro 适用于广泛的自然语言处理任务，重点关注编程、数学和通用语言任务。该模型特别适合需要融合自然语言与编程语言的场景。
## 主要能力
LLaMA-Pro 是原始 LLaMA 模型的渐进版本，通过增加 Transformer 块进行增强。该模型擅长整合通用语言理解与领域特定知识，尤其在编程和数学领域表现突出。
## 发展与训练
LLaMA-Pro 由腾讯 ARC Lab 开发，是一个拥有 83 亿参数的模型。它基于 LLaMA2-7B 扩展而来，在代码和数学语料上进行了进一步训练，训练数据总量达 800 亿个 token。
## 性能表现
LLaMA-Pro 在各类基准测试中展现出先进的性能。该模型在处理多样化任务方面优于 LLaMA 系列现有模型，显示出作为智能语言代理的能力。
### 语言、数学和代码任务综合表现
| 模型 | ARC | Hellaswag | MMLU | TruthfulQA | Winogrande | GSM8K | GSM8K-PoT | HumanEval | MBPP | 平均 |
|------|-----|-----------|------|------------|------------|-------|-----------|-----------|------|------|
| LLaMA-Pro (8B) | 54.10 | 77.94 | 47.88 | 39.04 | 73.95 | 17.89 | 25.42 | 28.66 | 33.20 | 44.2 |
| LLaMA2-7B | 53.07 | 78.59 | 46.87 | 38.76 | 74.03 | 14.48 | 17.68 | 13.05 | 20.09 | 39.62 |
| CodeLLaMA-7B | 39.93 | 60.80 | 31.12 | 37.82 | 64.01 | 5.16 | 25.20 | 33.50 | 41.40 | 37.66 |
| LLaMA-Pro-Instruct | 52.30 | 76.88 | 52.57 | 48.80 | 72.53 | 43.59 | 55.61 | 44.51 | 37.88 | 53.8 |
### GPT4 评估表现
| 模型 | MT Bench |
|------|----------|
| Alpaca-13B | 4.53 |
| CodeLLaMA-7B-Instruct | 5.71 |
| Vicuna-7B | 6.17 |
| LLaMA2-7B-Chat | 6.27 |
| LLaMA-Pro-Instruct | 6.32 |
限制
尽管 LLaMA-Pro 解决了该系列先前模型的一些局限性，但在高度专业化领域或特定任务中仍可能遇到挑战。
## 伦理考量
用户应意识到模型可能存在的偏见，并负责任地使用该模型，考虑其对各类应用的影响。
License
本模型卡片中未提供许可证相关信息。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
Problem with the information or download?
Sign in to submit feedback.