模型介绍
中文整理# Infinity Instruct
- *模型概述**
Infinity-Instruct-7M-Gen-Mistral-7B 是北京人工智能研究院（BAAI）开发的开源监督指令微调模型，未使用人类反馈强化学习（RLHF）。该模型基于 Mistral-7B-v0.1 进行微调，训练数据包括 Infinity-Instruct-7M 基础数据集和 Infinity-Instruct-Gen 指令数据集。
- *主要能力**
该模型在指令跟随和对话任务上表现优异。在 AlpacaEval 2.0 基准测试中，其表现优于 Mixtral 8x22B v0.1、Gemini Pro 和 GPT-4。模型在数学和代码等基础能力方面有所提升，并具备较强的聊天对话能力。
- *基准测试性能**
| 模型 | MT-Bench | AlpacaEval 2.0 | Arena Hard |
|------|----------|----------------|------------|
| InfInstruct-3M-0629-Mistral-7B | 8.1 | 40.0 | 26.9 |
| GPT-4-0314 | 9.0 | 35.3 | 50.0 |
| GPT-4-0613 | 9.2 | 30.2 | 37.9 |
| Gemini Pro | -- | 24.4 | 17.8 |
| Mixtral 8x7B v0.1 | 8.3 | 23.7 | 23.4 |
- *训练流程**
模型训练分为两个阶段：首先使用 Infinity-Instruct-7M 基础数据集提升 Mistral-7B-v0.1 的基础能力（数学与代码），得到基础指令模型 Infinity-Instruct-7M-Mistral-7B；随后对该模型进行进一步微调，获得更强的聊天模型 Infinity-Instruct-7M-Gen-Mistral-7B。训练过程中使用了 FlagScale 框架进行加速。
- *输入输出**
模型采用与 OpenHermes-2.5-Mistral-7B 相同的聊天模板，适用于对话场景。输入为用户指令或对话内容，输出为模型生成的回复。
- *运行要求**
模型基于 Mistral-7B 架构运行，需要相应的计算资源支持。
- *基本用法**
模型采用与 OpenHermes-2.5-Mistral-7B 相同的聊天模板，用户可参考该模板进行对话交互。
- *限制与许可证**
本项目资源（包括代码、数据和模型权重）仅限学术研究目的使用，不得用于商业用途。模型输出内容受随机性等不可控因素影响，项目不对输出准确性提供任何保证，亦不承担因使用相关资源或输出结果而产生的任何损失或法律责任。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。