模型介绍
中文整理✨ Falcon-7B-Instruct
Falcon-7B-Instruct 是 TII 在 Falcon-7B的基础上建立的7B参数因果解码器专用模型，并在chat/instruct数据集的混合中进行了微调。它是在Apache 2.0许可下提供的。**
Paper coming soon 😊.*
为什么使用Falcon-7B-Instruct?
- *您正在寻找一个基于Falcon-7B的即用型chat/instruct模型.**
- *猎鹰-7B是一个强大的基础模型，性能优于可比的开源模型** (e.g., MPT-7B, StableLM, RedPajama etc.), 得益于在1,500B tokens 的 RefinedWeb 通过精心策划的语料库来加强。See the OpenLLM Leaderboard.
- *它有一个为推理而优化的架构**, with FlashAttention (Dao et al., 2022) and multiquery (Shazeer et al., 2019).
💬 **这是一个指导性的模型，对于进一步的微调可能并不理想。** 如果你有兴趣建立你自己的指示/聊天模型，我们建议从猎鹰-7B开始.
🔥 **想找一个更强大的模型吗？** Falcon-40B-Instruct 是Falcon-7B-Instruct的大哥!
💥 **Falcon LLMs require PyTorch 2.0 for use with transformers !**
Model Card for Falcon-7B-Instruct
模型细节
模型描述
- *开发者/单位:** https://www.tii.ae;
- *模型类型:** Causal decoder-only;
- *语言(NLP):** English and French;
- *许可证:** Apache 2.0;
- *根据模型进行微调:** Falcon-7B.
模型来源
- *Paper:** *coming soon*.
用途
直接使用
猎鹰-7B-Instruct已经在指示和聊天数据集的混合中进行了微调。
范围外的使用
在没有充分评估风险和缓解措施的情况下进行生产使用；任何可能被认为是不负责任或有害的使用情况。
偏见、风险和局限性
Falcon-7B-Instruct主要是在英语数据上训练的，不会适当地推广到其他语言。此外，由于它是在代表网络的大规模语料库上训练的，它将带有网上常见的定型观念和偏见。
建议
我们建议Falcon-7B-Instruct的用户制定护栏，并对任何生产使用采取适当的预防措施。
训练细节
训练数据
Falcon-7B-Instruct在250M tokens混合的指示/聊天数据集上进行了微调。
- *Data source** **Fraction** **Tokens** **Description**
- ------------------- -------------- ------------ -----------------------------------
Bai ze 65% 164M chat
GPT4All 25% 62M instruct
GPTeacher 5% 11M instruct
RefinedWeb-English 5% 13M massive web crawl
The data was tokenized with the Falcon-7B/40B tokenizer.
评价
Paper coming soon.*
See the OpenLLM Leaderboard for early results.
请注意，这个模型变体没有针对NLP基准进行优化。
技术参数
有关预训练的更多信息, 请见Falcon-7B.
许可证
Falcon-7B-Instruct is made available under the Apache 2.0 license.
联系
falconllm@tii.ae
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。