模型介绍
中文整理Tongyi-Finance-14B-Chat-Int4
介绍 (Introduction)
通义金融-14B**（**Tongyi-Finance-14B**）是针对对金融行业推出的大语言模型，基于通义千问基础模型进行行业语料增量学习，强化金融领域知识和场景应用能力，覆盖金融知识问答、文本分类、信息抽取、文本创作、阅读理解、逻辑推理、多模态、Coding等能力象限。同时，在Tongyi-Finance-14B的基础上，我们使用对齐机制打造了基于大语言模型的AI助手Tongyi-Finance-14B-Chat。本仓库为Tongyi-Finance-14B-Chat的Int4量化模型的仓库。
要求（Requirements）和 依赖项 (Dependency)
python 3.8及以上版本
pytorch 1.12及以上版本，推荐2.0及以上版本
建议使用CUDA 11.4及以上（GPU用户、flash-attention用户等需考虑此选项）
请确保满足上述要求，再执行以下pip命令安装依赖库
另外，推荐安装 flash-attention 库，以实现更高的效率和更低的显存占用。
更详细的要求和依赖项内容请参考模型通义千问-14B-Chat-Int4仓库。
快速使用（Quickstart）
您可以通过以下代码轻松调用：
模型细节 (Model)
通义金融-14B模型规模基本情况如下所示：
Hyperparameter Value
:---------------- :-------
n layers 40
n heads 40
d model 5120
vocab size 154112
sequence length 16384
在位置编码、FFN激活函数和normalization的实现方式上，我们也采用了目前最流行的做法，
即RoPE相对位置编码、SwiGLU激活函数、RMSNorm（可选安装flash-attention加速）。
在分词器方面，相比目前主流开源模型以中英词表为主，Tongyi-Finance-14B在Qwen-14B扩展了金融行业词汇，词表大小15万。 该词表在GPT-4使用的BPE词表 cl100k base 基础上，对中文、多语言进行了优化，在对中、英、代码数据的高效编解码的基础上，对部分多语言更加友好，方便用户在不扩展词表的情况下对部分语种进行能力增强。
词表对数字按单个数字位切分。调用较为高效的tiktoken分词库进行分词。
微调 (SFT)
支持的微调方法包括lora, qlora, 全参数微调，请参考仓库
使用协议（License Agreement）
我们的代码和模型权重对学术研究完全开放，并支持商用。请查看LICENSE了解具体的开源协议细节。
如需商用，请填写问卷申请。如果想给我们的研发团队和产品团队留言，请通过邮件（tongyifinance@gmail.com）联系我们。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。