Tongyi-Finance-14B

Tongyi-Finance-14B

介绍 (Introduction)

通义金融-14B**（**Tongyi-Finance-14B**）是针对对金融行业推出的大语言模型，基于通义千问基础模型进行行业语料增量学习，强化金融领域知识和场景应用能力，覆盖金融知识问答、文本分类、信息抽取、文本创作、阅读理解、逻辑推理、多模态、Coding等能力象限。

通义金融-14B（Tongyi-Finance-14B）有以下特点：

• **行业语料增量学习**：使用200B高质量金融行业语料进行增量学习，并进行金融行业词表扩展，覆盖丰富的数据类型，支持更大上下文（16k）输入和完整的语义表达。
• **行业能力强化**：自研SFT质量&多样性分析工具，筛选高质量SFT数据，解决大语言模型的alignment问题。
• **行业后链路优化**：借助multi-agent框架，实现知识库增强和工具API调用。

要求（Requirements）和 依赖项 (Dependency)

python 3.8及以上版本

pytorch 1.12及以上版本，推荐2.0及以上版本

建议使用CUDA 11.4及以上（GPU用户、flash-attention用户等需考虑此选项）

请确保满足上述要求，再执行以下pip命令安装依赖库

另外，推荐安装 flash-attention 库，以实现更高的效率和更低的显存占用。

更详细的要求和依赖项内容请参考基座模型通义千问-14B仓库。

快速使用（Quickstart）

您可以通过以下代码轻松调用：

模型细节 (Model)

通义金融-14B模型规模基本情况如下所示：

Hyperparameter Value

:---------------- :-------

n layers 40

n heads 40

d model 5120

vocab size 154112

sequence length 16384

在位置编码、FFN激活函数和normalization的实现方式上，我们也采用了目前最流行的做法，

即RoPE相对位置编码、SwiGLU激活函数、RMSNorm（可选安装flash-attention加速）。

在分词器方面，相比目前主流开源模型以中英词表为主，Tongyi-Finance-14B在Qwen-14B扩展了金融行业词汇，词表大小15万。 该词表在GPT-4使用的BPE词表 cl100k base 基础上，对中文、多语言进行了优化，在对中、英、代码数据的高效编解码的基础上，对部分多语言更加友好，方便用户在不扩展词表的情况下对部分语种进行能力增强。

词表对数字按单个数字位切分。调用较为高效的tiktoken分词库进行分词。

使用协议（License Agreement）

我们的代码和模型权重对学术研究完全开放，并支持商用。请查看LICENSE了解具体的开源协议细节。

如需商用，请填写问卷申请。如果想给我们的研发团队和产品团队留言，请通过邮件（tongyifinance@gmail.com）联系我们。