TeleChat-52B

星辰大模型(52B)

目录

模型介绍

数据开源

效果评测

模型推理和部署

模型微调

声明、协议、引用

最新动态

• 16 开源52B版本chat模型

模型介绍

星辰大模型（52B）

星辰大模型（52B）是一款开源多语言大模型，其模型基座使用更优数据配比，采用课程学习方式，训练了2万亿tokens的中英文高质量数据。

我们开源了使用星辰语义大模型52B基座微调的对话模型，以及基于Deepspeed的微调代码和huggingface推理代码。

星辰大模型（52B）在模型评测中取得了领先的效果，在榜单评测上超过LLaMA-2-70B-Chat，与Qwen-72B-chat可比；通用对话性能已经超过GPT-3.5-Turbo。

模型结构

我们采用标准的 Decoder-only 结构设计了 **TeleChat** 模型，并在模型维度做了如下的一些改进：

• *位置编码**：我们使用 Rotary Embedding 的位置编码方法，该方法将相对位置信息依赖集成到 self-attention 中，并且具有较好的位置外推性。Rotary Embedding还可以较好地与Flash-Attention v2 配合使用，将模型的训练速度提升约20%。
• *激活函数**：我们使用 SwiGLU 激活函数来替代GELU激活函数。
• *层标准化**: 基于 RMSNorm 的 Pre-Normalization。
• *词嵌入层与输出层解耦**：我们将星辰52B的词嵌入层和输出lm head层参数分开，有助于增强训练稳定性和收敛性。

layer num hidden size ffn hidden size head num tie word embeddings

• ------ --------- ----------- --------------- -------- -------------------

星辰52B 64 8192 21824 64 否

我们开源的星辰52B模型：

支持deepspeed微调，开源了基于deepspeed的训练代码，支持Zero并行显存优化，同时集成了FlashAttention2

多轮能力支持。开源了多轮数据构建方式，针对多轮模型训练集成了针对多轮的mask loss训练方式，更好的聚焦多轮答案，提升问答效果。

效果评测

星辰52B模型相比同规模模型在评测效果方面也有较好的表现，我们的评测集涵盖了包括MMLU、AGIEval、CMMLU、 GSM8K、MATH、HumanEval 等数据集，评测能力包括了自然语言理解、知识、数学计算和推理、代码生成等

评测集介绍

通用能力

MMLU 数据集是一个全面的英文评测数据集，涵盖了 57 个学科，包括人文学科、社会科学、自然科学、初等数学、美国历史、计算机科学、法律等等。

CMMLU 数据集同样是一个全面的中文评估测试集，涵盖了从基础学科到高级专业水平的67个主题。

AGIEval 数据集是一个专门为评估基础模型在难度较高的标准化考试（如大学入学考试、法学院入学考试、数学竞赛和律师资格考试）的语境中而设计的基准测试，包括中文试题和英文试题。

推理和代码能力

GSM8K 数据集包含了8.5K高质量的小学数学题，能够评估语言模型在数学推理能力上的表现，我们利用官方的评测方案在test集上进行了4-shot测试。

MATH 数据集包含了12.5K具有挑战性的高中数学竞赛题，难度较大，对语言模型的推理能力要求较高，基于官方的评测方案，我们在test集上进行了4-shot测试。

HumanEval 数据集是一个由openai提供的代码能力测试数据集，它由 164 个编程问题组成，要求根据给定的问题和代码模板，生成正确的代码片段，我们利用官方评测方案在test集上进行了zero-shot测试。

评测结果如下

Model MMLU CMMLU AGIEval GSM8K MATH HumanEval BBH HellaSwag

:--------------- :------: :-------: :-------: :------: :------: :-------: :------: :-------:

5-shot 5-shot zero-shot 4-shot 4-shot zero-shot 3-shot zero-shot

LLaMA-2-70B-Chat 63.8 43.3 37.9 59.3 10.4 32.3 60.8 80.6

Qwen-72B-chat 74 81.4 58.5 67.4 31.8 49.4 68 84.7

星辰7B-chat 60.5 64.3 46.8 36.7 10.3 20.1 19.5 36.7

星辰12B-chat 73.3 74.2 51.7 57.2 16.0 22.0 52.2 71.5

• *星辰52B-chat** **76.6** **73.79** **61.1** **63.5** **13.5** **36.6** **60.3** **86.3**

说明：榜单均基于OpenCompass平台提供的评测方法进行评估，而对于对比模型，我们同时参考了官方汇报结果和OpenCompass结果。

对话能力评测

为了评价模型的对话能力，研发团队建立了包含2500+单轮、多轮对话交互的内部评测系统，涵盖闲聊问答、专业知识、翻译、逻辑思维、长文写作、幻觉测试、安全测试、角色扮演、任务执行、数学能力等多个维度，并使用Judge模型基于详细的评价指标文档进行自动打分。在当前评测数据上，星辰52B模型的综合平均得分为83.8，高于GPT-3.5-Turbo的82.3。这一结果表明，星辰52B模型能较好地支持下游任务应用。

模型推理和部署

模型推理

当前模型支持fp16精度推理，适配4卡40G A100进行推理。具体推理操作请参考 infer.py 文件，该文件中有单轮和多轮的推理示例。推理结果示例见 infer result.txt 。

模型推理方法示范**

声明、协议、引用

声明

我们在此声明，不要使用TeleChat模型及其衍生模型进行任何危害国家社会安全或违法的活动。同时，我们也要求使用者不要将TeleChat模型用于没有安全审查和备案的互联网服务。我们希望所有使用者遵守上述原则，确保科技发展在合法合规的环境下进行。

我们已经尽我们所能，来确保模型训练过程中使用的数据的合规性。然而，尽管我们已经做出了巨大的努力，但由于模型和数据的复杂性，仍有可能存在一些无法预见的问题。因此，如果由于使用TeleChat开源模型而导致的任何问题，包括但不限于数据安全问题、公共舆论风险，或模型被误导、滥用、传播或不当利用所带来的任何风险和问题，我们将不承担任何责任。

协议

社区使用 TeleChat 模型需要遵循《TeleChat模型社区许可协议》。TeleChat模型支持商业用途，如果您计划将 TeleChat 模型或其衍生品用于商业目的，您需要通过以下联系邮箱 tele ai@chinatelecom.cn，提交《TeleChat模型社区许可协议》要求的申请材料。审核通过后，将特此授予您一个非排他性、全球性、不可转让、不可再许可、可撤销的商用版权许可。

Quote

如需引用我们的工作，请使用如下 reference: