All systems operationalAI Agent Automation Platform
English
Language简体中文EnglishSelected

Choose your language

Bitbrain-0.6b-base

hh2395959141/Bitbrain-0.6b-base

Publisherhh2395959141

Download access requirementsModelScope source

🧠 BitBrain - Train Your Own tiny-LLM 迈出自己训练 LLM 的关键一步~ Let's just take action! 最少使用 3090 即可训练自己的比特大脑🧠(进行中). Train your own BitBrain with just an RTX 3090 minimum.(Stay tuned)

Text Chat
Model details

模型介绍

中文整理

🧠 BitBrain - Train Your Own tiny-LLM

迈出自己训练 LLM 的关键一步~ Let's just take action!

最少使用 3090 即可训练自己的比特大脑🧠(进行中). Train your own BitBrain with just an RTX 3090 minimum.(Stay tuned)

Bitbrain-0.6B-base 是一个基于 Qwen3-0.6B 架构的语言模型。我们在大约 200B tokens 的高质量中英文数据上对其进行了预训练。

数据与模型

预训练权重 训练数据 部分细节 模型下载链接

:--- :--- :--- :---

Bitbrain-0.6B-base **预训练数据集**:chinese-fineweb-edu-v2**中英文比例** 3:1(参考原数据集)**总训练 Token 数** 约 200B **在 4 * H800 GPU 上**: MFU 达到了 **46%**。**在 8 * 4090 GPU 上**: MFU 达到了 **34%**。 使用了 liger kernel, muon 优化器 modelscope链接

Bitbrain-0.6B-instruct todo todo todo

C-Eval 评测结果

模型 评测方式 平均分

:--- :--- :---

Bitbrain-0.6B-base C-Eval-PPL 27.99%

Bitbrain-0.6B-base C-Eval-GEN 20.10%

环境安装

step0: 使用 python3.12 (可选)

step1: 首先安装 uv。见链接

step2: uv sync

推理

方式 1:使用 modelscope 运行, uv run example/modelscope/run bitbrain base.py

方式 2:使用 transformers 运行, uv run example/transformers/run bitbrain base.py

样例:

模型详情 (Model Details)

  • *基础架构 (Base Architecture)**: Qwen3-0.6B
  • *模型参数调整 (Parameter Adjustments)**:
  • rope theta : 我们将 rope theta 参数从 Qwen3-0.6B 原始的 1M (1,000,000) 调整为 10,000。
  • max position embeddings : 将上下文长度设置为 4096。
  • *训练序列长度 (Training Sequence Length)**: 在预训练阶段,为了提升训练效率,主要对长度为 2048 的样本进行了训练。

训练数据 (Training Data)

  • *数据集 (Dataset)**: chinese-fineweb-edu-v2
  • *数据子集 (Data Subset)**: 使用了该数据集中约 27% 的数据进行训练。
  • *中英文比例**:参考原数据集中的3:1比例

训练设置 (Training Setup)

为了尽可能实现小模型的高效训练,我们采用了以下技术和配置:

  • *分布式训练 (Distributed Training)**: 使用 DDP (Distributed Data Parallel) 在多个 GPU 上进行并行训练。
  • *混合精度 (Mixed Precision)**: 开启 bf16 混合精度训练。
  • *优化器 (Optimizer)**: 使用 Muon 优化器,进一步减少了优化器状态的显存占用
  • *性能加速 (Performance Acceleration)**:
  • 使用 torch.compile 对模型进行编译优化加速。
  • 使用 liger kernel 进一步降低显存开销。

性能 (Performance)

通过上述优化,我们实现了高效的训练。我们使用模型浮点运算利用率 (Model Flops Utilization, MFU) 来衡量硬件的有效利用程度。MFU 的计算方式参考了快手技术博客中给出的公式,具体如下:

$$

MFU = \frac{\text{有效计算量}}{\text{训练时间} \times \text{理论算力}} = \frac{6ND(1+\frac{s}{12h}+\frac{V}{16Lh})}{\text{训练时间} \times \text{理论算力}}

$$

其中 N 为模型参数量, D 为处理的 token 总数, s 为序列长度, h 为隐藏层维度, L 为模型层数, V 为词表大小。

基于该标准,我们在不同硬件上的性能表现为:

  • *在 4 * H800 GPU 上**: MFU 达到了 **46%**。
  • *在 8 * 4090 GPU 上**: MFU 达到了 **34%**。

评测

我们使用 OpenCompass 框架对 Bitbrain-0.6B-base 模型进行了评测。

我们主要在 C-Eval 这个权威的中文评测基准上,通过两种不同的方式测试了模型的性能:

  • *PPL (Perplexity) 评测**: 这种方式通过计算模型对于每个选项的困惑度来判断答案,更侧重于衡量模型本身对知识的掌握程度,适合基础模型(Base Model)。
  • *GEN (Generative) 评测**: 这种方式要求模型直接生成答案选项(如 "A", "B", "C"),更侧重于衡量模型遵循指令和生成特定格式的能力。通常指令微调(Instruction-tuned)后的模型会在此模式下表现更好。

C-Eval 平均分**

评测方式 (Method) 平均分 (Average Score)

:--- :---

  • *C-Eval-PPL** **28.20%**
  • *C-Eval-GEN** **20.10%**

点击查看 C-Eval-PPL 各科详细得分 (平均分: 28.20%)

数据集 (Dataset) 准确率 (Accuracy)

:--- :---

ceval-computer network 31.58

ceval-operating system 15.79

ceval-computer architecture 14.29

ceval-college programming 29.73

ceval-college physics 36.84

ceval-college chemistry 16.67

ceval-advanced mathematics 10.53

ceval-probability and statistics 38.89

ceval-discrete mathematics 31.25

ceval-electrical engineer 24.32

ceval-metrology engineer 33.33

ceval-high school mathematics 22.22

ceval-high school physics 26.32

ceval-high school chemistry 15.79

ceval-high school biology 10.53

ceval-middle school mathematics 26.32

ceval-middle school biology 28.57

ceval-middle school physics 47.37

ceval-middle school chemistry 30.00

ceval-veterinary medicine 17.39

ceval-college economics 21.82

ceval-business administration 18.18

ceval-marxism 36.84

ceval-mao zedong thought 29.17

ceval-education science 17.24

ceval-teacher qualification 20.45

ceval-high school politics 36.84

ceval-high school geography 21.05

ceval-middle school politics 38.10

ceval-middle school geography 33.33

ceval-modern chinese history 30.43

ceval-ideological and moral cultivation 36.84

ceval-logic 9.09

ceval-law 20.83

ceval-chinese language and literature 34.78

ceval-art studies 36.36

ceval-professional tour guide 37.93

ceval-legal professional 8.70

ceval-high school chinese 21.05

ceval-high school history 25.00

ceval-middle school history 22.73

ceval-civil servant 27.66

ceval-sports science 52.63

ceval-plant protection 27.27

ceval-basic medicine 26.32

ceval-clinical medicine 22.73

ceval-urban and rural planner 32.61

ceval-accountant 36.73

ceval-fire engineer 25.81

ceval-environmental impact assessment engineer 19.35

ceval-tax accountant 36.73

ceval-physician 24.49

点击查看 C-Eval-GEN 各科详细得分 (平均分: 20.10%)

数据集 (Dataset) 准确率 (Accuracy)

:--- :---

ceval-computer network 5.26

ceval-operating system 0.00

ceval-computer architecture 28.57

ceval-college programming 29.73

ceval-college physics 15.79

ceval-college chemistry 20.83

ceval-advanced mathematics 10.53

ceval-probability and statistics 5.56

ceval-discrete mathematics 6.25

ceval-electrical engineer 13.51

ceval-metrology engineer 20.83

ceval-high school mathematics 22.22

ceval-high school physics 36.84

ceval-high school chemistry 26.32

ceval-high school biology 26.32

ceval-middle school mathematics 31.58

ceval-middle school biology 19.05

ceval-middle school physics 52.63

ceval-middle school chemistry 20.00

ceval-veterinary medicine 30.43

ceval-college economics 23.64

ceval-business administration 15.15

ceval-marxism 36.84

ceval-mao zedong thought 12.50

ceval-education science 34.48

ceval-teacher qualification 11.36

ceval-high school politics 0.00

ceval-high school geography 21.05

ceval-middle school politics 19.05

ceval-middle school geography 16.67

ceval-modern chinese history 17.39

ceval-ideological and moral cultivation 31.58

ceval-logic 9.09

ceval-law 20.83

ceval-chinese language and literature 30.43

ceval-art studies 21.21

ceval-professional tour guide 17.24

ceval-legal professional 13.04

ceval-high school chinese 15.79

ceval-high school history 30.00

ceval-middle school history 22.73

ceval-civil servant 21.28

ceval-sports science 15.79

ceval-plant protection 18.18

ceval-basic medicine 15.79

ceval-clinical medicine 22.73

ceval-urban and rural planner 21.74

ceval-accountant 26.53

ceval-fire engineer 29.03

ceval-environmental impact assessment engineer 16.13

ceval-tax accountant 20.41

ceval-physician 18.37

愿景 (Purpose)

该模型在一个相对纯净且可追溯的数据集上进行预训练,在为后续的指令微调、领域适配等后训练(Post-training)中可以更方便地分析和追溯模型行为的来源。

备注

本项目还在施工中,项目结构还会重构~

最后欢迎大家使用 AIStackDC 算力平台,主打一个便宜方便(有专门的客服支持),如果你需要的话可以使用我的邀请链接: https://aistackdc.com/phone-register?invite code=D872A9

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

Back to top