模型介绍
中文整理GleamLM-Nano — 从零手写 40M 中文语言模型
模型简介
GleamLM-Nano 是一个纯 PyTorch 从零手写的 40M 参数中文语言模型,采用与 LLaMA3/Qwen3 相同的现代架构(GQA + RoPE + SwiGLU + RMSNorm + QK-Norm),自研 BBPE 12K 分词器,零 HuggingFace 依赖。覆盖预训练→SFT→DPO→量化→推理全链路,是面向教学和研究的轻量级开源 LLM。
训练与验证结果
GleamLM-Nano
预训练配置**:40.8M / 12L×512d / GQA(8Q/4KV) / SwiGLU(d ff=1365) / BBPE 12K(基于四源语料重新训练)/ tie weights / WSD linear decay / label smoothing 0.1 / z-loss / torch.compile(mode=default)
项目 值
- -- ---
训练数据 4.47B tokens(四源配比,新 bbpe 12k 重新打包)
有效 batch 64 seqs × 1024(micro 8 × accumulate 8)
训练步数 68,108 step(epoch 1)
训练时长 890.9 min(14.8 hr,单卡 RTX 4070 Ti)
平均吞吐 ~760k tok/s(torch.compile)
- *train final loss** **2.4850**(PPL ≈ 12.0)
学习率调度 WSD linear:warmup 2% → stable 80% → linear decay 18%,4e-4 → 4e-5
训练曲线**(WSD 三段式:warmup 2% 升温 → stable 80% 恒定 → linear decay 18% 收尾):
Loss 收敛**(step 68108,最终 2.4850):
全量验证**(valid 248.3M tokens,全量遍历 30,310 batches):
指标 值
- -- ---
- *val loss** **2.5044**
- *val ppl** **12.24**
train/val loss 差 0.019(泛化良好,无过拟合)
生成抽查**(10 个农业/政策领域 prompt 纯续写):上下文延续自然,模型已学到农业知识、新闻语体与政策表述;偶发词汇重复属小模型正常现象。
wandb runs**:训练 nano wsd linear v2 (run 73q36qrf)|验证 nano eval v1 (run u858vejw)
GleamLM-Nano SFT 指令微调(后训练基线)
数据**:13,413 条/epoch = 基础集 3,415(模板/API 蒸馏/多轮,dedup 清洗后)+ QA→SFT 10,000(知乎知识问答,占 74.5%)。训练集 data/nano/sft/sft mix.jsonl 。
配置**:以预训练 final.pt (step 68108)为基座,ChatML 格式,loss mask 仅 assistant 回复,lr 1e-4 cosine,3 epochs,batch 8 × accumulate 4,seq 512。默认值来自 base.yaml。
项目 值
- -- ---
基座 GleamLM-Nano 预训练 final(val ppl 12.24)
SFT 数据 13,413 条(基础 3,415 + QA 10,000,output 零重复)
- *SFT final loss** **2.6283**(预训练 2.485 → SFT 2.628)
loss 2.6283 仅比预训练 val 2.5044 高约 0.12:数据零重复且 74.5% 为知乎长答(均值 197.7 字),属真实拟合的合理水位。
效果评估**(模型实测,ChatML 单轮,temp 0.8):
维度 结果
- -- ---
语言流畅度 ✅ 全中文、无乱码碎片、问答自带结构化分点
知识问答 ⚠️ 形式成型但有幻觉(光合作用编出“甲烷/电力”)——40M 容量边界
闲聊/身份 ⚠️ 答非所问(“介绍一下你自己”答文档整理)——闲聊样本仅 169 条,被知乎分布稀释
写作 ⚠️ 描述性文字可读(北京秋天),五言诗无格律
算术 ❌ “2+2” 未答对(容量边界,各后训练模型一致)
结论**:数据清洗训练达成核心目标,生成的语言较为流畅;幻觉/闲聊/算术仍受 40M 容量限制,属预期边界。
开源项目地址:
philexohf/gleamlm: 面向教育和研究的小型语言模型——纯 PyTorch 从零实现 ,最低仅需单张 12GB 消费级显卡即可完整训练。Apache 2.0 开源。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.
