模型介绍
中文整理TinyLM-MiniMind-Zero
基于 TinyLM 实现的对标 MiniMind 的轻量级语言模型。
📍 源码仓库
Zightch / tinylm
克隆 tinylm-zero-minimind 发行分支
📖 模型简介
TinyLM-MiniMind-Zero 是基于 TinyLM 项目实现的轻量级语言模型。TinyLM 是一个教学性质的语言模型项目,旨在通过渐进式的版本迭代,让学习者深入理解 Transformer 架构、现代优化技术以及前沿研究成果。
该模型采用 TinyLM V2 架构,具备以下核心特性:
- *分组查询注意力(GQA)**: 减少KV Cache内存占用,提升推理效率
- *混合专家架构(MoE)**: 稀疏激活机制,在保持大参数量的同时降低计算量
- *共享专家机制**: 增强模型的通用能力
- *Flash Attention**: 大幅提升注意力计算速度
- *YaRN 扩展序列长度**: 支持更长的上下文窗口
- *RMSNorm**: 更高效的归一化层
- *KV Cache 推理优化**: 加速自回归生成过程
📦 模型仓库说明
本仓库包含以下文件:
🚀 快速开始
环境配置
模型推理
- 克隆源码仓库
- 下载模型文件
将本仓库的模型文件下载到 tinylm/project/minimind/saved/ 目录下:
- 运行推理
- 交互式对话示例
推理参数说明
参数 类型 默认值 说明
- ----- ------ -------- ------
- -file str 必填 模型文件名(如 sft mini 512 dump.pt )
temperature float 0.8 温度参数,控制生成的随机性
top k int 50 Top-K采样参数
top p float 0.95 Top-P(Nucleus)采样参数
max new tokens int 512 最大生成token数
🎓 模型训练
预训练(Pretrain)
预训练阶段让模型学习基础知识和语言能力:
监督微调(SFT)
SFT阶段让模型学习对话和指令跟随能力:
训练参数配置
在 tinylm/project/minimind/parameters.py 中可以修改训练参数:
🔧 模型量化
本仓库提供了不同精度的模型权重:
文件 精度 大小 说明
- ----- ------ ------ ------
sft mini 512 dump.pt FP32 较大 完整精度,适合训练
sft mini 512 fp16.pt FP16 中等 半精度,推理更快
sft mini 512 int8.pt INT8 最小 8位量化,部署友好
📊 模型参数配置
本模型使用 TinyLM 的第3组超参数配置:
配置项 值
- ------- -----
d model 512
layers 10
heads 8
experts 8
参数量 ~151M
🔗 相关链接
- *MiniMind 原项目**: https://github.com/jingyaogong/minimind
- *学习路线**: 详见源码仓库的 LEARN.md
🙏 致谢
本项目受到以下开源项目的启发:
MiniMind - 轻量级语言模型
LLaMA - Meta 的大语言模型
Mistral - Mistral AI 开源模型
Qwen - 通义千问
📄 许可证
本项目采用 MIT 许可证。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
