闲社服务运行正常AI智能体自动化平台
中文
语言 / Language简体中文SelectedEnglish

选择显示语言

TinyLM-MiniMind-Zero

zightch/TinyLM-MiniMind-Zero

发布机构zightch

下载访问条件魔搭来源

TinyLM-MiniMind-Zero 基于 TinyLM 实现的对标 MiniMind 的轻量级语言模型。 克隆 tinylm-zero-minimind 发行分支

文字对话
模型详情

模型介绍

中文整理

TinyLM-MiniMind-Zero

基于 TinyLM 实现的对标 MiniMind 的轻量级语言模型。

📍 源码仓库

Zightch / tinylm

克隆 tinylm-zero-minimind 发行分支

📖 模型简介

TinyLM-MiniMind-Zero 是基于 TinyLM 项目实现的轻量级语言模型。TinyLM 是一个教学性质的语言模型项目,旨在通过渐进式的版本迭代,让学习者深入理解 Transformer 架构、现代优化技术以及前沿研究成果。

该模型采用 TinyLM V2 架构,具备以下核心特性:

  • *分组查询注意力(GQA)**: 减少KV Cache内存占用,提升推理效率
  • *混合专家架构(MoE)**: 稀疏激活机制,在保持大参数量的同时降低计算量
  • *共享专家机制**: 增强模型的通用能力
  • *Flash Attention**: 大幅提升注意力计算速度
  • *YaRN 扩展序列长度**: 支持更长的上下文窗口
  • *RMSNorm**: 更高效的归一化层
  • *KV Cache 推理优化**: 加速自回归生成过程

📦 模型仓库说明

本仓库包含以下文件:

🚀 快速开始

环境配置

模型推理

  • 克隆源码仓库
  • 下载模型文件

将本仓库的模型文件下载到 tinylm/project/minimind/saved/ 目录下:

  • 运行推理
  • 交互式对话示例

推理参数说明

参数 类型 默认值 说明

  • ----- ------ -------- ------
  • -file str 必填 模型文件名(如 sft mini 512 dump.pt )

temperature float 0.8 温度参数,控制生成的随机性

top k int 50 Top-K采样参数

top p float 0.95 Top-P(Nucleus)采样参数

max new tokens int 512 最大生成token数

🎓 模型训练

预训练(Pretrain)

预训练阶段让模型学习基础知识和语言能力:

监督微调(SFT)

SFT阶段让模型学习对话和指令跟随能力:

训练参数配置

在 tinylm/project/minimind/parameters.py 中可以修改训练参数:

🔧 模型量化

本仓库提供了不同精度的模型权重:

文件 精度 大小 说明

  • ----- ------ ------ ------

sft mini 512 dump.pt FP32 较大 完整精度,适合训练

sft mini 512 fp16.pt FP16 中等 半精度,推理更快

sft mini 512 int8.pt INT8 最小 8位量化,部署友好

📊 模型参数配置

本模型使用 TinyLM 的第3组超参数配置:

配置项 值

  • ------- -----

d model 512

layers 10

heads 8

experts 8

参数量 ~151M

🔗 相关链接

  • *MiniMind 原项目**: https://github.com/jingyaogong/minimind
  • *学习路线**: 详见源码仓库的 LEARN.md

🙏 致谢

本项目受到以下开源项目的启发:

MiniMind - 轻量级语言模型

LLaMA - Meta 的大语言模型

Mistral - Mistral AI 开源模型

Qwen - 通义千问

📄 许可证

本项目采用 MIT 许可证。

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

返回顶部