All systems operationalAI Agent Automation Platform
English
Language简体中文EnglishSelected

Choose your language

SmallMouse-272M

ccdsyy/SmallMouse-272M

Publisherccdsyy

Download access requirementsModelScope source

从零预训练的 2.7 亿参数中文小模型(非任何大模型的微调产物),标准 GPT-2 架构,训练于自建中文语料。 参数量: 272.58M(10 层 x 16 头 x 1472 维,词表 8192,上下文 256,lm head 与词嵌入共享) 预训练: 自建中文语料约 12 亿 token,NVIDIA A10 上 20000 步(4.5 小时),验证 loss 1.9813

Text Chat
Model details

模型介绍

中文整理

SmallMouse-272M 🐭

从零预训练的 2.7 亿参数中文小模型(非任何大模型的微调产物),标准 GPT-2 架构,训练于自建中文语料。

Model

参数量: 272.58M(10 层 x 16 头 x 1472 维,词表 8192,上下文 256,lm head 与词嵌入共享)

预训练: 自建中文语料约 12 亿 token,NVIDIA A10 上 20000 步(4.5 小时),验证 loss 1.9813

身份微调: 60 步 SFT 后认识自己

文件

mouse-272m-f16.gguf: FP16 权重,llama.cpp / Ollama 可直接使用(gpt2 架构)

logo final.png: 模型 Logo

使用

llama-cli -m mouse-272m-f16.gguf -p "很久以前" --temp 0.9

身份示例

问:你是谁?

答:本鼠是 SmallMouse-272M,一只两亿七千万参数的小老鼠模型。白天帮饲主啃文本,晚上缩回权重里睡觉,梦里全是下一个 token。

限制

小模型且未做对齐训练,会一本正经地胡说八道;知识截止于训练语料。请勿用于严肃用途。

License

apache-2.0

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

Back to top