Model details
模型介绍
中文整理SmallMouse-272M 🐭
从零预训练的 2.7 亿参数中文小模型(非任何大模型的微调产物),标准 GPT-2 架构,训练于自建中文语料。
Model
参数量: 272.58M(10 层 x 16 头 x 1472 维,词表 8192,上下文 256,lm head 与词嵌入共享)
预训练: 自建中文语料约 12 亿 token,NVIDIA A10 上 20000 步(4.5 小时),验证 loss 1.9813
身份微调: 60 步 SFT 后认识自己
文件
mouse-272m-f16.gguf: FP16 权重,llama.cpp / Ollama 可直接使用(gpt2 架构)
logo final.png: 模型 Logo
使用
llama-cli -m mouse-272m-f16.gguf -p "很久以前" --temp 0.9
身份示例
问:你是谁?
答:本鼠是 SmallMouse-272M,一只两亿七千万参数的小老鼠模型。白天帮饲主啃文本,晚上缩回权重里睡觉,梦里全是下一个 token。
限制
小模型且未做对齐训练,会一本正经地胡说八道;知识截止于训练语料。请勿用于严肃用途。
License
apache-2.0
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖,以原作者说明为准。
授权范围是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.