模型介绍
中文整理GreyParrot-v2-small-hybird-6M
- 05M 参数中文网页字符级语言模型 · RKM + TSA + FFN 混合架构**
致谢: 本项目的训练依赖 魔搭社区 (ModelScope)、沐曦 (MetaX) 和 模力方舟 (Gitee AI) 提供的免费算力支持。
模型规格
项 值
- -- ---
参数量 6,047,452
架构 RKM (多尺度指数记忆) + TSA (热带骨架注意力) + FFN
层数 3
隐藏维度 384
RKM 记忆头数 16
TSA 注意力头数 6
训练上下文 4096
- *外推上下文** **524288 (128x)**
词表大小 4013 (字符级)
训练数据 CCI3-HQ 子集 (586M 字符)
训练硬件 魔搭社区 CPU / NVIDIA A10 / 沐曦 MetaX C500
性能
困惑度 (PPL)
T (上下文) PPL
- -- ---
256 32.8
4096 (训练) 42.0
32768 59.5
131072 64.8
- *524288** **64.6**
1048576 OOM
从训练长度 4096 到推理长度 524288,外推 128 倍,PPL 仅涨 54%。**
与同规模模型对比
模型 参数 PPL
- -- --- ---
- *GreyParrot-v2-6M** **6.05M** **32.8 (T=256)**
RWKV M=8 840K 110.6
SSM 741K 117.1
DeltaNet 747K 118.6
架构
模型由 3 个相同的 HybridBlock 串联组成。每个 block 内部**并行**跑两路(RKM 与 TSA),再用一个由上下文长度驱动的门控加权融合,最后过 FFN:
~~~text
X
+--------------+--------------+
LN1 LN2
RKM TSA
+------+-------+
gate([log T, t/T])
- > softmax(MLP + alpha)
X + 2*(w0*RKM + w1*TSA)
LN3 -------- FFN -------+
X + FFN(LN3(X))
~~~
与代码一一对应的前向过程:
~~~python
两路并行
rkm out = RKM(LN1(X)) # 多尺度指数记忆
tsa out = TSA(LN2(X)) # 热带稀疏骨架注意力
门控: 输入 = [log(T), t/T],输出两个和为 1 的权重
gate in = cat([log(T) * ones, t / T], dim=-1) # [B, T, 2]
w = softmax(MLP(gate in) + alpha) # MLP: 2 -> 16 -> 2 (末层零初始化)
# alpha: 可学习向量 (零初始化)
门控加权融合 + 残差 (系数 2 为经验值)
X = X + 2 * (w[..., 0:1] * rkm out + w[..., 1:2] * tsa out)
FFN + 残差
X = X + FFN(LN3(X))
~~~
三个组件:
- *RKM (Recursive Kernel Memory)**: 多尺度指数记忆。16 个 head 各自绑定一个时间尺度(2 ~ 8192 步),每个 head 通过指数衰减累积历史状态;读取时对 16 个 head 的读出做门控加和。整层复杂度 O(T)。
- *TSA (Tropical Sparse Attention)**: 稀疏骨架注意力。每层有 16 个共享的 "骨架方向" directions;每个 query 只 attend 45 个 key:
- a x r = 4 个:query 最相关的 top-a 方向上的 top-r 地标
- m x r = 32 个:全部 16 个方向上的 top-r 地标(全局骨架)
- w loc + 1 = 9 个:局部窗口
整层复杂度 O(T x 45),与序列长度线性。
- *FFN**: 2 倍隐层宽度的标准 GELU MLP。
门控的巧思**: 输入用 log(T) 和归一化位置 t/T ,让推理时外推到的长度自动调整 RKM / TSA 的权重分配——短上下文偏向 TSA 的精确检索,长上下文偏向 RKM 的远距离记忆。
Quick start
~~~python
from model import load model
from generate import generate
model, vd = load model('./weights/6m sft.pt', './vocab.json', device='cuda')
text = generate(model, vd, 'user: 什么是人工智能?' + chr(10) + 'assistant:',
n=80, temp=0.7, device='cuda')
print(text)
~~~
两阶段权重
6m pretrained.pt : 预训练 (PPL 42 @ T=4096)
6m sft.pt : SFT 微调 (学会了 user/assistant 格式)
SFT 结果
指标 训练前 训练后
- -- --- ---
RM 分数 (Skywork-Reward-V2) -11.65 -10.13
生成格式 无 有 user/assistant
SFT 有效但仅学到"表层格式"。6M 参数不足以实现真正的对话理解。
局限
字符级续写, 不能真正对话
词级语义不连贯
SFT 后仍在 RM 上得负分
6M 参数上限
目录结构
~~~text
GreyParrot-v2-small-hybird-6M/
README.md
model.py
generate.py
vocab.json
weights/
6m pretrained.pt
6m sft.pt
~~~
Quote
~~~bibtex
@misc{greyparrot2026v2,
title={GreyParrot-v2-small-hybird-6M: A 6M-Parameter Chinese Char-Level LM with RKM+TSA},
author={GreyParrot Project},
year={2026},
month={October}
}
~~~
许可
模型权重: 仅研究用途
代码: MIT
训练数据 (CCI3-HQ): 见原数据许可
致谢
本项目的训练与实验依赖以下平台提供的免费算力支持:
魔搭社区 (ModelScope) — 免费 CPU 与存储环境
沐曦 (MetaX) — 免费 GPU 算力
模力方舟 (Gitee AI) — 免费 GPU 算力与模型部署平台
特别感谢 CCI3-HQ 数据集作者 (BAAI), RWKV / Mamba / GLA 等开源项目提供的参考。
本项目由个人独立完成, 所有实验均可复现。
日期: 2026-10-02
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.
