闲社服务运行正常AI智能体自动化平台
中文
语言 / Language简体中文SelectedEnglish

选择显示语言

GreyParrot-v2-small-hybird-6M

hyb0429/GreyParrot-v2-small-hybird-6M

发布机构hyb0429

下载访问条件魔搭来源

GreyParrot-v2-small-hybird-6M 6.05M 参数中文网页字符级语言模型 · RKM + TSA + FFN 混合架构 致谢: 本项目的训练依赖 魔搭社区 (ModelScope)、沐曦 (MetaX) 和 模力方舟 (Gitee AI) 提供的免费算力支持。

文字对话
模型详情

模型介绍

中文整理

GreyParrot-v2-small-hybird-6M

  • 05M 参数中文网页字符级语言模型 · RKM + TSA + FFN 混合架构**

致谢: 本项目的训练依赖 魔搭社区 (ModelScope)、沐曦 (MetaX) 和 模力方舟 (Gitee AI) 提供的免费算力支持。

模型规格

项 值

  • -- ---

参数量 6,047,452

架构 RKM (多尺度指数记忆) + TSA (热带骨架注意力) + FFN

层数 3

隐藏维度 384

RKM 记忆头数 16

TSA 注意力头数 6

训练上下文 4096

  • *外推上下文** **524288 (128x)**

词表大小 4013 (字符级)

训练数据 CCI3-HQ 子集 (586M 字符)

训练硬件 魔搭社区 CPU / NVIDIA A10 / 沐曦 MetaX C500

性能

困惑度 (PPL)

T (上下文) PPL

  • -- ---

256 32.8

4096 (训练) 42.0

32768 59.5

131072 64.8

  • *524288** **64.6**

1048576 OOM

从训练长度 4096 到推理长度 524288,外推 128 倍,PPL 仅涨 54%。**

与同规模模型对比

模型 参数 PPL

  • -- --- ---
  • *GreyParrot-v2-6M** **6.05M** **32.8 (T=256)**

RWKV M=8 840K 110.6

SSM 741K 117.1

DeltaNet 747K 118.6

架构

模型由 3 个相同的 HybridBlock 串联组成。每个 block 内部**并行**跑两路(RKM 与 TSA),再用一个由上下文长度驱动的门控加权融合,最后过 FFN:

~~~text

X

+--------------+--------------+

LN1 LN2

RKM TSA

+------+-------+

gate([log T, t/T])

  • > softmax(MLP + alpha)

X + 2*(w0*RKM + w1*TSA)

LN3 -------- FFN -------+

X + FFN(LN3(X))

~~~

与代码一一对应的前向过程:

~~~python

两路并行

rkm out = RKM(LN1(X)) # 多尺度指数记忆

tsa out = TSA(LN2(X)) # 热带稀疏骨架注意力

门控: 输入 = [log(T), t/T],输出两个和为 1 的权重

gate in = cat([log(T) * ones, t / T], dim=-1) # [B, T, 2]

w = softmax(MLP(gate in) + alpha) # MLP: 2 -> 16 -> 2 (末层零初始化)

# alpha: 可学习向量 (零初始化)

门控加权融合 + 残差 (系数 2 为经验值)

X = X + 2 * (w[..., 0:1] * rkm out + w[..., 1:2] * tsa out)

FFN + 残差

X = X + FFN(LN3(X))

~~~

三个组件:

  • *RKM (Recursive Kernel Memory)**: 多尺度指数记忆。16 个 head 各自绑定一个时间尺度(2 ~ 8192 步),每个 head 通过指数衰减累积历史状态;读取时对 16 个 head 的读出做门控加和。整层复杂度 O(T)。
  • *TSA (Tropical Sparse Attention)**: 稀疏骨架注意力。每层有 16 个共享的 "骨架方向" directions;每个 query 只 attend 45 个 key:
  • a x r = 4 个:query 最相关的 top-a 方向上的 top-r 地标
  • m x r = 32 个:全部 16 个方向上的 top-r 地标(全局骨架)
  • w loc + 1 = 9 个:局部窗口

整层复杂度 O(T x 45),与序列长度线性。

  • *FFN**: 2 倍隐层宽度的标准 GELU MLP。

门控的巧思**: 输入用 log(T) 和归一化位置 t/T ,让推理时外推到的长度自动调整 RKM / TSA 的权重分配——短上下文偏向 TSA 的精确检索,长上下文偏向 RKM 的远距离记忆。

快速开始

~~~python

from model import load model

from generate import generate

model, vd = load model('./weights/6m sft.pt', './vocab.json', device='cuda')

text = generate(model, vd, 'user: 什么是人工智能?' + chr(10) + 'assistant:',

n=80, temp=0.7, device='cuda')

print(text)

~~~

两阶段权重

6m pretrained.pt : 预训练 (PPL 42 @ T=4096)

6m sft.pt : SFT 微调 (学会了 user/assistant 格式)

SFT 结果

指标 训练前 训练后

  • -- --- ---

RM 分数 (Skywork-Reward-V2) -11.65 -10.13

生成格式 无 有 user/assistant

SFT 有效但仅学到"表层格式"。6M 参数不足以实现真正的对话理解。

局限

字符级续写, 不能真正对话

词级语义不连贯

SFT 后仍在 RM 上得负分

6M 参数上限

目录结构

~~~text

GreyParrot-v2-small-hybird-6M/

README.md

model.py

generate.py

vocab.json

weights/

6m pretrained.pt

6m sft.pt

~~~

引用

~~~bibtex

@misc{greyparrot2026v2,

title={GreyParrot-v2-small-hybird-6M: A 6M-Parameter Chinese Char-Level LM with RKM+TSA},

author={GreyParrot Project},

year={2026},

month={October}

}

~~~

许可

模型权重: 仅研究用途

代码: MIT

训练数据 (CCI3-HQ): 见原数据许可

致谢

本项目的训练与实验依赖以下平台提供的免费算力支持:

魔搭社区 (ModelScope) — 免费 CPU 与存储环境

沐曦 (MetaX) — 免费 GPU 算力

模力方舟 (Gitee AI) — 免费 GPU 算力与模型部署平台

特别感谢 CCI3-HQ 数据集作者 (BAAI), RWKV / Mamba / GLA 等开源项目提供的参考。

本项目由个人独立完成, 所有实验均可复现。

日期: 2026-10-02

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

返回顶部