模型介绍
中文整理Xiaothink-T17-RWKV5-MLA-Instruct 模型卡片
模型概述
Xiaothink-T17-RWKV5-MLA-Instruct 是小思框架(Xiaothink)推出的 **≈0.6B 中文指令微调模型**,采用自研的 **RWKV-v5 + MLA 纯历史检索架构**(DeepSeek V3 风格低秩压缩注意力)。模型以 RWKV-v5 线性注意力处理当前信息、以 MLA 稀疏快照检索长程历史,在 0.6B 参数量下同时兼顾**低推理显存**与**长上下文建模**能力,支持消费级显卡(含 BF16)本地部署。
在 **GLM4.7 裁判盲测**中,本模型与智谱 GLM4.7 在 12 个中文领域展开对比:**拟人化语言**(81.7 vs 85.0)等风格任务表现接近旗舰模型,总体平均分 53.5。模型原生支持多轮对话、文本续写与翻译,需通过 **xiaothink ≥ 1.4.8 库**调用(见下文快速开始)。
模型概览
属性 值
- ----- -----------------------------------------
模型名称 Xiaothink-T17-RWKV5-MLA-Instruct
架构 RWKV-v5 + MLA(DeepSeek V3 风格)纯历史检索架构
参数量 **≈0.6B**(566.9M)
词表大小 52,894
最大序列长度 512(训练时)
历史检索方式 稀疏快照 + top-k 历史注意力(history\ top\ k=4)
深度学习框架 PyTorch(≥2.0)
最低库版本 **xiaothink ≥ 1.4.8**
语言 **中文**(截止 Xiaothink-T17 系列发布,所有模型只支持中文处理)
推理显存需求 消费级显卡可运行(支持 BF16 推理)
⚠️ **重要说明:本模型是自研特殊架构(RWKV-v5 时间混合 + MLA 低秩历史检索),权重格式与标准 transformers/ModelScope 不兼容,不支持 ModelScope 推理后端、不支持 transformers、不支持 transformers 的 safetensors 格式加载。请务必使用 xiaothink ≥ 1.4.8 库调用本模型。具体调用代码详见后文或xiaothink库文档或http\://xiaothink.top小思框架官网文档。**
核心创新
RWKV-v5 + MLA 纯历史检索架构
本模型在 0.6B 参数量下融合了 RWKV-v5 并行时间混合与 DeepSeek V3 风格的 MLA(Multi-head Latent Attention)低秩压缩注意力,实现"当前信息由 RWKV 负责、长程历史由 MLA 检索"的职责分离:
关键设计
- *低秩 KV 压缩(MLA)**:KV 先压缩到 kv lora rank=700 的低秩潜空间,再按需解压,大幅降低历史缓存显存与带宽
- *稀疏历史快照**:每 save every=32 步保存一次 KV 快照,检索时只与快照做标准 softmax 注意力,历史规模随步数线性增长而非平方
- *推理 KV Cache**:推理时缓存解压后的 K/V( use kv cache=True ),避免每步重复解压
- *训练显存友好**:K/V 不展开 T 维,score 层拼接当前步实现冷启动安全;支持梯度检查点
- *门控融合**:可学习的标量门控( hist gate proj )自动权衡当前信息与历史检索信息
模型参数
参数 值 说明
- -------------- ---- --------------------------
d model 1400 嵌入维度
hidden dim 1400 前馈网络维度
num heads 4 多头注意力头数
num layers 16 RWKV5HistMLABlock 层数
max seq len 512 训练时最大序列长度
history top k 4 历史检索 top-k 值
save every 32 历史快照保存间隔(步)
kv lora rank 700 MLA KV 低秩压缩维度(d\ model//2)
q lora rank 700 MLA Q 低秩压缩维度(d\ model//2)
n maxgate 0 门控上限层数(0=不限制)
v maxgate 1.0 门控最大值
use kv cache True 推理时启用 KV Cache
dropout 0.0 Dropout 率
模型变体
变体 d\ model num\ heads num\ layers 说明
- ----------------------- -------- ---------- ----------- ------------
t17 rwkv5 mla 1400 4 16 基础预训练版
t17 rwkv5 mla instruct 1400 4 16 **本卡:指令微调版**
性能评测
盲测设置
以 **GLM4.7(智谱 AI,glm-4.7-flash)作为裁判**,对本模型与 GLM4.7 进行双模型盲测对比:
- *12 个评估领域**:短故事创作、常见知识、人工智能基础、环保、古诗、日常、长文本生成、观点分析、概括、拟人化语言、编程、逻辑
- *每个领域 3 道测试题**,共 36 题
裁判按 **准确性、关联性、创造性** 三个维度给出 0-100 整数评分
本模型推理参数: temperature=0.9, top p=0.95, max length=512 ,GLM4.7 通过官方 API 调用
盲测结果图
分领域平均得分
领域 Xiaothink-T17-RWKV5-MLA-Instruct(0.6B) GLM4.7
- ------- -------------------------------------- --------
短故事创作 65.0 90.0
常见知识 85.0 91.7
人工智能基础 71.7 88.3
环保 78.3 91.7
古诗 38.3 91.7
日常 35.0 91.7
长文本生成 48.3 85.0
观点分析 65.0 88.3
概括 26.7 95.0
拟人化语言 81.7 85.0
编程 31.7 75.0
逻辑 15.0 93.3
- *总体平均** **53.5** **88.9**
注:GLM4.7 为云端百亿级参数闭源模型,本模型参数量仅为 0.6B。在**拟人化语言**(81.7 vs 85.0)等中文语言风格任务上,0.6B 模型已展现出接近旗舰模型的水平,体现 RWKV-v5+MLA 架构在低参数量下对中文语感的建模能力。
Quick start
安?
需要 xiaothink ≥ 1.4.8。模型权重目录需包含 tokenizer.json 和 checkpoints/final model.pt 。
使用
方式一:TorchModel 高级接口(推荐)**
方式二:TextGenerator 底层接口**
参数建议
任务类型 temperature top\ p max\ length 说明
- ---- ----------- ------ ----------- --------
对话 0.8 \~ 0.9 0.9 512 常规对话
创作/故事 0.9 0.95 512+ 需要更多多样性
分类/概括 0.001 0.9 64 低温度保证确定性
局限性
- **仅支持中文**:截止 Xiaothink-T17 系列发布,所有模型只支持中文处理
- **不支持 ModelScope/transformers**:权重格式为自定义 PyTorch state\ dict,必须使用 xiaothink 库加载
- **长文本能力**:训练序列长度 512,超出范围的超长输入会在推理时截断
- **端侧部署**:参数量 0.6B,建议在 ≥8GB 显存或 16GB 内存的设备上运行
License
本项目采用 Apache License 2.0 许可证。
Copyright (c) 2026 Xiaothink Team
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.
