模型介绍
中文整理Xiaothink-T17-RWKV5-MLA-Instruct-Pro 模型卡片
模型概述
Xiaothink-T17-RWKV5-MLA-Instruct-Pro 是小思框架(Xiaothink)推出的 **≈0.6B 中文指令微调模型**,基于 **t17 rwkv5 mla instruct frontend** 继续微调:在保留前端(WF)生成能力的同时,系统性增强了古诗创作、指令遵循、通用知识等中文自然语言能力。模型沿用自研的 **RWKV-v5 + MLA 历史注意力架构**(DeepSeek V3 风格低秩压缩注意力),并以 **save every=16** 的更密集历史快照、**max cut=2400** 的长输入支持强化长程历史回看,支持消费级显卡(含 BF16)本地部署。
在 **DeepSeek-V4-Flash 裁判盲测**中,本模型与 Qwen3-0.6B、DeepSeek-V4-Flash、gpt-oss-20B、llama-3-8B-instruct 在 6 个 1B 定制中文领域展开对比:**指令遵循**(90.7,全场第一)、**通用知识**(85.0,超过 8B/20B 级模型)、**古诗生成**(74.0,0.6B 级大幅领先)表现出色,总体平均分 **65.3**,超过同为 0.6B 的 Qwen3-0.6B(62.8)。需要说明的是:由于微调侧重中文自然语言,本模型**前端页面生成能力相较 frontend 版有所下降**(前端领域 25.0 分)。模型原生支持多轮对话、文本续写与翻译,需通过 **xiaothink ≥ 1.4.8 库**调用(见下文快速开始)。
模型概览
属性 值
- ----- -----------------------------------------
模型名称 Xiaothink-T17-RWKV5-MLA-Instruct-Pro
基座 t17 rwkv5 mla instruct frontend(继续微调)
架构 RWKV-v5 + MLA(DeepSeek V3 风格)历史注意力架构
参数量 **≈0.6B**(613.9M)
词表大小 52,894
最大序列长度 51200
输入截断 max cut = 2400
历史注意力方式 稀疏快照 + 标准 softmax 全注意力(无 top-k 筛选,save\ every=16)
深度学习框架 PyTorch(≥2.0)
最低库版本 **xiaothink ≥ 1.4.8**(深度思考需 **≥ 1.5.0**)
深度思考 支持( chat / chat single 的 think 参数,含【开启】/【自动】两个模式)
语言 **中文**(截止 Xiaothink-T17 系列发布,所有模型只支持中文处理)
推理显存需求 消费级显卡可运行(支持 BF16 推理)
⚠️ **重要说明:本模型是自研特殊架构(RWKV-v5 时间混合 + MLA 低秩历史注意力),权重格式与标准 transformers/ModelScope 不兼容,不支持 ModelScope 推理后端、不支持 transformers、不支持 transformers 的 safetensors 格式加载。请务必使用 xiaothink ≥ 1.4.8 库调用本模型。具体调用代码详见后文或 xiaothink 库文档或 http://xiaothink.top 小思框架官网文档。**
核心创新
RWKV-v5 + MLA 历史注意力架构
本模型在 0.6B 参数量下融合了 RWKV-v5 并行时间混合与 DeepSeek V3 风格的 MLA(Multi-head Latent Attention)低秩压缩注意力,实现"当前信息由 RWKV 负责、长程历史由 MLA 分支回看"的职责分离:
关键设计
- *低秩 KV 压缩(MLA)**:KV 先压缩到 kv lora rank=700 的低秩潜空间,再按需解压,大幅降低历史缓存显存与带宽
- *稀疏历史快照**:每 save every=16 步保存一次 KV 快照(相比 instruct 的 32 更密集),历史注意力分支以标准 softmax 全注意力直接回看全部快照与当前 token(不做 top-k 筛选),参与注意力的历史规模随步数线性增长而非平方
- *推理 KV Cache**:推理时缓存解压后的 K/V( use kv cache=True ),避免每步重复解压
- *训练显存友好**:K/V 不展开 T 维,score 层拼接当前步实现冷启动安全;支持梯度检查点
- *门控融合**:可学习的标量门控( hist gate proj )自动权衡当前信息与历史注意力信息
- *长输入支持**: max cut=2400 输入截断 + max seq len=51200 长上下文,适合长文本对话与续写
模型参数
参数 值 说明
- -------------- ---- --------------------------
d model 1400 嵌入维度
hidden dim 1400 前馈网络维度
num heads 4 多头注意力头数
num layers 16 RWKV5HistMLABlock 层数
max seq len 51200 最大序列长度
max cut 2400 推理输入最大截断长度
history top k 6 预留参数,本模型未使用(无 top-k 筛选,稀疏性来自存储间隔)
save every 16 历史快照保存间隔(步)
kv lora rank 700 MLA KV 低秩压缩维度(d\ model//2)
q lora rank 700 MLA Q 低秩压缩维度(d\ model//2)
n maxgate 0 门控上限层数(0=不限制)
v maxgate 1.0 门控最大值
use kv cache True 推理时启用 KV Cache
dropout 0.0 Dropout 率
模型变体
变体 d\ model num\ heads num\ layers 说明
- ----------------------- -------- ---------- ----------- ----------------
t17 rwkv5 mla instruct 1400 4 16 基础指令微调版
t17 rwkv5 mla frontend 1400 4 16 前端(WF)生成强化版
t17 rwkv5 mla instruct pro 1400 4 16 **本卡:基于 frontend 继续微调,增强中文 NL(前端生成能力下降)**
性能评测
盲测设置
以 **DeepSeek-V4-Flash(开启深度思考)作为裁判**,对本地模型与 4 个对照模型进行双模型/多模型盲测对比:
- *6 个 1B 定制中文领域**:古诗生成、古诗赏析、前端页面生成、通用知识、指令遵循、长文本处理
- *每个领域 3 道测试题**,共 18 题
裁判按 **准确性 30% + 关联性 30% + 创造性 40%** 综合评分(页面生成任务改用"样式艺术感 40% + 内容与功能丰富度 40%")
对照评分:每题把本地模型本次回答与所有静态模型回答同时(匿名编号)交给裁判对比打分
本地模型推理参数:温度梯度 [0.68, 0.92] 共 2 个梯度点 × 3 次重复 = 6 次对照评分,**取最高分**;静态模型取各次对照评分平均分
前端页面生成领域:本地模型输出经 **WF 编译器**编译为 HTML 后参与评分(编译失败退回原输出)
分领域平均得分
领域 **T17-Instruct-Pro(0.6B)** Qwen3-0.6B llama-3-8B gpt-oss-20B DeepSeek-V4-Flash
- ------- --------------------------- ---------- ---------- ----------- -----------------
古诗生成 **74.0** 36.4 57.4 43.4 92.4
古诗赏析 67.0 72.6 71.6 71.8 91.7
前端页面生成 25.0 34.9 50.1 67.6 93.7
通用知识 **85.0** 69.5 83.6 90.6 87.7
指令遵循 **90.7** 78.2 89.7 80.6 77.5
长文本处理 50.0 85.0 76.5 93.0 89.6
- *总体平均** **65.3** **62.8** **71.5** **74.5** **88.8**
分析
- *指令遵循 90.7 全场第一**:超过 llama-3-8B(89.7)、gpt-oss-20B(80.6)、DeepSeek-V4-Flash(77.5)、Qwen3-0.6B(78.2),体现 SFT 微调后对格式约束的强服从能力
- *通用知识 85.0**:超过 8B 级 llama-3-8B(83.6)与 0.6B 级 Qwen3(69.5),接近 20B 级 gpt-oss(90.6)
- *古诗生成 74.0**:0.6B 级大幅领先 Qwen3(36.4),且超过 llama-3-8B(57.4)与 gpt-oss-20B(43.4),仅次于旗舰 DeepSeek(92.4)
- *总体 65.3**:超过同为 0.6B 的 Qwen3-0.6B(62.8),展示 RWKV-v5+MLA 架构在低参数量下对中文语感的建模能力
⚠️ **前端页面生成(25.0)为全部模型中最低**:本模型基于 frontend 版继续微调以增强中文自然语言能力,代价是前端(WF)生成能力下降。需要前端生成请使用 t17 rwkv5 mla frontend ;需要自然语言对话/创作/指令任务,本模型为更优选择。
快速开始
安?
需要 xiaothink ≥ 1.4.8。模型权重目录需包含 tokenizer.json 和 *.pt 。
使用
方式一:TorchModel 高级接口(推荐)**
方式二:TextGenerator 底层接口**
参数建议
任务类型 temperature top\ p max\ length 说明
- ---- ----------- ------ ----------- --------
对话 0.8 \~ 0.9 0.9 512 常规对话
创作/古诗 0.9 0.95 512+ 需要更多多样性
指令/概括 0.001 0.9 64 低温度保证确定性
局限性
- **仅支持中文**:截止 Xiaothink-T17 系列发布,所有模型只支持中文处理
- **前端生成能力下降**:本模型侧重中文自然语言,前端(WF)页面生成能力弱于 t17 rwkv5 mla frontend
- **不支持 ModelScope/transformers**:权重格式为自定义 PyTorch state\ dict,必须使用 xiaothink 库加载
- **长文本能力**:推理输入截断长度 2400,超出范围会截断
- **端侧部署**:参数量 0.6B,建议在 ≥8GB 显存或 16GB 内存的设备上运行
许可证
本项目采用 Apache License 2.0 许可证。
Copyright (c) 2026 Xiaothink Team
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
