模型介绍
中文整理RWKV7-G1l-2.9B 小说扩写(第一版监督微调)
这份说明是 Grok 4.7 xhigh 写的,它自己就是一份有人工智能味的文档。
在 Blink DL/rwkv7-g1 的 rwkv7-g1l-2.9b-20261031-ctx34304.pth 上做的中文小说扩写低秩适配,已经合并进基座,是一份可以直接加载的脑浮点 16 位权重。给定细纲和字数要求,模型按 G1 对话模板直接写正文,并在段尾空行处停下。
感谢 我要吃稀饭。
默认文件是第一版监督微调。DPO 和 Step-DPO 也放在同一个仓库里,用来对照。加载方式和普通的 RWKV7-G1 权重一样。
为什么默认是第一版监督微调
后面又训了 DPO 和 Step-DPO。跟纲略好一点,文风掉了:人话里的滑稽和没说破的感觉没了,读起来有一股人工智能味,像在给细纲做说明书。所以这个仓库的默认权重仍是第一版监督微调( rwkv7-g1l-2.9b-novel-sft-run1.pth )。另外两份合并文件也放在这里,想对跟纲可以换文件名加载,提示词和采样不变。
评测用深度求索 V4.1 快闪版(接口模型名 rwkv-ds41f-1017 ),盲评,温度 0。同一套 48 条留出提示。下表是三边都解析成功的 38 条(另有 5 条评测输出没解析出来,没有算进去)。文字分几乎一样,评委的 1 到 5 分没有把「人工智能味」分开;取舍是读稿子之后做的。
第一版监督微调 DPO Step-DPO
- -- ---: ---: ---:
细纲覆盖 20.4% 29.4% 26.8%
开头按细纲进入 15.8% 10.5% 23.7%
结尾落在要求的状态 2.6% 5.3% 10.5%
中途截断 68.4% 65.8% 60.5%
与细纲矛盾的条数(平均) 5.8 6.3 6.0
文字(1 到 5) 1.71 1.74 1.68
总分(1 到 10) 2.13 2.26 2.26
同一采样下的格式(48 条全算,三边都自己停住,10 字重复率大于 0.1 的都是 0):
字数落在要求区间 第一版监督微调 DPO Step-DPO
- -- ---: ---: ---:
全部 60% 54% 71%
剧情扩写(1200 到 1500 字) 96% 62% 96%
单章扩写(2400 到 2500 字) 25% 46% 46%
DPO 把剧情扩写的长度从 96% 打到 62%。Step-DPO 把长度拉回来,跟纲只高一点。两份的文字分都没有超过第一版。
另有一次盲评的阅读比较(DPO 对第一版,16 条提示、两种顺序):胜负各 50%。可读性 3.84 对 4.03,文笔 3.41 对 3.62,第一版略高。
例子:剧情扩写第 2278 条
同一条留出细纲。下面是三份权重各自写完的全文,没有删节,也没有评语。字数按评测记录,换行不计入。48 条都在仓库里的生成文件中。这一条在 samples/stepdpo1 gen step11.md 里是索引 2,锚点 s2 ,编号 2278。
细纲:
第一版监督微调, rwkv7-g1l-2.9b-novel-sft-run1.pth ,1420 字。
DPO, rwkv7-g1l-2.9b-novel-dpo1.pth ,1448 字。
Step-DPO, rwkv7-g1l-2.9b-novel-stepdpo1.pth ,1440 字。
生成和对照文件都在这个仓库的 samples/ 里:
文件 是什么
- -- ---
samples/dpo1 review.md 第一版和 DPO 的阅读对照,48 条留出提示,每条是完整生成
samples/run1 generations.json 第一版 48 条生成,字段 output 是正文
samples/dpo1 gen step305.json DPO 最终权重的 48 条生成
samples/stepdpo1 gen step11.json Step-DPO 的 48 条生成
samples/stepdpo1 gen step11.md 同一份生成的可读版
samples/judge summary.json 三边分数,上面的表从这里来
文件
三份都是合并后的脑浮点 16 位权重,结构和 G1l-2.9B 相同。换文件即可,用法相同。默认用第一份。
文件 字节 校验和 说明
- -- ---: --- ---
rwkv7-g1l-2.9b-novel-sft-run1.pth 5,896,475,673 381fa293a599ffa44fb56715858a065ed4f23598ac88719fef58df956ed121df **默认。** 第一版监督微调,622 步
rwkv7-g1l-2.9b-novel-dpo1.pth 5,896,471,337 caab656b81dffb355a12b9562ae773c1cfdcb5c37227e114f1651c30f5a67363 在第一版上做的 DPO,305 步。偏好的一边是人写的故事,不偏好的一边是第一版自己写的
rwkv7-g1l-2.9b-novel-stepdpo1.pth 5,896,475,673 b63c951b5aab493da9fade817d2fefac591b34cb5c1ccb312f4eb301d6bcd7ef 在第一版上做的 Step-DPO,11 步,115 对,只改走偏的那一拍
rwkv vocab v20230424.txt 1,093,733 e6dee3d4e31b4d5c40ac99508ac6c701ceef4bed681bf2167ce9a908552bca89 训练用词表,换行是换行符。 rwkv 0.8.32 自带的同名词表只是回车加换行,编码结果相同
结构与 G1l-2.9B 相同:32 层,隐藏宽度 2560,词表 65536,前馈 10240。权重约 5.5 GiB,推理建议 12 GB 以上显存。
训练代码
三份权重的训练脚本都在 code/ ,用法和每份权重的原始命令写在 code/README.md :
权重 脚本
- -- ---
第一版监督微调 prepare data.py → train.py → export merged.py
DPO gen pairs.py → dpo.py
Step-DPO judge locate.py → branch.py → judge branch.py → dpo.py ( run stepdpo1 data.sh )
train logs/ 里是 DPO 和 Step-DPO 的完整配置、逐步训练日志,以及 Step-DPO 配对数据的统计。训练数据和配对文件不在仓库里。
下载
用法
提示词和训练时一致。用户原文里的空行要收成单换行,唯一的空行是「用户」和「助手」之间的分隔。程序里这两边写成 User: 和 Assistant: ,因为词表就是这样分词的:
采样用 RWKV 官方默认。不要把核采样降到 0.5,那会让单章扩写大量循环。
参数 值
- -- ---
温度 1.0
核采样 0.85
存在惩罚 0.2
频率惩罚 0.2
惩罚衰减 0.996
屏蔽的词元 0(预训练里的文档结束符)
正文在解码文本里出现空行时结束。这个空行通常是两个词元(一个以换行结尾,再加一个以换行开头),不是单独那个「空行」词元(编号 261)。只把 261 放进停止词会停不下来。
先把环境变量 RWKV V7 ON 设为 1 ,再用 rwkv 0.8.32 加载。下面这段在空行处停下,惩罚和官方生成函数相同。
RWKV 运行器和 Ai00 也可以直接打开这份权重(RWKV-7 / G1)。停止条件同样按解码后的空行,而不是只按词元 261。
训练时在做什么
两类任务,字数写在用户提示里:剧情扩写约 1200 到 1500 字,单章扩写约 2400 到 2500 字。模型被教成写完就用空行结束,不会先输出思考标签。
低秩适配的秩是 64、缩放是 128,打在全部 32 层的注意力接收、键、值、输出,以及前馈的键和值上,再合并回基座。优化器 AdamW,学习率万分之一,预热 30 步,余弦降到十万分之一,两轮共 622 步。留出集损失从 1.906 降到 1.840。
48 条从未参与训练的提示、上面这套采样下的格式结果:
剧情扩写,24 条 单章扩写,24 条
- -- --- ---
自己停住 100% 100%
字数落在要求区间 96% 25%(24 条里有 23 条在区间上下 5% 内,中位 2380,下限 2400)
循环(10 字重复率大于 0.1) 0% 0%
这份权重解决的是长度、停笔和复读。跟纲仍会有事实差错或提前收束,那不是这次监督微调量过的东西。
State branch Step-DPO
rwkv7-g1l-2.9b-novel-stepdpo1.pth 不是把整章和人写的故事做 DPO。它只在第一版写偏的那一拍上,从当时的 RWKV state 分叉,比较同一前缀后面的两种写法。人写的参考只给评委对证据,不作为 chosen。
定位。评委读第一版在训练集上写的稿,列出细纲事件,指出第一次偏离的那一句。切点是这句话的开头,前面已经写对的留在共享前缀里。引用对不上、模糊匹配低于 0.6 的切点丢掉。这一轮判定了 399 个切点。
分叉。上下文是 User: {细纲}\n\nAssistant: 加上前缀。预填充得到该位置的 recurrent state,存在惩罚和频率惩罚的计数也按前缀重建,衰减 0.996。把这个 state 复制成 K=8 份,各写一拍:最多 400 个 token,短于 150 个 token 的收到段尾,短于 20 个 token 的丢掉。采样和评测相同:温度 1.0,top p 0.85,存在惩罚 0.2,频率惩罚 0.2,屏蔽 token 0。解码出空行就停。后面还有细纲事件时,如果这一拍用空行把故事收掉,这个结尾会被剪掉,避免把「就在这里停」学成偏好。
配对。一拍算好,只看它有没有写下指定的那一个事件,并且没有和细纲矛盾。1 到 5 的文字分只用来挑近的一对。chosen 是好拍里文字分最高的一条。rejected 是坏拍里文字分最接近、其次长度最接近的一条,所以一对的差别在情节。第一版自己在切点后面写的原文只用来定位,不进配对。399 个切点里,271 个八条全坏,0 个八条全好,配成 128 对。其中 104 对坏在矛盾,24 对坏在没写到事件。chosen 和 rejected 的长度都大约 381 个 token。按故事留出 10%,115 对训练,13 对验证,同一篇的拍不会拆到两边。
训练。初始模型和 DPO 的 reference 都是第一版的 adapter final.pt 。新 LoRA 的 B 从 0 开始,所以第 0 步 policy 等于 reference。 prompt ids 是提示加前缀,chosen 和 rejected 各是从同一个 state 采出来的一拍。损失是 DPO 加上 chosen 上的 NLL。 pc 、 rc 是 policy 对 chosen、rejected 的对数概率和, pr 、 rr 是 reference 的:
β = 0.1,λ = 1.0。LoRA 秩 64、缩放 128,学习率 5e-6,时间混合和层归一向量的学习率 1e-6。打包长度 16384,每步 1 行,预热 1 步,1 个 epoch,共 11 步。reference 的对数概率按配对文件和初始权重的指纹缓存,对不上就重算。
仓库里的 DPO( rwkv7-g1l-2.9b-novel-dpo1.pth )是另一个目标:chosen 是整篇人写的故事,rejected 是第一版的整篇生成,4000 对训练、155 对验证,305 步。β、λ 和学习率相同,但每步 5 行、预热 10 步。那一版把剧情扩写的长度从 96% 打到 62%。这份 Step-DPO 只改走偏的那一拍,剧情扩写的长度回到 96%。默认权重仍是第一版。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
