模型介绍
中文整理JEVnovel 2 · 27B
面向 AIGC 文学创作的「八股文」检测模型:单句好坏判断 + 置信度,一次前向传播出结果。
🎯 背景与动机
LLM 在文学创作领域一直面临一个显著的问题。由于对编码、Agent 领域持续精进的训练,文学领域始终未受重视——语料的不平衡、RL 策略的倾向性,使得 AI 在文学创作输出上逐渐形成了一套「八股文」,即文学创作领域的局部最优。
八股文通常是**概率上的最优**,而不是**可读性上的最优**:
极度不自然,出现频率相当高,严重影响人类阅读体验;
表现形式多样——从高频形容词、高频修辞,到句式排列、分句断句;
不同 AI 各有不同的「八股」,且八股本身源自人类的正常描写,只是被 AI 不正当地滥用。
这导致基于正则表达式的识别方式困难重重:
- *大量漏判**:无法处理结构性八股(例如 DeepSeek 常用的「不是……而是」句式);
- *容易误杀**:「湖」「石子」只是概念,但「湖中投入石子」却成了 Gemini 的八股——封杀「石子」会误伤大量正常描写。
为了让 AIGC 创作出更好的内容,社区需要一种有能力识别这些八股的、高泛化性的方法。**JEVnovel 2 就是我们给出的答案。**
🧠 方法
- *架构改造**:选取部分 Qwen 系列模型,将输出结构改造为分类头——一次前向传播即可输出分类与置信度;强制模型对**单句**做判断,不考虑句间关系。
- *数据集**:我们面向某个专注 AIGC 文学创作的大型社区搭建了数据收集公益网站,收集了大量人类标注的偏好数据。清洗后构成 **2 万句单句样本数据集**(训练 25,076 / 验证 4,199 / 测试 4,254)。
- *训练**:
- Qwen3.5 0.8B / 4B:LoRA 训练
- Qwen3.8 27B:全参数 SFT
训练后的模型在单句好坏判断上涌现出相当高的能力:能有效识别**八股、不自然的句子结构、AI 堆砌的描写**等 AIGC 不良特征,同时不对人类文章、AIGC 良性文字造成大规模误伤。
📊 评测
评测设置
我们从数据集中构建了两类 bench:
Bench 构成 特点
- -- --- ---
- *main-bench** 人类标注人数多、共识最高的数据(538 句) **核心指标**:macro-F1
- *all-bench** 数量较多、共识较低、噪声极大的全体数据(4,254 句) 参考指标
同时统计 bad 召回率、bad 准确率、负类误报率等辅助判据。评分时各模型使用各自迭代出的判定阈值。Bench 中也加入了 LLM 的得分——环境与 JEVnovel 2 一致,仅对提示词做了完善(JEVnovel 2 不需要复杂提示词,直接平移至 LLM 会难以统一输出,并造成困惑)。
结果
模型 来源 main macro-F1 bad召回 bad精确 负误报 all macro-F1
- -- --- ---: ---: ---: ---: ---:
jev-novel-2-27b-bf16 **JEVnovel 2** **0.7661** 0.6162 **0.8978** **0.0712** 0.5928
jev-novel-2-4b-bf16 **JEVnovel 2** 0.7509 0.6273 0.8458 0.1161 0.5954
jev-novel-2-0.8b-bf16 **JEVnovel 2** 0.7426 0.6790 0.7830 0.1910 **0.6057**
random-baseline baseline 0.5000 0.5000 0.5037 0.5000 0.4999
claude-opus-5.5 LLM 0.4853 0.6642 0.5028 0.6667 0.4728
claude-opus-5 LLM 0.4396 0.7048 0.4860 0.7566 0.4618
claude-fable-5 LLM 0.4393 0.3247 0.4467 0.4082 0.4420
claude-opus-4-7 LLM 0.4381 0.5609 0.4592 0.6704 0.4709
gpt-5.6-terra LLM 0.4337 0.6679 0.4788 0.7378 0.4646
grok-4.7 LLM 0.4209 0.7343 0.4795 0.8090 0.4323
claude-sonnet-5 LLM 0.4164 0.5978 0.4525 0.7341 0.4411
gemini-3.7-flash LLM 0.4123 0.4317 0.4194 0.6067 0.4375
gpt-6-sol LLM 0.4116 **0.7934** 0.4909 0.8352 0.4645
deepseek-v4-pro LLM 0.4088 0.3948 0.4100 0.5768 0.4422
glm-5.3 LLM 0.4075 0.5055 0.4308 0.6779 0.4873
gpt-5.6-sol LLM 0.3986 0.6679 0.4617 0.7903 0.4622
grok-4.6 LLM 0.3953 0.6937 0.4608 0.8240 0.4450
gemini-3.1-pro-preview LLM 0.3947 0.3247 0.3843 0.5281 0.4241
claude-opus-4-8 LLM 0.3937 0.6052 0.4420 0.7753 0.4428
qwen3.7-max LLM 0.3930 0.4613 0.4112 0.6704 0.4648
qwen3.8-flash LLM 0.3892 0.6568 0.4506 0.8127 0.4561
kimi-k3 LLM 0.3871 0.2989 0.3716 0.5131 0.4231
claude-opus-4-6 LLM 0.3846 0.2915 0.3674 0.5094 0.4222
deepseek-v4-flash LLM 0.3830 0.3284 0.3739 0.5581 0.4407
gpt-5.6-luna LLM 0.3827 0.6199 0.4444 0.7865 0.4454
gpt-6-luna LLM 0.3804 0.6679 0.4536 0.8165 0.4350
Qwen3.6-27B LLM 0.3751 0.5535 0.4213 0.7715 0.4523
deepseek-v4.1-flash LLM 0.3746 0.4096 0.3868 0.6592 0.4349
gpt-5.5 LLM 0.3739 0.4871 0.4099 0.7116 0.4439
glm-5.3-flash LLM 0.3729 0.2509 0.3487 0.4757 0.4158
qwen3.7-plus LLM 0.3712 0.4317 0.3900 0.6854 0.4327
deepseek-v3.2 LLM 0.3643 0.3100 0.3529 0.5768 0.4300
gemini-3.6-flash LLM 0.3584 0.4871 0.3964 0.7528 0.4292
qwen3.8-max LLM 0.3584 0.3801 0.3679 0.6629 0.4628
glm-5.2 LLM 0.3522 0.6125 0.4246 0.8427 0.4534
gemini-2.5-pro LLM 0.3432 0.3727 0.3556 0.6854 0.4341
majority-baseline baseline 0.3317 0.0000 — 0.0000 0.3288
gemini-3.5-flash LLM 0.3216 0.3210 0.3246 0.6779 0.3975
gemma-4-E4B-it LLM 0.3203 0.2768 0.3074 0.6330 0.3760
gemma-4-31B-it LLM 0.3126 0.2435 0.2882 0.6105 0.3818
- *辅助指标最优**:bad 召回 gpt-6-sol (0.7934)|bad 精确 jev-novel-2-27b-bf16 (0.8978)|负类误报最低 jev-novel-2-27b-bf16 (0.0712)。
分析与讨论
为什么 LLM 普遍不佳(甚至低于随机基线)?**
我们推测这与 LLM 并未针对文学判断任务优化有关——它们难以区分一个句子从人类角度看正常与否。更进一步,AI 八股本就是语料不均、RL 偏好等训练过程的综合产物,LLM 甚至可能认为 AI 八股是「优秀的描写」。而 JEVnovel 2 基于人类偏好数据训练归纳,不存在这种分布偏移,因此准确性大幅胜出。
速度也是完全胜利。** JEVnovel 2 不需要自回归生成,一次前向传播即可输出结果,在高并行、大输入场景下对比自回归模型有巨大优势。
分数不等于一切:三档模型怎么选?**
三档 JEV 模型分数差距不大,但我们发现判断存在**长尾效应**:
人类高共识的八股(「所有人看过之后都觉得十分差劲」的那类)对模型并不困难——甚至部分过拟合的模型也能保持较高识别率,这解释了为何 main-bench 上所有 JEVnovel 系列分数都不低;
但对于模棱两可的句子(连人类也拿不准是「平庸」还是「有点毛病」),参数量的优势就体现出来了——**从使用体验上,27B 显著优于小参数模型**(这是社区使用者的真实评价,属于 bench 难以量化的体验层面)。
🗺️ 未来计划
持续提升对不同 AI 八股的识别能力,扩展数据集广度;
细分判断档位:力争识别出「**哪里有问题**」与「**有什么问题**」,进一步提升模型输出的指导价值。
📐 模型规格
项 值
- -- ---
参数量 25.63B
权重 bf16,47.73 GiB,27 个 safetensors 分片
文本骨干 qwen3 5 text,hidden 5120,64 层
主头 pointer(256 维)二分类
副头 五档 ordinal
判定阈值 0.6051638126373291
最长输入 1024 token(含固定提示)
🚀 用法
⚠️ 自定义架构,**不能直接用 AutoModel 加载**,请使用本仓库的 infer.py 。
安?
推理
输入**:JSONL 每行包含 sentence (可选 id )。
输出字段**:
字段 说明
- -- ---
label 分类标签
needs revision 是否需要修改
bad probability bad 类别概率
probabilities 各类别概率分布
加 --ordinal 额外返回五档分布与 expected grade 。
📄 许可
以 Apache-2.0 发布,承继基座模型(Qwen3.5 / Qwen3.8)的许可证,见 LICENSE 。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.
