闲社服务运行正常AI智能体自动化平台
中文
语言 / Language简体中文SelectedEnglish

选择显示语言

jev-novel-2-27b-bf16

alkaid55555/jev-novel-2-27b-bf16

发布机构alkaid55555

下载访问条件魔搭来源

面向 AIGC 文学创作的「八股文」检测模型:单句好坏判断 + 置信度,一次前向传播出结果。 LLM 在文学创作领域一直面临一个显著的问题。由于对编码、Agent 领域持续精进的训练,文学领域始终未受重视——语料的不平衡、RL 策略的倾向性,使得 AI 在文学创作输出上逐渐形成了一套「八股文」,即文学创作领域的局部最优。 八股文通常是概率上的最优,而不是可读性上的最优:

文本处理
模型详情

模型介绍

中文整理

JEVnovel 2 · 27B

面向 AIGC 文学创作的「八股文」检测模型:单句好坏判断 + 置信度,一次前向传播出结果。

🎯 背景与动机

LLM 在文学创作领域一直面临一个显著的问题。由于对编码、Agent 领域持续精进的训练,文学领域始终未受重视——语料的不平衡、RL 策略的倾向性,使得 AI 在文学创作输出上逐渐形成了一套「八股文」,即文学创作领域的局部最优。

八股文通常是**概率上的最优**,而不是**可读性上的最优**:

极度不自然,出现频率相当高,严重影响人类阅读体验;

表现形式多样——从高频形容词、高频修辞,到句式排列、分句断句;

不同 AI 各有不同的「八股」,且八股本身源自人类的正常描写,只是被 AI 不正当地滥用。

这导致基于正则表达式的识别方式困难重重:

  • *大量漏判**:无法处理结构性八股(例如 DeepSeek 常用的「不是……而是」句式);
  • *容易误杀**:「湖」「石子」只是概念,但「湖中投入石子」却成了 Gemini 的八股——封杀「石子」会误伤大量正常描写。

为了让 AIGC 创作出更好的内容,社区需要一种有能力识别这些八股的、高泛化性的方法。**JEVnovel 2 就是我们给出的答案。**

🧠 方法

  • *架构改造**:选取部分 Qwen 系列模型,将输出结构改造为分类头——一次前向传播即可输出分类与置信度;强制模型对**单句**做判断,不考虑句间关系。
  • *数据集**:我们面向某个专注 AIGC 文学创作的大型社区搭建了数据收集公益网站,收集了大量人类标注的偏好数据。清洗后构成 **2 万句单句样本数据集**(训练 25,076 / 验证 4,199 / 测试 4,254)。
  • *训练**:
  • Qwen3.5 0.8B / 4B:LoRA 训练
  • Qwen3.8 27B:全参数 SFT

训练后的模型在单句好坏判断上涌现出相当高的能力:能有效识别**八股、不自然的句子结构、AI 堆砌的描写**等 AIGC 不良特征,同时不对人类文章、AIGC 良性文字造成大规模误伤。

📊 评测

评测设置

我们从数据集中构建了两类 bench:

Bench 构成 特点

  • -- --- ---
  • *main-bench** 人类标注人数多、共识最高的数据(538 句) **核心指标**:macro-F1
  • *all-bench** 数量较多、共识较低、噪声极大的全体数据(4,254 句) 参考指标

同时统计 bad 召回率、bad 准确率、负类误报率等辅助判据。评分时各模型使用各自迭代出的判定阈值。Bench 中也加入了 LLM 的得分——环境与 JEVnovel 2 一致,仅对提示词做了完善(JEVnovel 2 不需要复杂提示词,直接平移至 LLM 会难以统一输出,并造成困惑)。

结果

模型 来源 main macro-F1 bad召回 bad精确 负误报 all macro-F1

  • -- --- ---: ---: ---: ---: ---:

jev-novel-2-27b-bf16 **JEVnovel 2** **0.7661** 0.6162 **0.8978** **0.0712** 0.5928

jev-novel-2-4b-bf16 **JEVnovel 2** 0.7509 0.6273 0.8458 0.1161 0.5954

jev-novel-2-0.8b-bf16 **JEVnovel 2** 0.7426 0.6790 0.7830 0.1910 **0.6057**

random-baseline baseline 0.5000 0.5000 0.5037 0.5000 0.4999

claude-opus-5.5 LLM 0.4853 0.6642 0.5028 0.6667 0.4728

claude-opus-5 LLM 0.4396 0.7048 0.4860 0.7566 0.4618

claude-fable-5 LLM 0.4393 0.3247 0.4467 0.4082 0.4420

claude-opus-4-7 LLM 0.4381 0.5609 0.4592 0.6704 0.4709

gpt-5.6-terra LLM 0.4337 0.6679 0.4788 0.7378 0.4646

grok-4.7 LLM 0.4209 0.7343 0.4795 0.8090 0.4323

claude-sonnet-5 LLM 0.4164 0.5978 0.4525 0.7341 0.4411

gemini-3.7-flash LLM 0.4123 0.4317 0.4194 0.6067 0.4375

gpt-6-sol LLM 0.4116 **0.7934** 0.4909 0.8352 0.4645

deepseek-v4-pro LLM 0.4088 0.3948 0.4100 0.5768 0.4422

glm-5.3 LLM 0.4075 0.5055 0.4308 0.6779 0.4873

gpt-5.6-sol LLM 0.3986 0.6679 0.4617 0.7903 0.4622

grok-4.6 LLM 0.3953 0.6937 0.4608 0.8240 0.4450

gemini-3.1-pro-preview LLM 0.3947 0.3247 0.3843 0.5281 0.4241

claude-opus-4-8 LLM 0.3937 0.6052 0.4420 0.7753 0.4428

qwen3.7-max LLM 0.3930 0.4613 0.4112 0.6704 0.4648

qwen3.8-flash LLM 0.3892 0.6568 0.4506 0.8127 0.4561

kimi-k3 LLM 0.3871 0.2989 0.3716 0.5131 0.4231

claude-opus-4-6 LLM 0.3846 0.2915 0.3674 0.5094 0.4222

deepseek-v4-flash LLM 0.3830 0.3284 0.3739 0.5581 0.4407

gpt-5.6-luna LLM 0.3827 0.6199 0.4444 0.7865 0.4454

gpt-6-luna LLM 0.3804 0.6679 0.4536 0.8165 0.4350

Qwen3.6-27B LLM 0.3751 0.5535 0.4213 0.7715 0.4523

deepseek-v4.1-flash LLM 0.3746 0.4096 0.3868 0.6592 0.4349

gpt-5.5 LLM 0.3739 0.4871 0.4099 0.7116 0.4439

glm-5.3-flash LLM 0.3729 0.2509 0.3487 0.4757 0.4158

qwen3.7-plus LLM 0.3712 0.4317 0.3900 0.6854 0.4327

deepseek-v3.2 LLM 0.3643 0.3100 0.3529 0.5768 0.4300

gemini-3.6-flash LLM 0.3584 0.4871 0.3964 0.7528 0.4292

qwen3.8-max LLM 0.3584 0.3801 0.3679 0.6629 0.4628

glm-5.2 LLM 0.3522 0.6125 0.4246 0.8427 0.4534

gemini-2.5-pro LLM 0.3432 0.3727 0.3556 0.6854 0.4341

majority-baseline baseline 0.3317 0.0000 — 0.0000 0.3288

gemini-3.5-flash LLM 0.3216 0.3210 0.3246 0.6779 0.3975

gemma-4-E4B-it LLM 0.3203 0.2768 0.3074 0.6330 0.3760

gemma-4-31B-it LLM 0.3126 0.2435 0.2882 0.6105 0.3818

  • *辅助指标最优**:bad 召回 gpt-6-sol (0.7934)|bad 精确 jev-novel-2-27b-bf16 (0.8978)|负类误报最低 jev-novel-2-27b-bf16 (0.0712)。

分析与讨论

为什么 LLM 普遍不佳(甚至低于随机基线)?**

我们推测这与 LLM 并未针对文学判断任务优化有关——它们难以区分一个句子从人类角度看正常与否。更进一步,AI 八股本就是语料不均、RL 偏好等训练过程的综合产物,LLM 甚至可能认为 AI 八股是「优秀的描写」。而 JEVnovel 2 基于人类偏好数据训练归纳,不存在这种分布偏移,因此准确性大幅胜出。

速度也是完全胜利。** JEVnovel 2 不需要自回归生成,一次前向传播即可输出结果,在高并行、大输入场景下对比自回归模型有巨大优势。

分数不等于一切:三档模型怎么选?**

三档 JEV 模型分数差距不大,但我们发现判断存在**长尾效应**:

人类高共识的八股(「所有人看过之后都觉得十分差劲」的那类)对模型并不困难——甚至部分过拟合的模型也能保持较高识别率,这解释了为何 main-bench 上所有 JEVnovel 系列分数都不低;

但对于模棱两可的句子(连人类也拿不准是「平庸」还是「有点毛病」),参数量的优势就体现出来了——**从使用体验上,27B 显著优于小参数模型**(这是社区使用者的真实评价,属于 bench 难以量化的体验层面)。

🗺️ 未来计划

持续提升对不同 AI 八股的识别能力,扩展数据集广度;

细分判断档位:力争识别出「**哪里有问题**」与「**有什么问题**」,进一步提升模型输出的指导价值。

📐 模型规格

项 值

  • -- ---

参数量 25.63B

权重 bf16,47.73 GiB,27 个 safetensors 分片

文本骨干 qwen3 5 text,hidden 5120,64 层

主头 pointer(256 维)二分类

副头 五档 ordinal

判定阈值 0.6051638126373291

最长输入 1024 token(含固定提示)

🚀 用法

⚠️ 自定义架构,**不能直接用 AutoModel 加载**,请使用本仓库的 infer.py 。

安?

推理

输入**:JSONL 每行包含 sentence (可选 id )。

输出字段**:

字段 说明

  • -- ---

label 分类标签

needs revision 是否需要修改

bad probability bad 类别概率

probabilities 各类别概率分布

加 --ordinal 额外返回五档分布与 expected grade 。

📄 许可

以 Apache-2.0 发布,承继基座模型(Qwen3.5 / Qwen3.8)的许可证,见 LICENSE 。

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

返回顶部