anti_fraud

模型介绍

随着网络诈骗越来越多，经常有一些不法分子利用网络会议软件进行诈骗，为此需要训练一个文本分类检测模型，来实时检测会议中的对话内容是否存在诈骗风险，以帮助用户在网络会议中增强警惕，减少受到欺诈的风险。

但是截止目前，开源模型对欺诈分类的检测效果并不理想（召回率大概只有50~60%），为此我们基于开源的Qwen2-1.5B模型进行了进一步的微调训练，最终获得了较好的检测效果（精确率和召回率均达到94%）。

该模型的任务是对输入的一段对话文本进行检测，识别出其中是否存在经济欺诈行为。如果存在到欺诈行为，模型还可以给出分析的理由依据，并预测出对话中哪个发言者是欺诈者，做到有理有据。该模型在欺诈分类检测上的准确率约为94%，在识别欺诈发言者上的准确率约为91%。

使用方式

这里提供了一个代码片段，演示了如何使用该模型进行欺诈检测。

• 使用 AutoModelForCausalLM 加载模型权重，使用 AutoTokenizer 加载对应的tokenizer。
• 定义了一个欺诈检测指令 instruction （此指令经过模型训练）和用户输入 user input , 并组成对话列表 messages 。
• 使用 apply chat template 方法将对话内容转换为模型可接受的格式，并通过 generate 方法生成结果。
• 通过 tokenizer.batch decode 方法将生成的token ID列表转换为文本，并打印出结果。

输出结果示例如下：

模型如何训练的

该模型是在Qwen2-1.5B-Instruct的基础上，使用两万多条打过标签的欺诈文本分类数据，使用Lora微调训练得到的。在微调过程中，使用的主要训练参数如下：

Lora低秩矩阵的秩r=16，缩放因子alpha=32；

所使用的正向和反向数据集分别包含约13868条数据，总计约27736条数据，数据集按照8:1:1的比例划分为训练集、验证集和测试集；

训练使用的GPU设备是一张有24GB显存的3090显卡，小批量（batch size）为8；

整体采用K折交叉训练验证的方法，所有数据分为5个折子（一个折子可以理解为一份训练/验证集的组合），每个折子进行两轮数据训练，总共训练10轮；

最后在测试集上进行模型整体指标的测评。

模型训练数据

模型所使用的欺诈文本数据分为正反两类，一类是欺诈类数据，一类是非欺诈类数据。

欺诈类数据的构造过程：

• 从各个新闻网站收集与诈骗相关的案例报道，处理成CSV格式的数据；
• 以每篇案例报道作为上下文，让 gpt-4o 模型以对话形式还原诈骗案例发生的整个过程，得到一个诈骗案例的对话集；
• 将每个案例的大对话切分成100、300、500字的小对话集，目的是让模型在训练时能够适应不同长度的输入，并捕捉上下文信息。
• 将这些小对话集再送给 gpt-4o 模型打标签（is fraud=true/false），同时生成欺诈发言者（fraud speaker）和分析理由（reason）。
• 人工审核这些对话集的标签，对于标签有明显错误的对话集进行修正。

非欺诈类数据的构造过程：

• 使用真实会议的ASR文本（语音识别，包含发言者信息）作为原始数据，这个ASR已经按照300-500字切分成一个一个的发言段落；
• 将大段落切分成小段落（