模型介绍
中文整理基于 ModelScope 的大语言模型的轻量级法律智能对话
项目介绍
本项目利用 ModelScope 平台上的大语言模型，开发了一个轻量级的法律智能对话机器人。该机器人旨在提供专业、高效的法律咨询服务，通过自然语言处理技术，使法律服务更加普及和便捷。
团队信息
- *参赛队名**：open大模型队
- *队长**：刘云
- *联系方式**：17303434408
- *组员**：张友晖、巫文良
- *指导老师**：刘寿强
- *参赛单位**：华南师范大学人工智能学院
- *项目链接**：点击查看
项目目标
准备好法律文书、裁判条文等数据集
使用数据集训练模型，并进行人工评估
部署训练完成的模型，并通过 API 接口调用
使用 web-ui 完成上述流程
技术亮点
- *模型选择**：Qwen-2 大模型（通义千问2.0）
- *微调技术**：LoRA（低秩自适应）微调
- *法律语言处理**：专门针对法律语言的复杂性和专业性进行优化
环境要求
- *系统**：ModelScope 镜像
- *硬件**：A10、RTX3090、RTX4090、A100等均可
- *框架**：魔搭轻量训推框架SWIFT
- *模型**：Qwen2-7B-Instruct
安装指南
本次模型训练使用魔搭notebook环境。提供A10（24G）算力，作为本项目的训练环境。
数据
这里我们使用的数据集是(Skepsun/lawyer llama data)。
数据集包含两个子集:
其一是为引入法律推理能力让模型具备像法律专业人员一样推理和分析复杂法律问题的能力。侧重于训练模型进行法律分析，理解法律条文的内在逻辑，能够根据不同的情境进行推理，给出具有法律依据的解释或结论。
其二增强了模型利用外部法律知识的能力可以帮助模型更好地访问和应用大量的外部法律知识，包括法律条文、案例、法规等。这有助于模型在回答问题时基于更广泛的背景信息，提高其对复杂问题的回答准确性和全面性。数据集的输入输出如下：
训练
为了节省显存，我们选用了LoRA而非全参训练。我们直接给出可用于训练的脚本：
推理和评估
对训练之后的checkpoint（检查点文件）进行推理，需要使用下面的命令：
GPU 使用概况：
- *GPU 型号**：NVIDIA A10
- *驱动版本**：470.103.01
- *CUDA 版本**：12.1
- *总显存**：24,258 MiB（24GB）
- *当前使用显存**：16,804 MiB（大约 16.8GB）
- *显存剩余量**：24,258 MiB - 16,804 MiB = 7,454 MiB（大约 7.5GB）
为观察最终的测试效果我们看看训练的效果如何。我们将通过人工推理来观察模型面对不同方向法律问题时，模型的回答是否能够达到预期的效果。
- 知识产权法问题咨询：
- 合同法问题咨询：
- 劳动法问题咨询：
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。