All systems operationalAI Agent Automation Platform
English
Language简体中文EnglishSelected

Choose your language

Medical_Dialogue_Model

zpeng1989/Medical_Dialogue_Model

Publisherzpeng1989

Download access requirementsModelScope source

本项目旨在构建一个针对肿瘤知识的问答大模型,基于 qwen2.5-7B 模型作为基座模型,使用LoRA(Low-Rank Adaptation)技术进行微调。模型训练数据涵盖了基因数据、肿瘤药物、NCCN(美国国家综合癌症网络)指南、CSCO(中国临床肿瘤学会)指南等权威肿瘤学知识信息,并通过问答题目进行微调,以提升模型在肿瘤领域的问答能力。 微调方法: LoRA(Low-Rank Adaptation) 1. 基因数据: 包含与肿瘤相关的基因突变、表达谱等信息。

Text Chat
Model details

模型介绍

中文整理

肿瘤知识问答大模型

项目概述

本项目旨在构建一个针对肿瘤知识的问答大模型,基于 qwen2.5-7B 模型作为基座模型,使用LoRA(Low-Rank Adaptation)技术进行微调。模型训练数据涵盖了基因数据、肿瘤药物、NCCN(美国国家综合癌症网络)指南、CSCO(中国临床肿瘤学会)指南等权威肿瘤学知识信息,并通过问答题目进行微调,以提升模型在肿瘤领域的问答能力。

模型架构

  • *基座模型**: qwen2.5-7B
  • *微调方法**: LoRA(Low-Rank Adaptation)
  • *训练数据**:
  • 基因数据
  • 肿瘤药物信息
  • NCCN指南
  • CSCO指南
  • 肿瘤知识问答题目

数据集

数据来源

  • **基因数据**: 包含与肿瘤相关的基因突变、表达谱等信息。
  • **肿瘤药物**: 涵盖常用肿瘤药物的适应症、副作用、作用机制等。
  • **NCCN指南**: 美国国家综合癌症网络发布的肿瘤治疗指南。
  • **CSCO指南**: 中国临床肿瘤学会发布的肿瘤诊疗指南。
  • **问答题目**: 基于上述数据生成的肿瘤知识问答题目,用于模型微调。

数据预处理

  • *数据清洗**: 去除重复、不完整或无关的数据。
  • *数据标注**: 对问答题目进行标注,确保问题和答案的准确性。
  • *数据分割**: 将数据集分为训练集、验证集和测试集。

模型训练

微调方法

使用LoRA技术对 qwen2.5-7B 模型进行微调。LoRA通过在预训练模型的权重矩阵中引入低秩矩阵来减少参数量,从而在保持模型性能的同时降低计算成本。

训练步骤

  • **加载预训练模型**: 加载 qwen2.5-7B 模型。
  • **应用LoRA**: 在模型的关键层应用LoRA技术。
  • **训练模型**: 使用准备好的肿瘤知识问答数据集进行微调。
  • **验证与测试**: 在验证集和测试集上评估模型性能,调整超参数以优化结果。

模型评估

评估指标

  • *准确率**: 模型在问答任务中的准确率。
  • *召回率**: 模型能够正确回答的问题比例。
  • *F1分数**: 准确率和召回率的调和平均数。

评估结果

在测试集上的评估结果如下:

待更新

使用指南

环境配置

  • **Python版本**: 3.10+
  • **依赖库**:
  • transformers
  • torch

模型下载

SDK下载

Git下载

模型推理

具体案例

Case 1

Case 2

License

本项目采用 MIT 许可证。

致谢

感谢 qwen2.5-7B 模型的开发者。

感谢 NCCN 和 CSCO 提供的指南数据。

感谢所有为肿瘤知识问答数据集做出贡献的研究人员。

联系方式

如有任何问题,请联系 [592392714@qq.com]。

注意**: 本项目仅供学术研究使用,不构成医疗建议。

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

Back to top