模型介绍
中文整理肿瘤知识问答大模型
项目概述
本项目旨在构建一个针对肿瘤知识的问答大模型,基于 qwen2.5-7B 模型作为基座模型,使用LoRA(Low-Rank Adaptation)技术进行微调。模型训练数据涵盖了基因数据、肿瘤药物、NCCN(美国国家综合癌症网络)指南、CSCO(中国临床肿瘤学会)指南等权威肿瘤学知识信息,并通过问答题目进行微调,以提升模型在肿瘤领域的问答能力。
模型架构
- *基座模型**: qwen2.5-7B
- *微调方法**: LoRA(Low-Rank Adaptation)
- *训练数据**:
- 基因数据
- 肿瘤药物信息
- NCCN指南
- CSCO指南
- 肿瘤知识问答题目
数据集
数据来源
- **基因数据**: 包含与肿瘤相关的基因突变、表达谱等信息。
- **肿瘤药物**: 涵盖常用肿瘤药物的适应症、副作用、作用机制等。
- **NCCN指南**: 美国国家综合癌症网络发布的肿瘤治疗指南。
- **CSCO指南**: 中国临床肿瘤学会发布的肿瘤诊疗指南。
- **问答题目**: 基于上述数据生成的肿瘤知识问答题目,用于模型微调。
数据预处理
- *数据清洗**: 去除重复、不完整或无关的数据。
- *数据标注**: 对问答题目进行标注,确保问题和答案的准确性。
- *数据分割**: 将数据集分为训练集、验证集和测试集。
模型训练
微调方法
使用LoRA技术对 qwen2.5-7B 模型进行微调。LoRA通过在预训练模型的权重矩阵中引入低秩矩阵来减少参数量,从而在保持模型性能的同时降低计算成本。
训练步骤
- **加载预训练模型**: 加载 qwen2.5-7B 模型。
- **应用LoRA**: 在模型的关键层应用LoRA技术。
- **训练模型**: 使用准备好的肿瘤知识问答数据集进行微调。
- **验证与测试**: 在验证集和测试集上评估模型性能,调整超参数以优化结果。
模型评估
评估指标
- *准确率**: 模型在问答任务中的准确率。
- *召回率**: 模型能够正确回答的问题比例。
- *F1分数**: 准确率和召回率的调和平均数。
评估结果
在测试集上的评估结果如下:
待更新
使用指南
环境配置
- **Python版本**: 3.10+
- **依赖库**:
- transformers
- torch
模型下载
SDK下载
Git下载
模型推理
具体案例
Case 1
Case 2
许可证
本项目采用 MIT 许可证。
致谢
感谢 qwen2.5-7B 模型的开发者。
感谢 NCCN 和 CSCO 提供的指南数据。
感谢所有为肿瘤知识问答数据集做出贡献的研究人员。
联系方式
如有任何问题,请联系 [592392714@qq.com]。
注意**: 本项目仅供学术研究使用,不构成医疗建议。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
