COT_Medical_Qwen_Large_Language_Model

医疗思考链问答大模型

项目概述

本项目旨在构建一个针对医疗知识的思考链条的问答大模型，基于 qwen2.5-7B 模型作为基座模型，使用LoRA（Low-Rank Adaptation）技术进行微调。模仿DeepSeek模型增加"深度思考模式(think)"。模型训练数据涵盖了医疗问诊、咨询等权威医学领域知识信息，并通过问答题目进行微调，以提升模型在医学领域的问答能力。这种数据预处理的策略，充分挖掘了Qwen模型强大的推理能力，使其能够模拟在医疗场景中，如何发现患者记录描述信息中获取到关联性的过程。

模型架构

• *基座模型**: qwen2.5-7B
• *微调方法**: LoRA（Low-Rank Adaptation）
• *训练数据**: 问答数据集

数据集

数据来源

参考链接：https://huggingface.co/datasets/FreedomIntelligence/medical-o1-reasoning-SFT/tree/main

数据预处理

训练数据格式：

模型训练

微调方法

使用LoRA技术对 qwen2.5-7B 模型进行微调。LoRA通过在预训练模型的权重矩阵中引入低秩矩阵来减少参数量，从而在保持模型性能的同时降低计算成本。

训练步骤

• **加载预训练模型**: 加载 qwen2.5-7B 模型。
• **应用LoRA**: 在模型的关键层应用LoRA技术。
• **训练模型**: 使用准备好的肿瘤知识问答数据集进行微调。
• **验证与测试**: 在验证集和测试集上评估模型性能，调整超参数以优化结果。

模型评估

评估指标

• *准确率**: 模型在问答任务中的准确率。
• *召回率**: 模型能够正确回答的问题比例。
• *F1分数**: 准确率和召回率的调和平均数。

评估结果

在测试集上的评估结果如下：

待更新

使用指南

环境配置

• **Python版本**: 3.10+
• **依赖库**:
• transformers
• torch

模型下载

SDK下载

Git下载

模型推理

WEB部署

代码参考：

运行命令:

生成结果案例

Case 01

输入问题:

模型返回结果：

参考答案

Case 02

输入问题

患者信息如下："""现病史

（1）病史摘要

杨XX，女，59岁，30年前无明显诱因开始出现反酸、反食、烧心，胸骨后烧灼感，伴胃胀、嗳气，弯腰后反酸加重，不规律服用“奥美拉唑、吗丁啉、莫沙必利”症状可缓解，停药反复发作。5年前开始出现咳嗽、咳痰，咳嗽严重时伴胸闷、喘息症状，无明显季节性，常于进食后1小时及凌晨发作，止咳平喘效果不佳，生活质量明显下降。2年前外院诊为“反流性食管炎LA-B、食管裂孔疝，睡眠时床头抬高及、服用“耐信 20mg BID”反流症状明显缓解，咳喘症状亦明显缓解。近10个月咳喘症状加重，伴有听力下降，调整耐信 40mg BID，咳喘症状再次改善，但仍时有发作。

（2）主诉

反酸、烧心30年，咳嗽、咳痰、喘息5年，加重10个月。

体格检查

结果 T36.8℃，P70次/分，R20次/分，Bp136/80mmHg。

自主体位，神志清楚，全身皮肤及巩膜无黄染，全身浅表淋巴结无肿大。双肺听诊呼吸音粗及散在哮鸣音。心率70次/分，律齐，未闻及病理性杂音，腹部平软，肝脏、脾脏未触及，未触及腹部包块，肠鸣音正常。

辅助检查

（1）实验室检查

出凝血功能：正常；血生化：正常;血常规：正常。

（2）胃镜

反流性食管炎：LA-C；食管裂孔疝（混合型）。

（3）上消化道造影

反流性食管炎；食管裂孔疝。

（4）食管高分辨率测压

LES压力低于正常，食管体部频繁无效，食管裂孔疝。

（5）食管高分辨率测压

• 食管pH监测：未达到胃食管病理性酸反流；卧位酸廓清能力下降。
• 食管阻抗监测：反流总次数正常，以酸反流为主；
• 症状相关性分析：监测期间咳嗽、喘息症状与弱酸反流相关。

辅助检查

胃镜：

所见：齿状线上移约4cm，可见多条纵行糜烂，底部有融合，齿状线不规整，周围可见充血、水肿、糜烂。 贲门口松弛。反转胃镜可见食管裂孔疝疝囊。

结论：反流性食管炎：LA-C；食管裂孔疝（混合型）。

辅助检查

食管pH-阻抗监测（口服PPI期间）

食管pH监测显示： DeMeester积分为8.0（正常值