Model details
模型介绍
中文整理LLaVA-Rad 模型卡片
Model use case
LLaVA-Rad 是一个拥有 70 亿参数的小型多模态模型，根据输入的胸部 X 光图像生成诊断报告。该模型的主要用途是为胸部 X 光图像生成英文报告草稿，用于研究复现和进一步学术研究。
主要能力
LLaVA-Rad 在标准放射学任务上达到先进水平，包括报告生成和跨模态检索。模型性能优于规模更大的模型如 GPT-4V 和 Med-PaLM M（84B）。推理速度快，可在单张 V100 GPU 上运行。使用专门的胸部 X 光图像编码器 BiomedCLIP-CXR。
输入输出
输入：胸部 X 光图像
输出：英文诊断报告/发现
运行要求
训练数据：超过 69.7 万对放射学图像-文本对
训练硬件：标准 8 卡 A100 GPU 集群，训练时间约一天
推理硬件：单张 V100 GPU
Python 版本：3.10
图像编码器：BiomedCLIP-CXR
语言解码器：lmsys/vicuna-7b-v1.5
基本用法
- 克隆代码仓库并进入项目目录
- 创建并激活 Python 3.10 虚拟环境
- 升级 pip 并安装依赖包
- 准备数据、图像和模型权重
- 运行推理脚本
限制
本模型不适用于以下场景：作为临床决策依据、诊断工具或医疗器械；直接临床护理；替代专业医疗建议、诊断或治疗。模型可能生成错误的诊断报告。训练数据来源于美国、新西兰、巴西、越南、西班牙和中国的特定医院，报告仅限英文。不同医疗系统的放射学报告风格差异可能影响模型对不同人群的泛化能力，使用前应在目标部署人群中进行测试。
License
数据、代码和模型权重仅限研究使用。代码和模型权重受 LLaMA、Vicuna 和 GPT-4 使用条款的额外限制。仅可用于研究目的，不得用于临床护理或任何临床决策目的。使用者对代码和模型权重的使用承担全部责任。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
Problem with the information or download?
Sign in to submit feedback.
