InternVL3-78B-Pretrained

InternVL3-78B-Pretrained

模型简介

这是InternVL3-78B的预训练版本，已完成原生多模态预训练，但未经过后训练（即SFT和MPO）。如果不确定使用哪个版本，请使用InternVL3-78B版本。

Model use case

InternVL3是一个先进的多模态大语言模型系列，在整体性能上表现出色。

主要能力

多模态感知与推理：相比InternVL 2.5，InternVL3展现出更优越的多模态感知和推理能力。

扩展多模态能力：涵盖工具使用、GUI代理、工业图像分析、3D视觉感知等领域。

文本性能优势：得益于原生多模态预训练，InternVL3系列实现了比Qwen2.5系列更好的整体文本性能。

模型架构

采用与InternVL 2.5及其前身相同的"ViT-MLP-LLM"架构。视觉部分使用InternViT-6B-448px-V2，语言部分使用Qwen2.5-72B。

采用像素混洗操作，将视觉token数量减少到原来的四分之一。采用动态分辨率策略，将图像分割为448×448像素的图块。支持多图像和视频数据。引入可变视觉位置编码（V2PE），使用更小、更灵活的位置增量，使模型具有更好的长上下文理解能力。

训练策略

原生多模态预训练：将语言和视觉学习整合到单一的预训练阶段，将多模态数据与大规规模文本语料库交错训练。

监督微调：使用随机JPEG压缩、平方损失重加权和多模态数据打包技术。训练数据涵盖工具使用、3D场景理解、GUI操作、长上下文任务、视频理解、科学图表、创意写作和多模态推理等领域。

混合偏好优化（MPO）：引入正负样本的额外监督，使模型响应分布与真实分布对齐，从而提升推理性能。

测试时扩展：使用Best-of-N评估策略和VisualPRM-8B作为评判模型，选择最佳响应用于推理和数学评估。

输入输出

输入：支持图像、视频、多图像、视频文本或图像文本交错序列。

输出：文本响应，支持多轮对话、批量提示推理、流式输出。

运行要求

transformers>=4.37.2

需要高性能GPU以运行78B参数模型

基本用法

通过transformers库加载模型进行推理，支持16位（bf16/fp16）精度、BNB 8位量化、多GPU推理。

支持流式输出、多图像推理、批量提示推理、多轮对话。

可通过LMDeploy进行部署，提供RESTful API服务。

License

本项目基于MIT许可证发布。本项目使用了预训练的Qwen2.5作为组件，Qwen2.5基于Qwen许可证授权。