模型介绍
中文整理GLM-4V-9B
Read this in English
2024/08/12, 本仓库代码已更新并使用 transforemrs>=4.44.0 , 请及时更新依赖。**
GLM-4V-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源多模态版本。
GLM-4V-9B** 具备 1120 * 1120 高分辨率下的中英双语多轮对话能力，在中英文综合能力、感知推理、文字识别、图表理解等多方面多模态评测中，GLM-4V-9B 表现出超越 GPT-4-turbo-2024-04-09、Gemini
- 0 Pro、Qwen-VL-Max 和 Claude 3 Opus 的卓越性能。
多模态能力
GLM-4V-9B 是一个多模态语言模型，具备视觉理解能力，其相关经典任务的评测结果如下：
- *MMBench-EN-Test** **MMBench-CN-Test** **SEEDBench IMG** **MMStar** **MMMU** **MME** **HallusionBench** **AI2D** **OCRBench**
- ------------------------ --------------------- --------------------- ------------------- ------------ ---------- --------- -------------------- ---------- --------------
英文综合 中文综合 综合能力 综合能力 学科综合 感知推理 幻觉性 图表理解 文字识别
- *GPT-4o, 20240513** 83.4 82.1 77.1 63.9 69.2 2310.3 55 84.6 736
- *GPT-4v, 20240409** 81 80.2 73 56 61.7 2070.2 43.9 78.6 656
- *GPT-4v, 20231106** 77 74.4 72.3 49.7 53.8 1771.5 46.5 75.9 516
- *InternVL-Chat-V1.5** 82.3 80.7 75.2 57.1 46.8 2189.6 47.4 80.6 720
- *LlaVA-Next-Yi-34B** 81.1 79 75.7 51.6 48.8 2050.2 34.8 78.9 574
- *Step-1V** 80.7 79.9 70.3 50 49.9 2206.4 48.4 79.2 625
- *MiniCPM-Llama3-V2.5** 77.6 73.8 72.3 51.8 45.8 2024.6 42.4 78.4 725
- *Qwen-VL-Max** 77.6 75.7 72.7 49.5 52 2281.7 41.2 75.7 684
- *GeminiProVision** 73.6 74.3 70.7 38.6 49 2148.9 45.7 72.9 680
- *Claude-3V Opus** 63.3 59.2 64 45.7 54.9 1586.8 37.8 70.6 694
- *GLM-4v-9B** 81.1 79.4 76.8 58.7 47.2 2163.8 46.6 81.1 786
本仓库是 GLM-4V-9B 的模型仓库，支持 8K 上下文长度。**
运行模型
更多推理代码和依赖信息，请访问我们的 github。**
请严格按照依赖安装，否则无法正常运行。**
。
协议
GLM-4 模型的权重的使用则需要遵循 LICENSE。
引用
如果你觉得我们的工作有帮助的话，请考虑引用下列论文。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。