模型介绍
中文整理# Ministral 3 8B Reasoning 2512 模型卡片
模型概述
Ministral 3 8B 是 Ministral 3 系列中的平衡型模型,是一款功能强大、高效的轻量级语言模型,具备视觉理解能力。该模型是推理后训练版本,专门针对推理任务进行训练,适用于数学、编程和科学相关应用场景。Ministral 3 系列专为边缘部署设计,能够在多种硬件上运行,支持本地部署。
## 主要能力
- *视觉理解**:支持分析图像并基于视觉内容提供洞察,同时处理文本和图像输入。
- *多语言支持**:支持数十种语言,包括英语、法语、西班牙语、德语、意大利语、葡萄牙语、荷兰语、中文、日语、韩语、阿拉伯语等。
- *系统提示词**:对系统提示词具有强大的遵循和支持能力。
- *智能体能力**:提供领先的智能体功能,支持原生函数调用和 JSON 输出。
- *推理能力**:擅长复杂的多步骤推理和动态问题解决。
- *边缘优化**:在轻量级规模下提供领先性能,可部署于各种环境。
- *长上下文窗口**:支持 256k 上下文窗口。
## 输入输出
- *输入**:文本和图像(视觉模型)
- *输出**:文本回复、JSON 格式输出
运行要求
- *显存需求**:BF16 精度下需 24GB VRAM,量化后可低于 12GB RAM/VRAM
- *硬件配置**:可在单块 H200 GPU 上运行
- *软件依赖**:
- vLLM >= 0.12.0
- mistral-common >= 1.8.6
- Transformers(建议使用 v5 首个候选版本或 main 分支)
基本用法
- *系统提示词**:建议使用官方提供的系统提示词,并将其附加到自定义系统提示词中,以定义清晰的环境和使用场景。
- *多轮对话**:建议在上下文中保留推理轨迹。
- *采样参数**:推荐使用温度值 0.7,不同使用场景可探索不同温度设置。
- *工具使用**:保持工具集定义清晰,限制工具数量至任务所需的最低限度。
- *图像输入**:使用视觉能力时,建议保持图像宽高比接近 1:1,避免使用过窄或过宽的图像。
限制
该模型不得以侵犯、盗用或以其他方式违反任何第三方权利(包括知识产权)的方式使用。
许可证
本模型基于 Apache 2.0 许可证开源,允许商业和非商业用途的使用和修改。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
