模型介绍
中文整理# Ministral 3 14B Base 2512
模型用途
Ministral 3 14B是Ministral 3家族中规模最大的模型，提供前沿级性能，可与更大的Mistral Small3.2 24B相媲美。这是一款具备视觉能力的强大高效语言模型。
此模型是基础预训练版本，未针对指令或推理任务进行微调，适合自定义后训练流程。对于指令和聊天用例，建议使用Ministral 3 14B Instruct 2512。
Ministral 3家族专为边缘部署设计，可在多种硬件上运行。Ministral 3 14B甚至可本地部署，BF16精度下需32GB VRAM，量化后需少于24GB RAM/VRAM。
适用场景包括：受硬件限制环境中的私有/自定义聊天和AI助手部署、高级本地代理用例、微调和专业化等。
## 主要能力
- *架构组成**：13.5B语言模型 + 0.4B视觉编码器
- *视觉能力**：支持分析图像，除文本外还可基于视觉内容提供洞察。
- *多语言支持**：支持数十种语言，包括英语、法语、西班牙语、德语、意大利语、葡萄牙语、荷兰语、中文、日语、韩语、阿拉伯语。
- *边缘优化**：在小规模下提供一流性能，可在任何地方部署。
- *大上下文窗口**：支持256k上下文窗口。
## 输入输出
- *输入**：文本和图像
- *输出**：文本
运行要求
- *显存需求**：BF16精度下需32GB VRAM；量化后需少于24GB RAM/VRAM
- *推荐硬件**：建议使用2xH200 GPU进行部署（因大上下文需求）；如不需要大上下文，可使用单个GPU
- *软件依赖**：vLLM >= 1.12.0；mistral-common >= 1.8.6
基本用法
- *使用vLLM部署**：
安装vLLM后，可通过命令行启动服务。建议设置--max-model-len参数以节省显存，默认值为262144。也可通过--max-num-batched-tokens参数平衡吞吐量和延迟。
- *使用Transformers**：
确保安装Transformers（v5首个候选版本或main分支）和mistral-common >= 1.8.6以使用分词器，然后加载模型和分词器进行生成。
限制
此模型为基础预训练版本，未针对指令或推理任务进行微调。您不得以侵犯、挪用或以其他方式违反任何第三方权利（包括知识产权）的方式使用此模型。
许可证
Apache 2.0许可证，允许商业和非商业用途的修改和使用。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。