模型介绍
中文整理# Mistral Large 3 675B Instruct 2512
模型概述
Mistral Large 3 是最先进的通用多模态粒度混合专家模型,拥有41B活跃参数和675B总参数,使用3000个H200从零开始训练。该模型是指令微调版本,采用FP8量化,针对聊天、代理和基于指令的用例进行了优化。专为生产级助手、检索增强系统、科学工作负载和复杂企业工作流程设计,具备长上下文理解能力。
## 主要能力
- *多模态理解**:支持视觉分析,可处理图像并基于视觉内容提供见解,同时支持文本处理。
- *多语言支持**:支持数十种语言,包括英语、法语、西班牙语、德语、意大利语、葡萄牙语、荷兰语、中文、日语、韩语、阿拉伯语等。
- *代理能力**:提供原生函数调用和JSON输出功能,适用于代理系统开发。
- *系统提示支持**:对系统提示保持强一致性支持。
- *长上下文**:支持256k上下文窗口。
- *开源许可**:采用Apache 2.0许可证,允许商业和非商业用途的修改和使用。
## 架构参数
模型由两个主要架构组件构成:粒度MoE语言模型(673B参数,39B活跃参数)和2.5B视觉编码器。
## 输入输出
支持文本和图像多模态输入,输出文本内容。
运行要求
- *部署环境**:支持本地部署。FP8量化版本需单节点B200或H200;NVFP4版本需单节点H100或A100。可选提供BF16版本。
- *软件依赖**:推荐使用vLLM框架进行推理,需安装vllm >= 1.8.6。
基本用法
- *部署建议**:建议采用客户端-服务器架构部署。
- *系统提示**:定义清晰的环境和用例指导,有效利用代理系统中的工具。
- *采样参数**:日常使用和生产环境建议温度低于0.1;创意用例可探索更高温度。
- *工具使用**:保持工具集精简,限制工具数量以获得最佳性能。
- *图像处理**:使用视觉能力时,建议图像宽高比接近1:1,避免过窄或过宽的图像。
许可证
本模型采用Apache 2.0许可证授权。不得以侵犯、挪用或以其他方式违反第三方权利(包括知识产权)的方式使用本模型。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
