Mistral-Large-3-675B-Instruct-2512-Eagle

# Mistral Large 3 675B Instruct 2512

模型概述

Mistral Large 3 是最先进的通用多模态粒度混合专家模型，拥有41B活跃参数和675B总参数，使用3000个H200从零开始训练。该模型是指令微调版本，采用FP8量化，针对聊天、代理和基于指令的用例进行了优化。专为生产级助手、检索增强系统、科学工作负载和复杂企业工作流程设计，具备长上下文理解能力。

## 主要能力

• *多模态理解**：支持视觉分析，可处理图像并基于视觉内容提供见解，同时支持文本处理。

• *多语言支持**：支持数十种语言，包括英语、法语、西班牙语、德语、意大利语、葡萄牙语、荷兰语、中文、日语、韩语、阿拉伯语等。

• *代理能力**：提供原生函数调用和JSON输出功能，适用于代理系统开发。

• *系统提示支持**：对系统提示保持强一致性支持。

• *长上下文**：支持256k上下文窗口。

• *开源许可**：采用Apache 2.0许可证，允许商业和非商业用途的修改和使用。

## 架构参数

模型由两个主要架构组件构成：粒度MoE语言模型（673B参数，39B活跃参数）和2.5B视觉编码器。

## 输入输出

支持文本和图像多模态输入，输出文本内容。

运行要求

• *部署环境**：支持本地部署。FP8量化版本需单节点B200或H200；NVFP4版本需单节点H100或A100。可选提供BF16版本。

• *软件依赖**：推荐使用vLLM框架进行推理，需安装vllm >= 1.8.6。

基本用法

• *部署建议**：建议采用客户端-服务器架构部署。

• *系统提示**：定义清晰的环境和用例指导，有效利用代理系统中的工具。

• *采样参数**：日常使用和生产环境建议温度低于0.1；创意用例可探索更高温度。

• *工具使用**：保持工具集精简，限制工具数量以获得最佳性能。

• *图像处理**：使用视觉能力时，建议图像宽高比接近1:1，避免过窄或过宽的图像。

License

本模型采用Apache 2.0许可证授权。不得以侵犯、挪用或以其他方式违反第三方权利（包括知识产权）的方式使用本模型。