Mistral-Large-3-675B-Instruct-2512

# Mistral Large 3 675B Instruct 2512

模型概述

Mistral Large 3 是 Mistral 家族的大型多模态专家混合模型，采用 FP8 格式发布，专注于指令任务微调。该模型专为生产级助手、检索增强系统、科学计算任务和复杂企业工作流程设计，具备长上下文理解能力。

## 主要能力

• *多模态架构**
• 粒度专家混合语言模型：673B 总参数，39B 活跃参数
• 2.5B 视觉编码器

• *核心功能**
• 视觉理解：可分析图像并基于视觉内容提供洞察
• 多语言支持：支持英语、法语、西班牙语、德语、意大利语、葡萄牙语、荷兰语、中文、日语、韩语、阿拉伯语等数十种语言
• 系统提示词支持：对系统提示词有强大的遵循能力
• 代理能力：提供原生函数调用和 JSON 输出的顶级代理能力
• 长上下文窗口：支持 256k 上下文窗口

## 输入输出

• *输入格式**
• 文本：自然语言指令和对话
• 图像：支持多模态输入，建议图像宽高比接近 1:1

• *输出格式**
• 文本响应
• 结构化 JSON 输出
• 函数调用

运行要求

• *部署环境**
• FP8 格式：单节点 B200 或 H200
• NVFP4 格式：单节点 H100 或 A100
• 提供 BF16 版本

• *硬件配置**
• 推荐使用 vLLM 框架
• 建议 vllm >= 1.8.6
• FP8 格式可在单台 8xH200 节点上运行

基本用法

• *系统提示词**
• 明确定义环境和使用场景
• 在代理系统中提供有效的工具使用指导

• *采样参数**
• 日常使用和生产环境：温度建议低于 0.1
• 创意场景：可探索更高温度

• *工具使用**
• 保持工具集精简化，限制工具数量
• 避免向模型加载过多工具

• *视觉部署**
• 保持图像宽高比接近 1:1
• 避免使用过窄或过宽的图像，必要时进行裁剪

限制

• **非专用推理模型**：在严格的推理使用场景中，专用推理模型可能表现更优
• **视觉任务局限**：在多模态任务中可能落后于专门优化视觉任务的模型
• **部署复杂**：由于模型规模大、架构复杂，在资源受限或大规模部署时可能面临挑战

许可证

本模型基于 Apache 2.0 许可证发布，允许商业和非商业用途的使用及修改。

• *使用限制**：不得以侵犯、盗用或以其他方式违反第三方权利（包括知识产权）的方式使用本模型。