模型介绍
中文整理模型名称
Magistral Small 1.2 (GGUF)
模型用途
基于 Mistral Small 3.2 (2506) 构建，增加了推理能力，经过 Magistral Medium 轨迹的监督微调和强化学习训练。是一个小型高效的推理模型，拥有 24B 参数，可在本地部署，在量化后可在单张 RTX 4090 或 32GB 内存的 MacBook 上运行。
主要能力
推理：能够在给出答案前进行长链推理。
多语言：支持数十种语言，包括英语、法语、德语、希腊语、印地语、印尼语、意大利语、日语、韩语、马来语、尼泊尔语、波兰语、葡萄牙语、罗马尼亚语、俄语、塞尔维亚语、西班牙语、土耳其语、乌克兰语、越南语、阿拉伯语、孟加拉语、中文和波斯语。
视觉：能够分析图像并基于视觉内容进行推理。
上下文窗口：128k 上下文窗口。性能在超过 40k 后可能下降，但仍能给出良好结果。建议将最大模型长度保持在 128k，仅在遇到低性能时降低。
输入输出
支持多模态输入（图像和文本）。
使用特殊的思考标记 [THINK] 和 [/THINK] 包裹推理内容，便于解析推理轨迹。
运行要求
推荐使用 llama.cpp 配合 mistral-common >= 1.8.5 服务器。
量化后可在单张 RTX 4090 或 32GB 内存的 MacBook 上运行。
此推荐用法不支持视觉能力。
基本用法
- 安装 llama.cpp
- 安装 mistral-common >= 1.8.5 及其依赖
- 从 huggingface 下载权重
- 启动 llama.cpp 服务器
- 启动 mistral-common 服务器并传递 llama.cpp 服务器的 URL
- 通过调用 mistral-common 进行 tokenization、生成和 detokenization
限制
性能在上下文长度超过 40k 后可能下降。
GGUF 文件不包含视觉编码器。
不提供官方聊天模板，建议使用 mistral-common 作为 tokenization 和 detokenization 的参考。
许可证
Apache 2.0 许可证，允许商业和非商业用途的使用和修改。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。