模型介绍
中文整理Ministral 3 8B Reasoning 2512 GGUF 模型卡片
模型用途
Ministral 3 8B 是 Ministral 3 系列中的平衡型模型,是一个功能强大、高效的轻量级语言模型,具备视觉理解能力。该模型是经过推理后训练的版本,专为推理任务设计,适用于数学、编程和 STEM 相关应用场景。
主要能力
视觉理解:支持分析图像并基于视觉内容提供洞察,同时处理文本输入。
多语言支持:支持数十种语言,包括英语、法语、西班牙语、德语、意大利语、葡萄牙语、荷兰语、中文、日语、韩语、阿拉伯语等。
系统提示:强支持系统提示功能。
智能代理:具备领先的智能代理能力,支持原生函数调用和 JSON 输出。
推理能力:擅长复杂的多步骤推理和动态问题求解。
边缘优化:在小规模部署下提供领先性能,可灵活部署到各类环境。
大上下文窗口:支持 256k 上下文窗口。
输入输出
输入:文本和图像
输出:文本回复和推理结果
运行要求
该模型系列专为边缘部署设计,支持在多种硬件上运行。Ministral 3 8B 可在本地部署,BF16 精度下需 24GB VRAM,量化后可在 12GB 以下 RAM/VRAM 运行。
基本用法
系统提示:使用官方提供的系统提示,并将其附加到自定义系统提示中,以定义清晰的环境和使用场景。
多轮对话:建议在上下文中保留推理过程。
采样参数:推荐使用 0.7 的温度值,可根据不同使用场景进行调整。
工具使用:保持工具定义清晰,数量控制在完成任务所需的最低限度。
图像处理:使用视觉能力时,建议保持图像宽高比接近 1:1,避免使用过窄或过宽的图像,必要时进行裁剪。
限制
不得以任何侵犯、盗用或违反第三方权利(包括知识产权)的方式使用本模型。
许可证
本模型采用 Apache 2.0 许可证开源,允许商业和非商业用途的使用和修改。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
