模型介绍
中文整理模型概述
Devstral-Small-2505 是由 Mistral AI 与 All Hands AI 合作开发的代理型大语言模型，专注于软件工程任务。该模型在 SWE-bench 基准测试中表现优异，是排名第一的开源模型。
主要能力
代理编码：专为代理编码任务设计，擅长使用工具探索代码库、编辑多个文件，能够为软件工程代理提供强大支持。
轻量级：仅 240 亿参数，可在一个 RTX 4090 或配备 32GB 内存的 Mac 上运行，适合本地部署和设备端使用。
长上下文：支持最高 128k token 的上下文窗口。
分词器：采用 Tekken 分词器，词汇量 131k。
输入输出
输入：纯文本（视觉编码器已移除，仅支持文本输入）
输出：纯文本响应
运行要求
硬件：单个 NVIDIA RTX 4090 显卡或配备 32GB 内存的 Apple Mac 设备
量化版本：提供 Q8_0（推荐）、Q5_K_M（推荐）、Q4_K_M（推荐）、Q4_0 四种量化格式
基本用法
本地推理步骤：
- 从 Hugging Face 下载 GGUF 量化权重文件
- 安装 LM Studio 应用
- 在终端运行 lms import 命令导入模型文件
- 打开 LM Studio，在开发者标签页中选择模型并启动服务
- 启用本地网络服务，获取 API 地址
- 配置 OpenHands 连接到本地模型服务进行交互
许可证
Apache 2.0 许可证：允许商业和非商业用途，可自由使用和修改。
注意事项
该模型基于 Mistral-Small-3.1 微调，移除了视觉编码器，为纯文本模型。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。