模型详情
模型介绍
中文整理# DeepSeek-V2.5-1210 模型卡片
模型用途
DeepSeek-V2.5-1210 是 DeepSeek-V2.5 的升级版本，是一个大型语言模型，适用于对话、推理、编码和数学问题求解等多种任务。
## 主要能力
- *数学能力**：在 MATH-500 基准测试中，性能从 74.8% 提升至 82.8%。
- *编码能力**：在 LiveCodebench（2023年8月1日至12月1日）基准测试中，准确率从 29.2% 提升至 34.38%。
- *写作与推理**：内部测试数据集显示相应改进。
- *功能优化**：优化了文件上传和网页摘要功能的用户体验。
## 输入输出
- *对话模板**：模型使用聊天模板进行对话。tokenizer config.json 中包含完整的聊天模板定义。可选择添加系统消息。
- *函数调用**：支持调用外部工具以增强模型能力。
- *JSON 输出**：支持 JSON 输出模式，确保模型生成有效的 JSON 对象。需要在系统提示中添加特殊指令来激活此模式。
- *FIM 补全**：支持中间填充（Fill In the Middle）补全功能，可提供前缀和可选后缀，模型将完成中间内容。
运行要求
- *推理硬件要求**：使用 BF16 格式进行推理需要 8 张 80GB 显存的 GPU。
基本用法
- *使用 Huggingface Transformers 进行推理**：可直接使用 Huggingface Transformers 库进行模型推理。聊天模板已更新，与之前的 DeepSeek-V2-Chat 版本有所不同。
- *使用 vLLM 进行推理（推荐）**：如需使用 vLLM 进行推理，需将指定的 Pull Request 合并到 vLLM 代码库中。
许可证
本代码仓库采用 MIT 许可证。DeepSeek-V2 Base/Chat 模型的使用受模型许可证约束。DeepSeek-V2 系列（包括 Base 和 Chat 版本）支持商业使用。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境
运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。