模型介绍
中文整理# DeepSeek-Coder-V2 模型卡片
模型用途
DeepSeek-Coder-V2是一款开源的代码语言模型，基于混合专家（Mixture-of-Experts）架构，主要用于代码智能任务，包括代码补全、代码插入和对话式代码生成。
## 主要能力
DeepSeek-Coder-V2在代码特定任务上实现了与GPT4-Turbo相当的性能表现。该模型在代码和数学基准测试中优于GPT4-Turbo、Claude 3 Opus和Gemini 1.5 Pro等闭源模型。支持338种编程语言，上下文长度扩展至128K。在通用语言任务方面保持与DeepSeek-V2相当的性能。
## 输入输出
模型接受代码或文本提示作为输入，输出代码补全、代码插入或对话响应。完整聊天模板可在tokenizer config.json中查看。
运行要求
如需使用BF16格式进行推理，需要80GB显存的GPU集群（8张GPU）。模型提供16B和236B两种参数规模版本，活跃参数分别为2.4B和21B。
基本用法
可通过以下两种方式运行：
使用Huggingface Transformers进行推理，直接调用模型进行代码补全、代码插入或对话完成。可在系统消息中添加可选指令。
使用vLLM进行推理（推荐），需将相关Pull Request合并到vLLM代码库。
许可证
本代码仓库采用MIT许可证。DeepSeek-Coder-V2 Base/Instruct模型的使用受模型许可证约束。DeepSeek-Coder-V2系列（包括Base和Instruct版本）支持商业使用。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。