模型介绍
中文整理# DeepSeek-V2 模型卡片
模型概述
DeepSeek-V2 是一个强大的混合专家（MoE）语言模型，具有经济训练和高效推理的特点。模型总参数236B，每个token激活21B参数。相比DeepSeek 67B，DeepSeek-V2性能更强，同时节省42.5%的训练成本，KV缓存减少93.3%，最大生成吞吐量提升5.76倍。
模型在包含8.1万亿token的多样化高质量语料上进行预训练，随后经过监督微调（SFT）和强化学习（RL）进一步提升能力。
## 主要能力
### 基座模型标准基准测试成绩
| 基准测试 | 领域 | 成绩 |
|---------|------|------|
| MMLU | 英语 | 78.5 |
| BBH | 英语 | 78.9 |
| C-Eval | 中文 | 81.7 |
| CMMLU | 中文 | 84.0 |
| HumanEval | 代码 | 48.8 |
| MBPP | 代码 | 66.6 |
| GSM8K | 数学 | 79.2 |
| Math | 数学 | 43.6 |
### 对话模型标准基准测试成绩
| 基准测试 | 领域 | DeepSeek-V2 Chat (RL) |
|---------|------|----------------------|
| MMLU | 英语 | 77.8 |
| BBH | 英语 | 79.7 |
| C-Eval | 中文 | 78.0 |
| CMMLU | 中文 | 81.6 |
| HumanEval | 代码 | 81.1 |
| MBPP | 代码 | 72.0 |
| GSM8K | 数学 | 92.2 |
| Math | 数学 | 53.9 |
模型在128K上下文长度范围内的“海底捞针”测试中表现良好。
## 输入输出
模型支持文本输入输出。上下文长度最高支持128K tokens。模型可用于文本补全和对话补全任务。
运行要求
使用BF16格式进行推理需要80GB显存的GPU 8张。
由于HuggingFace的限制，开源版本在GPU上运行性能低于内部代码库。为提高效率，建议使用专门的vLLM解决方案来运行模型。
基本用法
模型可通过HuggingFace Transformers进行推理调用，也支持使用vLLM进行推理。
对话任务需使用tokenizer配置中的聊天模板。可选添加系统消息。
许可证
本代码仓库采用MIT许可证。DeepSeek-V2基座/对话模型的使用需遵守模型许可证。DeepSeek-V2系列（包括基座和对话版本）支持商业使用。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。