模型详情
模型介绍
中文整理# DeepSeek-V2-Lite 模型卡片
模型用途
DeepSeek-V2-Lite是一个强大的混合专家（Mixture-of-Experts，MoE）语言模型，具有经济训练和高效推理的特点。该模型采用创新的多头潜在注意力（MLA）和DeepSeekMoE架构，能够在保持高性能的同时降低训练成本。
## 主要能力
DeepSeek-V2-Lite在多项英文和中文基准测试中表现优异，优于7B密集模型和16B MoE模型。
- *基座模型性能：**
- MMLU（英文）：58.3
- BBH（英文）：44.1
- C-Eval（中文）：60.3
- CMMLU（中文）：64.3
- HumanEval（代码）：29.9
- MBPP（代码）：43.2
- GSM8K（数学）：41.1
- Math（数学）：17.1
- *对话模型性能：**
- MMLU（英文）：55.7
- BBH（英文）：48.1
- C-Eval（中文）：60.1
- CMMLU（中文）：62.5
- HumanEval（代码）：57.3
- GSM8K（数学）：72.0
- Math（数学）：27.9
## 输入输出
- *输入格式：** 文本（支持英文和中文），可包含系统消息和用户对话
- *输出格式：** 文本补全或对话回复
- *上下文长度：** 32K tokens
运行要求
- *推理要求：** 单张40GB GPU（BF16格式）
- *微调要求：** 8张80GB GPU
- *模型规模：** 总参数16B，活跃参数2.4B
基本用法
- *使用Huggingface Transformers推理：**
支持文本补全和对话补全。对话模板可在tokenizer config.json中查看，也可添加可选的系统消息。
- *使用vLLM推理（推荐）：**
需要将指定的Pull Request合并到vLLM代码库中以获得优化性能。
- *使用LangChain：**
由于API与OpenAI兼容，可轻松在LangChain中使用。
限制
- 在HuggingFace上运行的开源代码性能低于内部代码库
- 为获得最佳性能，建议使用专用的vLLM解决方案
许可证
本代码仓库采用MIT许可证。DeepSeek-V2基座/对话模型的使用受模型许可证约束。DeepSeek-V2系列（包括基座和对话模型）支持商业使用。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境
运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。