模型介绍
中文整理DeepSeek-V2-Lite-Chat-FP8-A16 量化高精校准
原模型 deepseek-ai/DeepSeek-V2-Lite-Chat
SDK下载
Git下载
模型概述
DeepSeek-V2-Lite-Chat-FP8-A16 是一个基于 deepseek-ai/DeepSeek-V2-Lite-Chat 的 FP8 量化模型。
- *模型名称:** DeepSeek-V2-Lite-Chat-FP8-A16
- *模型架构:** DeepSeek-V2
- *权重量化:** FP8
该模型通过将 deepseek-ai/DeepSeek-V2-Lite-Chat 的权重量化为 FP8 数据类型而实现。
量化过程将每个参数从 16bit 减少到 8bit,将模型占用磁盘空间大小,以及推理时加载模型需要的GPU显存空间,减少到了大约为原模型的1/2。
FP8(Floating Point 8-bit)是一种8位浮点数数据格式,由Nvidia、Arm、Intel联合推出,旨在加速深度学习的训练和推理过程。
本模型的量化,采用 F8 E4M3 数据类型仅对 transformer 中的 Linear 层权重进行 static 量化,其他层均保持为原模型数据类型,采用混合精度的计算方式,尽可能减少模型量化后所带来的精度损失。
并且,在量化过程中,进行了数据校准,以进一步提升模型生成精度。
注意:本模型需要 compute capability > 8.0(Ampere、Ada Lovelace、Hopper 架构)的 Nvidia GPU 来支持 FP8 及**混合精度**计算。
部署推理
推荐使用 vLLM ( version > 0.6.3.post1 )
Openai api 兼容模式
Benchmark
Benchmark DeepSeek-V2-Lite-Chat (原模型) FP8-A16 (本模型) Recovery
- --------------------------- -------------------- -------------- --------
- *Overall** 52.09 51.72 99.29%
Exam 56.63 56.59 99.93%
Language 34.74 32.37 93.18%
Knowledge 45.23 45.10 99.71%
Understanding 75.48 74.34 98.49%
Coding 58.82 60.21 102.36%
Reasoning 42.95 42.25 98.37%
Instruct Follow 50.80 51.18 100.75%
- *Exam** - - -
C-Eval 58.67 58.28 99.34%
MMLU 57.56 57.07 99.15%
CMMLU 61.80 61.24 99.09%
GaokaoBench 48.48 49.79 102.70%
- *Language** - - -
WSC 69.23 64.42 93.05%
Tydiqa-goldp 15.80 15.74 99.62%
- *Knowledge** - - -
TriviaQA 64.62 64.58 99.94%
Natual Questions 25.84 25.62 99.15%
- *Understanding** - - -
Race-middle 78.20 77.09 98.58%
Race-high 72.76 71.58 98.38%
- *Coding** - - -
Human eval 61.22 62.44 101.99%
Sanitized MBPP 56.42 57.98 102.76%
- *Reasoning** - - -
MATH 27.24 27.58 101.25%
GSM8K 60.50 59.29 98.00%
Winogrande 60.93 59.83 98.19%
Hellaswag 66.81 65.95 98.71%
BBH 49.70 49.31 99.22%
TheoremQA 16.75 16.12 96.24%
GPQA diamond 18.69 17.68 94.60%
- *Instruct Follow** - - -
Prompt-level-strict-accuracy 44.36 43.81 98.76%
Prompt-level-strict-accuracy 54.20 55.76 102.88%
Prompt-level-loose-accuracy 47.32 46.77 98.84%
Inst-level-loose-accuracy 57.31 58.39 101.88%
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
