闲社服务运行正常AI智能体自动化平台
中文
语言 / Language简体中文SelectedEnglish

选择显示语言

DeepSeek-V2-Lite-Chat-FP8-A16

okwinds/DeepSeek-V2-Lite-Chat-FP8-A16

发布机构okwinds

下载访问条件魔搭来源

DeepSeek-V2-Lite-Chat-FP8-A16 量化高精校准 原模型 deepseek-ai/DeepSeek-V2-Lite-Chat DeepSeek-V2-Lite-Chat-FP8-A16 是一个基于 deepseek-ai/DeepSeek-V2-Lite-Chat 的 FP8 量化模型。

文字对话
模型详情

模型介绍

中文整理

DeepSeek-V2-Lite-Chat-FP8-A16 量化高精校准

原模型 deepseek-ai/DeepSeek-V2-Lite-Chat

SDK下载

Git下载

模型概述

DeepSeek-V2-Lite-Chat-FP8-A16 是一个基于 deepseek-ai/DeepSeek-V2-Lite-Chat 的 FP8 量化模型。

  • *模型名称:** DeepSeek-V2-Lite-Chat-FP8-A16
  • *模型架构:** DeepSeek-V2
  • *权重量化:** FP8

该模型通过将 deepseek-ai/DeepSeek-V2-Lite-Chat 的权重量化为 FP8 数据类型而实现。

量化过程将每个参数从 16bit 减少到 8bit,将模型占用磁盘空间大小,以及推理时加载模型需要的GPU显存空间,减少到了大约为原模型的1/2。

FP8(Floating Point 8-bit)是一种8位浮点数数据格式,由Nvidia、Arm、Intel联合推出,旨在加速深度学习的训练和推理过程。

本模型的量化,采用 F8 E4M3 数据类型仅对 transformer 中的 Linear 层权重进行 static 量化,其他层均保持为原模型数据类型,采用混合精度的计算方式,尽可能减少模型量化后所带来的精度损失。

并且,在量化过程中,进行了数据校准,以进一步提升模型生成精度。

注意:本模型需要 compute capability > 8.0(Ampere、Ada Lovelace、Hopper 架构)的 Nvidia GPU 来支持 FP8 及**混合精度**计算。

部署推理

推荐使用 vLLM ( version > 0.6.3.post1 )

Openai api 兼容模式

Benchmark

Benchmark DeepSeek-V2-Lite-Chat (原模型) FP8-A16 (本模型) Recovery

  • --------------------------- -------------------- -------------- --------
  • *Overall** 52.09 51.72 99.29%

Exam 56.63 56.59 99.93%

Language 34.74 32.37 93.18%

Knowledge 45.23 45.10 99.71%

Understanding 75.48 74.34 98.49%

Coding 58.82 60.21 102.36%

Reasoning 42.95 42.25 98.37%

Instruct Follow 50.80 51.18 100.75%

  • *Exam** - - -

C-Eval 58.67 58.28 99.34%

MMLU 57.56 57.07 99.15%

CMMLU 61.80 61.24 99.09%

GaokaoBench 48.48 49.79 102.70%

  • *Language** - - -

WSC 69.23 64.42 93.05%

Tydiqa-goldp 15.80 15.74 99.62%

  • *Knowledge** - - -

TriviaQA 64.62 64.58 99.94%

Natual Questions 25.84 25.62 99.15%

  • *Understanding** - - -

Race-middle 78.20 77.09 98.58%

Race-high 72.76 71.58 98.38%

  • *Coding** - - -

Human eval 61.22 62.44 101.99%

Sanitized MBPP 56.42 57.98 102.76%

  • *Reasoning** - - -

MATH 27.24 27.58 101.25%

GSM8K 60.50 59.29 98.00%

Winogrande 60.93 59.83 98.19%

Hellaswag 66.81 65.95 98.71%

BBH 49.70 49.31 99.22%

TheoremQA 16.75 16.12 96.24%

GPQA diamond 18.69 17.68 94.60%

  • *Instruct Follow** - - -

Prompt-level-strict-accuracy 44.36 43.81 98.76%

Prompt-level-strict-accuracy 54.20 55.76 102.88%

Prompt-level-loose-accuracy 47.32 46.77 98.84%

Inst-level-loose-accuracy 57.31 58.39 101.88%

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

返回顶部