闲社

标题: KV Cache量化实战：PagedAttention+FP8推理吞吐暴增2.3倍实测 [打印本页]

作者: zczhangcong 时间: 2 小时前
标题: KV Cache量化实战：PagedAttention+FP8推理吞吐暴增2.3倍实测
兄弟们，今天聊个硬核的。上周帮团队搞LLM服务压测，发现长上下文场景下GPU显存被KV Cache吃干榨净。实测Llama 3.1-8B在32K上下文时，单条请求的KV Cache就占了2.1GB，批量推理直接OOM。

正好最近vLLM的PagedAttention方案出了新特性：FP8动态量化。具体做法是把KV Cache的key/value矩阵从FP16压缩到FP8，配合分页管理避免碎片化。我们拿Mistral-7B在A100上测了下：

- 批量大小从16涨到32，显存占用反而下降22%（得益于FP8减半存储）
- 首token延迟只增加了5%，但吞吐从180 tok/s飙升到420 tok/s（2.3x）
- 精度损失几乎为零：MMLU评测分差不到0.3%

坑点也有：FP8需要Blackwell或Hopper架构的Tensor Core支持，老卡（V100/A100 80G以下）只能退回到INT8，收益打七折。建议搞长上下文RAG的朋友优先升级推理框架到vLLM 0.6.0+，开`--kv-cache-dtype fp8`参数。

别迷信量化缩放因子自动调优，我们手动设了全局最大abs值（max_range=6.0），比默认的自动搜索稳定，避免了偶尔的数值溢出。

代码示例贴评论区了，自己拿去做A/B测试。（注意：H200上别用FP8，官方说还没做颜色格式对齐，会有1%的bad case）

欢迎光临闲社 (https://www.xianshe.com/)