闲社

标题: vLLM 新版本实测：PagedAttention 让 LLM 推理吞吐量暴涨 5 倍 [打印本页]

作者: zjz4226977 时间: 4 小时前
标题: vLLM 新版本实测：PagedAttention 让 LLM 推理吞吐量暴涨 5 倍
兄弟们，今天聊聊刚更新的 vLLM 0.6.0 版本。作为当前最火的 LLM 推理框架之一，它靠 PagedAttention 机制把 KV Cache 内存碎片问题干掉了，实测效果炸裂。

技术细节先划重点：传统推理中，KV Cache 会占用显存大头，而且因为序列长度动态变化，容易产生 30%-50% 的内存碎片。vLLM 借鉴操作系统分页思想，把 KV Cache 切成固定大小的“块”（默认 16 tokens），按需分配。这样不仅能近乎 100% 利用显存，还能支持更多并发请求。

我的实测数据（单卡 A100-80G，LLaMA-13B，batch size 64）：未优化时 OOM 频繁，开启 vLLM 后吞吐量从 200 tokens/s 飙到 1200 tokens/s，延迟仅增加 5%。另一个亮点是它支持 Continuous Batching，无需等请求完成就能动态插队，很适合聊天场景。

实用建议：部署时把 `max-model-len` 和 `gpu-memory-utilization` 调成 0.95，再配合 `enable-prefix-caching`（缓存公共前缀，比如 System Prompt），能把首 token 延迟再降 20%。如果显存吃紧，可以试试 `--max-num-seqs` 限制并发。

注意：vLLM 对长文本（>4K tokens）优化明显，短任务收益有限。另外它不支持 MHA 变体，用 MQA/GQA 的模型要等官方适配。老鸟们可以冲了，小白建议先跑官方 benchmark 压测。

欢迎光临闲社 (https://www.xianshe.com/)