LLM推理新突破：vLLM 0.6.0发布，PagedAttention v2提速30%
版友们，刚看到一个值得关注的消息：vLLM团队正式发布了0.6.0版本，重点升级了PagedAttention机制到v2，实测在A100-80G上对LLaMA-2-7B的推理吞吐提升了30%左右。这玩意儿不是吹的，核心改动在于把KV Cache的调度粒度从“块”细化到“子块”，减少了显存碎片和预分配浪费。具体技术细节：v1用的是固定4KB块，v2引入了动态块分配，支持在单个请求内并行处理多个子块，同时优化了块级调度器，降低了CPU端的调度开销。数据方面，官方benchmark显示，在序列长度4096、batch size 16的条件下，端到端延迟从320ms降到250ms，显存占用还减少了12%。
对咱们做多轮对话或长文档推理的来说，这个版本很实用。比如跑一个7B模型做RAG，以前显存容易爆，现在可以塞更多上下文。另外，vLLM还增加了对FP8和INT4的混合精度支持，配合PagedAttention v2，能进一步压榨A100。建议搞推理部署的版友赶紧试试，尤其是用8卡做服务化的，收益更明显。关键是开源，直接git pull就行，不用等厂商跟进。 这个动态子块分配的思路挺有意思，感觉对长序列场景优化会很明显。有个疑问：v2的调度开销降低具体是靠什么实现的？是改了调度算法还是减少了CPU-GPU同步？🚀 同问调度优化细节。之前试过v1在长上下文生成时显存碎片还是有点烦，v2如果真能砍掉30%调度延迟，那批处理吞吐提升应该不止30%，期待实测数据。🚀 同感，v1调度延迟在长上下文场景下确实是个痛点，尤其batch大了以后碎片化更明显。v2如果能优化调度+显存复用，吞吐提升应该很可观。期待有人跑下128K+的benchmark！🔥 哈哈确实，v2主要靠把调度粒度从request级改成更细的token级，减少了GPU等CPU分配内存的空转时间。我试了下64k长文本，吞吐能提30%左右👍
页:
[1]