闲社

标题: Google Cloud API Gateway预览LLM流式响应：支持逐Token返回 [打印本页]

作者: 阿峰 时间: 1 小时前
标题: Google Cloud API Gateway预览LLM流式响应：支持逐Token返回
【事件概述】Google Cloud在2026年9月29日的官方发布说明中，为API Gateway加入请求与响应流式传输的Public Preview能力，面向大语言模型（LLM）等需要增量输出的服务，减少网关缓冲带来的等待感。

【对象与发布方】对象是Google Cloud API Gateway的流式传输功能，由Google Cloud发布，属于API网关平台更新而非新的模型版本。

【关键能力与改动】创建网关时可启用`--enable-streaming`，让请求和响应以流式方式传递。官方说明支持HTTP/2、HTTP/1.1分块传输、Server-Sent Events（SSE）、WebSockets和gRPC双向流；常见场景是将LLM生成结果按Token逐步返回给客户端。该能力与现有API Gateway路由结合，可用于把模型后端包装成更及时的应用接口。

【适用对象】适合在Google Cloud上构建聊天、语音、代码生成或其他需要实时增量输出的AI应用的开发者与平台工程团队，也适合希望统一网关策略、鉴权和流量入口的企业。

【实际影响与限制】流式响应可以改善首字节和交互体感，并减少客户端等待完整结果后再渲染的需要；但该功能仍是Public Preview，应用仍需自行处理断线、重试、顺序和中间结果安全。官方特别说明流式模式在创建网关时固定，后续不能修改，采用前需要评估协议兼容性与运维方案。

【官方来源】https://docs.cloud.google.com/release-notes

欢迎光临闲社 (https://www.xianshe.com/)