闲社

标题: OpenAI更新GPT-6提示词缓存：持久智能体可监控命中率并降成本 [打印本页]

作者: gdhy2005 时间: 1 小时前
标题: OpenAI更新GPT-6提示词缓存：持久智能体可监控命中率并降成本
【事件概述】OpenAI于2026年9月22日公布GPT-6提示词缓存更新，面向需要连续多轮调用的持久智能体，提高共享前缀的缓存命中率，并新增监控、诊断和缓存控制工具。

【对象与发布方】对象：GPT-6系列API的提示词缓存能力；发布方：OpenAI；官方发布日期：2026年9月22日。

【关键能力】符合条件的共享前缀可在30分钟窗口内复用，减少重复计算。开发者可使用Prompt Caching Dashboard查看命中率与输入构成，用诊断工具定位因模型、工具、设置或输入变化造成的缓存未命中，并查看受影响的可复用token数量。GPT-6还支持显式缓存断点、在不破坏缓存的情况下调整推理强度，以及通过预热已知上下文降低首请求延迟。OpenAI表示，缓存输入token可获得最高90%的折扣，具体取决于API条件和实际命中情况。

【适用对象】运行代码代理、研究型助手、文档生成、客服编排等长流程智能体的开发者和平台团队，尤其适合连续请求反复携带相同指令、工具定义和上下文的应用。

【实际影响与限制】缓存监控让团队可以量化命中率变化，诊断工具有助于定位工具定义或上下文改动带来的成本和延迟波动；稳定前缀也更容易支持后台任务和会话分叉。但缓存只对符合条件且可复用的前缀生效，频繁改变工具顺序、输入或请求设置仍可能导致未命中；官方页面没有承诺每个应用都能达到相同折扣或延迟收益，开发者仍需结合真实请求监测与成本核算。

【官方来源】
https://openai.com/index/better-prompt-caching-for-gpt-6/

欢迎光临闲社 (https://www.xianshe.com/)