OpenAI 为 API 代理添加 12 小时的提示缓存
Responses API 选项将共享提示的最短缓存生存期设为 12 小时，缓存写入速率是 30 分钟选项的两倍。
By Ryan Merket · Published
Primary source: X
为何重要
12 小时选项针对常驻代理中的一项经常发生的成本：在空闲间隔后重新发送相同的长提示。它 2.5 倍的缓存写入速率意味着节省取决于测得的重用率，而不仅仅是让代理保持活跃。
OpenAI 于 10 月 20 日在其 Responses API 中新增了一个可选的 12 小时提示缓存生命周期，使开发者能够在相隔数小时的请求之间重用稳定的指令和工具定义。该更改针对那些重复发送相同大型上下文的持久代理（包括 OpenAI 自家的 dots 产品），根据 OpenAI Developers 账号 的说法。
提示缓存会重用先前请求中匹配的前缀，而不是从头处理相同的输入标记。它不会保留代理的完整状态，也不会跳过生成新回复的工作：仍需处理新输入，且能否命中缓存取决于后续请求是否与已缓存的前缀匹配。OpenAI 的 API 文档 表示，支持的模型在缓存时有最小提示长度；对于 GPT-5.6 及以后的模型，该最小值为 1,024 个可见输入标记。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.