OpenAIがAPIエージェント向けに12時間のプロンプトキャッシュを追加
Responses APIオプションは、共有プロンプトに対する最小キャッシュ有効期間を12時間に設定し、30分オプションのキャッシュ書き込みレートの2倍で動作します。
By Ryan Merket · Published
Primary source: X
なぜ重要なのか
12時間オプションは、永続エージェントにおける繰り返し発生するコスト、つまりアイドル期間の後に同じ長いプロンプトを再送することを対象としています。2.5倍のキャッシュ書き込み率は、節約効果が単にエージェントを稼働させ続けることではなく、測定された再利用に依存することを意味します。
OpenAIは10月20日、Responses APIにオプションの12時間のプロンプトキャッシュ有効期間を追加しました。これにより、開発者は数時間隔てて行われるリクエスト間で安定した指示やツール定義を再利用できるようになります。この変更は、同じ大きなコンテキストを繰り返し送信する持続的なエージェント（OpenAIのdots製品も含む）を想定したものだと、OpenAI Developersのアカウントは述べています。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.