OpenAI agrega caché de prompts de 12 horas para agentes de la API
La opción Responses API establece una duración mínima de caché de 12 horas para prompts compartidos, al doble de la tasa de escritura en caché de la opción de 30 minutos.
By Ryan Merket · Published
Primary source: X
Por qué importa
La opción de 12 horas apunta a un costo recurrente en agentes persistentes: reenviar el mismo prompt largo después de un período de inactividad. Su tasa de escritura en caché 2.5x significa que los ahorros dependen de la reutilización medida, no solo de mantener un agente activo.
OpenAI añadió un tiempo de vida opcional de 12 horas para el caché de prompts a su Responses API el 20 de octubre, ofreciendo a los desarrolladores una manera de reutilizar instrucciones estables y definiciones de herramientas en solicitudes separadas por horas. El cambio está dirigido a agentes persistentes que envían repetidamente el mismo contexto extenso, incluido el propio producto dots de OpenAI, según la cuenta de OpenAI Developers.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.