Neuralwatt dice que los fallos de caché pueden consumir hasta un 140% más de energía de inferencia
El análisis del CEO Chad Gibson sobre el tráfico de Neuralwatt Cloud vincula las ediciones de prompts con trabajo de GPU desperdiciado, con los mayores costos en sesiones largas de agentes.
By Ryan Merket · Published · Updated
Primary source: Neuralwatt
Por qué importa
El análisis de tráfico de Neuralwatt hace que el agente aproveche una variable de eficiencia junto con los modelos y las GPUs. Si los hallazgos se mantienen en otros despliegues, la construcción de prompts ofrece a los equipos una forma a nivel de software de reducir el trabajo de inferencia repetida, especialmente en agentes de larga duración.
Neuralwatt CEO Chad Gibson dice que el software que envía prompts a un modelo de IA puede casi duplicar la energía necesaria para atender una solicitud. En un análisis publicado el 16 de octubre, Neuralwatt comparó la reutilización del caché de prompts entre clientes agentes y encontró que pequeñas diferencias en cómo ensamblan los prompts pueden traducirse en un trabajo sustancial adicional de prefill.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.