El ensayo sobre inferencia de Baseten separa las ganancias reales de eficiencia de los traslados de costos
El ensayo técnico de Baseten convierte la latencia, el rendimiento y la calidad del modelo en un marco para determinar de dónde provienen las mejoras de inferencia costosas.
By RuntimeWire Staff · Published
Primary source: Baseten
Por qué importa
La valoración de Baseten de 13 mil millones de dólares depende de que la optimización de inferencia siga siendo un negocio de ingeniería defendible en lugar de convertirse en un servicio comoditizado de alojamiento de modelos. Su framework ofrece a los desarrolladores una forma práctica de distinguir las ganancias reales de eficiencia de los compromisos en latencia, calidad o costo que están ocultos tras un benchmark.
El 1 de septiembre, Baseten - fundada por Tuhin Srivastava (@tuhinone), Amir Haghighat, Phil Howes y Pankaj Gupta - publicó un marco técnico para separar las mejoras genuinas en la inferencia de grandes modelos de lenguaje de los compromisos que simplemente trasladan los costos a otra parte.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.