Tokenless enruta solicitudes de LLM a mitad de la generación para reducir los costos de inferencia
Los fundadores de Tokenless, Rohit Agarwal, Andrew Liu y Kevin W., apuestan a que observar cómo varios modelos comienzan una tarea es mejor que elegir uno desde el principio.
By Ryan Merket · Published
Primary source: Tokenless
Por qué importa
El enrutamiento de inferencia se está convirtiendo en un punto de control valioso en la pila de IA. Tokenless apuesta a que la salida parcial del modelo puede guiar el enrutamiento con mayor precisión que la sola inspección del prompt, mientras que su viabilidad económica depende de tomar esa decisión lo suficientemente rápido como para compensar los costos de inferencia en paralelo.
Rohit Agarwal, Andrew Liu and Kevin W. están construyendo Tokenless, un enrutador de LLM que inicia cada solicitud en varios modelos, observa su trabajo inicial y conserva el modelo que parece más probable que termine con éxito. Kevin W.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.