Perplexity publica su pila de tres capas para embeddings y clasificación de búsqueda
Ivy prepara las solicitudes, Tulip las agrupa por lotes y ROSE ejecuta los modelos; Perplexity dice que la pila personalizada hace que los embeddings en línea y por lotes sean más rápidos y baratos, sin divulgar los puntos de referencia de producción.
By RuntimeWire Staff · Published
Primary source: Perplexity
Por qué importa
Perplexity está llevando el servicio de modelos internamente para representaciones vectoriales, ordenamiento, clasificación, puntuación y cargas de trabajo de modelos de lenguaje a gran escala. Ese control podría reducir la latencia y el costo en su producto de consumo y en sus API para desarrolladores, aunque la compañía no ha publicado benchmarks de producción que respalden esas afirmaciones.
Perplexity, la empresa de búsqueda con IA cofundada por el CEO Aravind Srinivas, publicó la arquitectura detrás de las cargas de trabajo de embeddings y ranking que alimentan su producto de búsqueda. La pila interna de tres capas está diseñada para evitar que la preparación de solicitudes, la programación de lotes y la ejecución en GPU se interfieran entre sí.
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.