Inception lanza Mercury 2.5 a 1,107 tokens por segundo, según su conteo
Tres profesores universitarios apuestan a que la generación paralela puede reducir el tiempo y el costo asociados con la programación, la búsqueda y los agentes de voz.
By RuntimeWire Staff · Published
Primary source: Inception Labs on X
Por qué importa
Mercury 2.5 evalúa si la difusión puede convertirse en una arquitectura de servicio práctica para agentes de alto volumen, donde la latencia y el costo se acumulan en cada llamada al modelo.
Stefano Ermon (@StefanoErmon), Aditya Grover (@adityagrover_) and Volodymyr Kuleshov (@volokuleshov) lanzaron Mercury 2.5 el 8 de septiembre, llevando su investigación de modelos de lenguaje por difusión a una API orientada a producción que Inception dice puede generar 1,107 tokens por segundo en GPUs Nvidia ampliamente disponibles.
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.