Inco AI lanza DFlash 2 e informa que las secuencias de tokens aceptadas son un 21% más largas
Inco AI agrega un selector de ruta y una convolución local a DFlash 2, reportando borradores aceptados un 21% más largos con 1.3% de latencia de ciclo adicional.
By RuntimeWire Staff · Published
Primary source: Inco AI
Por qué importa
Las cargas de trabajo de agentes multiplican la demanda de tokens y los costos de servicio. Si las ganancias de Inco AI se mantienen a lo largo de las pilas de producción, DFlash 2 puede reducir las pasadas del modelo objetivo sin cambiar la salida del modelo.
Zhijian Liu es un autor académico vinculado a UC San Diego detrás de DFlash, el método de decodificación especulativa paralela que Inco AI lanzó en una versión actualizada el 18 de agosto. DFlash 2 añade dos pequeños componentes diseñados para obtener más tokens aceptados por cada costosa pasada de verificación del LLM.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.