Liquid AI agrega un modelo preliminar de 280M para acelerar su modelo de visión de 3B
El equipo de Ramin Hasani afirma que el complemento experimental reduce el tiempo de decodificación hasta 3.13 veces en una M5 Max, mientras mantiene sin cambios el procesamiento de imágenes y el autorrellenado del prompt.
By RuntimeWire Staff · Published
Primary source: Hugging Face Newsroom
Por qué importa
Liquid AI está extendiendo su estrategia de modelos centrada en el dispositivo, de huellas más pequeñas a una inferencia multimodal más rápida. La salvedad está incorporada en los puntos de referencia: DSpark acelera la generación de tokens, mientras que la codificación de imágenes y el prellenado de prompts permanecen sin tocar, y no se probaron las implementaciones cuantizadas.
Liquid AI lanzó un modelo experimental draft para su modelo visión-lenguaje LFM2.5-VL-3B el 24 de septiembre, añadiendo un componente de 279.5 millones de parámetros que, según la compañía, acelera la generación de tokens sin cambiar la distribución de salida del modelo objetivo.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.