Nunchux acelera la difusión de video mediante suavizado de valores y casting softmax en FP8
Muyang Li de Nunchux AI y colaboradores reportan una generación de extremo a extremo hasta 1.70x más rápida sin reentrenamiento, con MiniMax H3 entre cuatro modelos probados.
By RuntimeWire Staff · Published · Updated
Primary source: MiniMax
Por qué importa
Los costos de generación de video dependen cada vez más de la ingeniería de inferencia que se encuentra debajo del modelo. VC-Attention muestra cómo una startup joven puede convertir trabajo académico sobre kernels en una cuña de plataforma creíble.
Muyang Li (@lmxyy1999) y sus colaboradores en Nunchux AI han publicado un método de atención de bajo bit que ataca dos costos persistentes dentro de los modelos de difusión de video: cuantizar las activaciones de valor y ejecutar el softmax a mayor precisión. El 14 de septiembre, el paper VC-Attention reporta aceleraciones del kernel de atención de 1.46x a 1.59x en las GPUs de centro de datos H200 y B200 de NVIDIA, con ganancias mayores en tarjetas de estación de trabajo.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.