ComfyUI lanza gráficos MiniMax H3 editables para flujos de trabajo de video locales
El motor basado en nodos de Yannik Marek agregó flujos de trabajo MiniMax H3 nativos, ofreciendo a los creadores grafos inspeccionables para el modelo de video de pesos abiertos.
By Ryan Merket · Published
Primary source: ComfyUI Newsletter
Why it matters
ComfyUI is positioning its node-based engine as the execution layer between open-weight media models and creators, where memory optimization, editable templates and hardware support determine whether downloadable weights become usable production tools.
ComfyUI, el motor de creación de IA basado en nodos creado por Yannik Marek, añadió flujos de trabajo nativos de MiniMax H3 el 2 de agosto, convirtiendo el modelo de video en grafos editables con soporte de ejecución local. ComfyUI dice que la integración puede ejecutarse localmente en hardware de clase Nvidia RTX 3060.
El lanzamiento añade la capa de flujo de trabajo alrededor de los pesos H3 de MiniMax, incluidas plantillas editables y soporte de ejecución local. RuntimeWire cubrió por separado el lanzamiento del checkpoint de MiniMax, la ruta de servicio 2K y la licencia comunitaria. Aquí, la noticia es cómo ComfyUI ha hecho que el modelo sea inspeccionable y configurable dentro de su motor basado en nodos.
Marek inició ComfyUI a principios de 2023 como un experimento en solitario con Stable Diffusion. ComfyUI dice que el proyecto comenzó cuando no había ninguna herramienta disponible que pudiera encadenar dos modelos de IA en un flujo de trabajo repetible, lo que llevó a Marek a crear y publicar como código abierto su propio sistema basado en nodos. La interfaz resultante expone modelos, parámetros y etapas de procesamiento en un grafo en lugar de ocultarlos detrás de un único cuadro de prompt.
Esa estructura hace que la integración rápida de modelos sea central para el producto de ComfyUI. El anuncio de ComfyUI indica que H3 acepta texto, imágenes, video y audio. La ficha del modelo H3 de MiniMax MiniMax's H3 model card indica que el modelo genera clips a 24 cuadros por segundo y de hasta aproximadamente 15 segundos, con audio estéreo nativo. ComfyUI empaquetó esas capacidades en flujos de trabajo para texto a video, imagen a video, generación del primer y último fotograma y video basado en referencia. Los medios de referencia pueden trasladar un sujeto, movimiento o voz a un nuevo clip, según el anuncio de ComfyUI.
La documentación H3 de ComfyUI requiere la versión 0.30.0 o posterior y lista plantillas de texto a video, imagen a video y referencia a video. Los desarrolladores pueden inspeccionar y modificar cada grafo, reemplazando un modelo o una etapa de procesamiento sin reconstruir todo el flujo de trabajo.
Por qué importa el grafo de ComfyUI
ComfyUI dice que optimizó H3 para uso local y emparejó el modelo con flujos de trabajo listos para usar en lugar de dejar a los desarrolladores ensamblar el grafo por sí mismos. El anuncio respalda la afirmación de compatibilidad con la RTX 3060, pero no establece una velocidad de generación comparable ni la calidad de salida entre GPUs.
Los desarrolladores pueden usar la documentación H3 de ComfyUI para comenzar con grafos de texto a video, imagen a video y referencia a video. Debido a que ComfyUI expone la tubería como nodos, un creador puede alterar un modelo, parámetro o paso de procesamiento, volver a ejecutar el grafo y preservar el resto del proceso.
El flujo de trabajo local tiene límites. La ficha oficial del modelo de MiniMax indica que H3-Base genera a 768p, mientras que el proceso documentado full-2K combina un modelo base desplegado localmente con servicios alojados H3-Context-IR y H3-Regenerate-2K. El tutorial de ComfyUI describe un lienzo nativo con un borde corto de 768 píxeles, limitado a 768 por 1,344 píxeles.
MiniMax describe H3 como pesos abiertos, aunque sus términos son más restrictivos que una licencia de código abierto sin restricciones. El Acuerdo de licencia comunitaria de MiniMax H3 impone restricciones geográficas y requiere autorización escrita separada cuando un producto o servicio comercial que utiliza H3 genera más de $20 millones en ingresos anuales.
La apuesta de flujo de trabajo de ComfyUI
ComfyUI está construyendo una capa de ejecución común para modelos visuales, pasos de preprocesamiento y herramientas de postproducción. ComfyUI dijo en abril que recaudó $30 millones, elevando la financiación total a $47 millones. TechCrunch informó una valoración de $500 millones para la ronda. Craft lideró la financiación, con la participación de Pace Capital, Chemistry y TruArrow. ComfyUI reportó 4 millones de usuarios, más de 60,000 nodos creados por la comunidad y más de 150,000 descargas diarias en ese momento.
La integración de H3 muestra cómo el modelo de grafo de Marek puede absorber un checkpoint recién lanzado y convertirlo en un proceso de producción modificable ese mismo día. MiniMax suministró el modelo. ComfyUI construyó las plantillas editables y la ruta de ejecución local necesarias para ejecutarlo dentro de un motor de creación existente.