NERVOSYS lanza IronAccelerator, afirmando que sus llamadas CUDA en Rust son más rápidas que las de cudarc.

Why it matters

Rust-native AI runtimes need lower GPU dispatch overhead without costly rewrites. IronAccelerator offers that path for CUDA, but its broader cross-vendor case depends on backends that still lack parity and hardware testing.

El fundador de NERVOSYS, Adam Erickson (@admercs), lanzó IronAccelerator el 28 de julio, ofreciendo a los runtimes de IA basados en Rust una interfaz CUDA de bajo nivel que preserva la API de cudarc mientras reduce la sobrecarga en el lado del host, según el anuncio de NERVOSYS.

Erickson fundó NERVOSYS después de trabajar en ciencias computacionales de la Tierra y robótica. Su biografía personal menciona un doctorado en silvicultura por la University of British Columbia y una beca del NASA Postdoctoral Program en el Goddard Space Flight Center de 2019 a 2022. La página de LinkedIn de NERVOSYS muestra un empleado en College Park, Maryland, lo que hace de IronAccelerator un intento impulsado por su fundador de dominar una capa estrecha pero importante de la pila de infraestructura de IA.

El repositorio de código abierto describe IronAccelerator como un sustrato de controlador. Envuelve dispositivos, streams, eventos, memoria, compilación de kernels en tiempo de ejecución y manejadores para bibliotecas de proveedores como cuBLAS, cuDNN, NCCL y cuFFT. Deja tensores, kernels, cuantización, planificadores y optimización de cargas de trabajo al software en niveles superiores de la pila.

Una jugada de compatibilidad

El camino más corto de IronAccelerator hacia la adopción es su capa de compatibilidad para cudarc, un paquete de Rust que proporciona wrappers seguros para el driver de CUDA de NVIDIA y bibliotecas relacionadas. Un desarrollador puede reemplazar la importación de cudarc con:

use ironaccelerator_cuda::cudarc_compat::{CudaDevice, CudaSlice, LaunchAsync, compile_ptx};

NERVOSYS dice que el código restante puede conservar la forma e idiomatismo de la API de cudarc. Ese diseño reduce el costo de probar IronAccelerator dentro de una aplicación CUDA existente en Rust: los desarrolladores pueden cambiar la interfaz en el límite de importación en lugar de reescribir el código de asignación, transferencia y lanzamiento en la GPU.

NERVOSYS comparó la versión liberada contra cudarc 0.19.6 en una RTX 3090 Ti ejecutando CUDA 13.2. La documentación actual de cudarc lista la versión 0.19.8, por lo que las pruebas publicadas no cubren la versión puntual más reciente mostrada por Docs.rs el 29 de julio.

Los resultados son también las propias mediciones de NERVOSYS y no han sido reproducidos de forma independiente. NERVOSYS reporta mejoras en transferencias de host a dispositivo en todos los tamaños probados entre 256 bytes y 64 MiB, con aumentos de hasta aproximadamente 1.29 veces el rendimiento de cudarc. Las transferencias de dispositivo a host quedaron efectivamente empatadas.

La mayor ganancia reclamada proviene de un asignador de memoria opcional llamado MemPool. Mantiene los buffers GPU liberados en cubetas de potencias de dos y los reutiliza mediante una caché local por hilo. En un ciclo de asignación y liberación en caliente, NERVOSYS midió aproximadamente 10 nanosegundos, alrededor de 70 veces más rápido que la ruta de cudarc en su prueba.

NERVOSYS atribuye las ganancias a punteros de función del driver CUDA en caché, al enlazar el contexto del dispositivo una sola vez, a apartar la construcción de errores de la ruta de ejecución exitosa y a eliminar asignaciones evitables dentro de operaciones llamadas con frecuencia. Estos cambios apuntan a los costos de despacho en el lado de la CPU más que a la ejecución de kernels en la GPU.

Esa distinción aparece en la propia corrección de NERVOSYS. Una prueba inicial sugería que los lanzamientos de kernels eran aproximadamente 1.45 veces más rápidos. Tras volver a ejecutar el benchmark en una máquina inactiva, NERVOSYS encontró ambas bibliotecas en torno a 4.6 a 4.7 microsegundos y atribuyó el resultado anterior a la contención. La corrección reduce el caso de IronAccelerator a la sobrecarga de asignación, sincronización y transferencia.

CUDA funciona primero

La propuesta agnóstica respecto al hardware sigue estando por delante de la implementación. NERVOSYS dice que CUDA es el único backend listo para producción. Su documento de estado de backends enumera wrappers completos del driver HIP para ROCm de AMD, rutas de cómputo básicas para Vulkan y Direct3D 12, y andamiaje o sondas de dispositivos para Metal, Qualcomm QNN, WebGPU, Intel Level Zero, Google TPU y AWS Neuron.

Esos backends carecen de piezas clave de la implementación de CUDA, incluyendo capas de compatibilidad equivalentes, pools de memoria, compilación en tiempo de ejecución o pruebas en el hardware objetivo. Direct3D 12 es el único backend no-CUDA que NERVOSYS dice haber ejercitado mediante una prueba de despacho GPU de extremo a extremo.

Eso deja a IronAccelerator compitiendo hoy más directamente con cudarc. Proyectos de Rust de mayor nivel ocupan capas distintas: CubeCL suministra un sistema de programación y runtime para GPU a través de CUDA, ROCm, Metal, Vulkan, WebGPU y CPUs, mientras que Burn es un framework completo de deep learning. IronAccelerator apuesta a que los motores de inferencia de IA y los runtimes de agentes necesitan una superficie de driver más pequeña que un agente de codificación automatizado pueda inspeccionar y modificar sin traer todo un framework de tensores al contexto.

NERVOSYS dice que su propio motor de inferencia en Rust, IronWorks, migró alrededor de 300 sitios de llamadas CUDA de cudarc a IronAccelerator el 15 de mayo. NERVOSYS reportó que no hubo regresiones de kernels y que el rendimiento de generación de tokens se mantuvo aproximadamente igual porque esa carga de trabajo estaba limitada por los kernels de la GPU más que por la sobrecarga de los wrappers. La migración interna demuestra cobertura de API, aunque no valida de forma independiente los benchmarks principales.

IronAccelerator usa un modelo de doble licencia. El repositorio está disponible bajo AGPL-3.0-or-later, mientras que NERVOSYS ofrece una licencia comercial para productos propietarios, servicios de inferencia de código cerrado y SDKs comerciales. Esa estructura convierte el lanzamiento de código abierto tanto en un canal de distribución como en un potencial negocio de licencias si los runtimes de IA basados en Rust adoptan la capa CUDA.