Modal dice que la CPU Vera de NVIDIA duplica el rendimiento de los sandboxes bajo carga
Modal está probando un servidor Arm para su flota de sandbox orientada a ráfagas, donde la contención de la CPU puede ralentizar a los agentes y dejar ociosas a las GPUs de entrenamiento.
By Ryan Merket · Published · Updated
Primary source: Modal Newsroom
Por qué importa
Modal está probando si la CPU Arm de NVIDIA puede permitirle ejecutar más sandboxes para agentes por servidor manteniendo una latencia de las tareas similar. Si el resultado se mantiene en producción, podría mejorar la utilización y reducir los cuellos de botella de la CPU que ralentizan a los agentes y mantienen a las GPU de aprendizaje por refuerzo esperando.
Modal, cuyo fundador y CEO es Erik Bernhardsson (@bernhardsson), está evaluando si NVIDIA's Vera CPU puede mitigar un problema que las cargas de trabajo de IA hacen particularmente visible: el equipo que ejecuta un agente puede retrasar al resto del sistema.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.