llm-d 1.0 agrega controles de producción para la inferencia de IA distribuida
IBM dice que el proyecto gobernado por la CNCF ahora admite calidad de servicio para múltiples inquilinos, conmutación por error y actualizaciones continuas, apoyándose en el impulso de Carlos Costa para hacer que el servicio de IA sea nativo en la nube.
By RuntimeWire Staff · Published
Primary source: IBM Newsroom
Por qué importa
La infraestructura de inferencia determina si las organizaciones pueden ejecutar servicios de IA de manera confiable y asequible a gran escala. El lanzamiento 1.0 de llm-d apunta a las operaciones de producción que hay entre una demostración exitosa y un servicio fiable, mientras que sus afirmaciones sobre el costo y el rendimiento siguen vinculadas a pruebas específicas reportadas por la empresa.
Carlos Costa pasó años trabajando en supercomputadoras a gran escala antes de ayudar a crear llm-d para llevar métodos cloud-native al problema de servir modelos de IA a gran escala.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.