NVIDIA y AI4Bharat anuncian un corpus de 2.8T tokens para 22 idiomas indios

El director de AI4Bharat, Mitesh Khapra, coautoró un anuncio sobre un corpus de 22 idiomas y una canalización de datos reutilizable, ambos señalados como próximamente disponibles.

By · Published · Updated

Primary source: Hugging Face Newsroom

Por qué importa

NVIDIA y AI4Bharat anunciaron planes para publicar un gran corpus de entrenamiento en idiomas índicos y la receta utilizada para generarlo. El total de tokens por sí solo no determina la calidad a nivel de idioma ni el rendimiento en tareas posteriores.

NVIDIA and AI4Bharat build a 2.8T-token corpus for Indian-language models — AI4Bharat head Mitesh Khapra helped shape the release, which pairs translated training data across 22 languages with a reusable generation pipeline.

Mitesh Khapra, quien dirige AI4Bharat en IIT Madras, está ayudando a NVIDIA a abordar un problema que él ha descrito claramente: la IA en idiomas indios carece de datos. El 16 de octubre, NVIDIA y AI4Bharat anunciaron Nemotron-pretraining-Indic-v1, un corpus de aproximadamente 2.8 billones de tokens en 22 idiomas indios, junto con una canalización abierta destinada a permitir que otros equipos generen y evalúen datos similares.…

When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.

Reader comments

Conversation for this story loads after sign-in.