NVIDIA 和 AI4Bharat 宣布为 22 种印度语言发布一个 2.8 万亿 token 语料库

AI4Bharat 的负责人 Mitesh Khapra 共同撰写了一则公告，介绍了一个包含 22 种语言的语料库和一个可重用的数据管道，二者均被列为即将推出。

By · Published

Primary source: Hugging Face Newsroom

为何重要

NVIDIA 和 AI4Bharat 宣布计划发布一个大型印度语系训练语料库以及用于生成它的配方。仅凭 token 总数本身并不能证明语言层面的质量或下游任务的表现。

NVIDIA and AI4Bharat build a 2.8T-token corpus for Indian-language models — AI4Bharat head Mitesh Khapra helped shape the release, which pairs translated training data across 22 languages with a reusable generation pipeline.

Mitesh Khapra, 他在 IIT Madras 领导 AI4Bharat，正在帮助 NVIDIA 解决他直言不讳的问题：印度语言的人工智能缺乏数据。10月16日，NVIDIA 和 AI4Bharat 宣布了 Nemotron-pretraining-Indic-v1，这是一个涵盖 22 种印度语言、约 2.8 万亿标记的语料库，同时发布了一个旨在让其他团队生成并评估类似数据的开放管道。Hugging Face 公告 表示这两项发布很快到来；该公告并未证明完整语料库在公告当天即可下载。…

When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.

Reader comments

Conversation for this story loads after sign-in.