Metaは、PrometheusがMuse Wonderのトレーニング中に85%の有効スループットを達成したと述べた

オハイオ州のクラスターの第1フェーズでMuse Wonderが訓練された。Metaはファームウェアの修正により中断間隔が54,000 GPU時間を超えるまで延びたと述べている。

By · Published · Updated

Primary source: X

なぜ重要なのか

自己申告の数値は、Metaのフロンティアモデル戦略においてGPUの規模と並んで信頼性を重視していることを示しており、約100万GPU規模のクラスターに向けて構築する際に対処しようとしている運用上のボトルネックを明らかにしている。

Meta says Prometheus delivered 85% goodput training Muse Wonder — The Ohio cluster's first phase trained Muse Wonder; Meta says firmware fixes have since raised its interruption interval beyond 54,000 GPU-hours.

Meta says its Prometheus supercluster in New Albany, Ohio, delivered more than 85% goodput during Muse Wonder pretraining and more than 90% during reinforcement learning. AI at Meta said in an October 19th post on X that the first phase of Prometheus trained Muse models, including Muse Wonder.…

When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.

Reader comments

Conversation for this story loads after sign-in.