Meta 表示，在训练 Muse Wonder 时，Prometheus 实现了 85% 的有效吞吐量。
俄亥俄集群的第一阶段训练了 Muse Wonder；Meta 表示固件修复此后已将其中断间隔提高到超过54,000 GPU 小时。
By Ryan Merket · Published · Updated
Primary source: X
为何重要
这些自报数据在 Meta 的前沿模型战略中将可靠性与 GPU 规模并列，并展示了它在朝着大约一百万个 GPU 集群迈进时正试图解决的运营瓶颈。
Meta 表示其位于俄亥俄州 New Albany 的 Prometheus 超级集群在 Muse Wonder 的预训练阶段实现了超过 85% 的 goodput，在 强化学习 阶段实现了超过 90%。AI at Meta 在 10 月 19 日于 X 的一篇帖子 称，Prometheus 的第一阶段训练了 Muse 系列模型，其中包括 Muse Wonder。Meta 的工程账号补充说，该集群在这些训练运行期间在中断之间记录了约 47,000 GPU 小时。
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.