AMDがInstella-MoEをリリースし、Instinct GPUs上でのエンドツーエンドトレーニングを披露

16Bパラメータモデルは、1トークンあたり2.8Bのパラメータを活性化し、6つのチェックポイント、トレーニングレシピ、およびコードが付属している。

By · Published

Illustration of an AMD Instinct GPU with flowing abstract data streams representing Instella-MoE model training

16Bパラメータモデルは、1トークンあたり2.8Bのパラメータを活性化し、6つのチェックポイント、トレーニングレシピ、およびコードが付属している。