AMDがInstella-MoEをリリースし、Instinct GPUs上でのエンドツーエンドトレーニングを披露

Why it matters

Instella-MoE gives AI teams a reproducible test of AMD's stack for sparse-model training and RL, though its research-only weight license limits commercial use.

AMDの研究者であるJiang LiuとPrakamya Mishra (@PrakamyaMishra)が主導し、Instella-MoEを7月24日に公開しました。これは、AMD Instinct GPU上で一から構築されたMixture-of-Experts型言語モデルの重みとトレーニング成果物を開発者に提供するものです。Mishraは月曜にXでのスレッドで、このリリースをAMDの最初の完全にオープンなMoEモデルだと説明しました。

この公開により、この取り組みに携わった2人のAMD研究者が公に知られることになりました。LiuはInstella-MoEのプロジェクトリードで、2024年にJohns Hopkins Universityで電気・コンピュータ工学の博士号を取得した後にAMDに参加しました。MishraはSeattle拠点のGenAIグループで大規模トレーニング技術に取り組む応用研究エンジニアです。彼は以前UMass Amherstで自然言語処理を研究し、AmazonのNLUおよび音声言語理解グループと協働していました。

Instella-MoEは160億パラメータを持ち、そのスパースアーキテクチャは各トークンあたり28億を活性化します。27層のデコーダ層は2つの共有エキスパートを使用し、64個の利用可能なエキスパートのうちトークンごとに6つを経由させます。この構造は、すべてのトークンに対して全パラメータを活性化する計算コストを負わずにモデル容量を維持することを目的としています。

AMDは、このモデルをInstinct MI300XおよびMI325Xアクセラレータ、ROCm、およびPrimusトレーニングフレームワークを用いて7.1兆トークンでトレーニングしたと述べています。データ混合には一般的なウェブテキスト、コード、数学、科学が含まれました。AMDはその後、ミッドトレーニング、ロングコンテキスト、教師ありファインチューニング、直接的な好み最適化、および強化学習の各ステージを別々に実行しました。ロングコンテキストトレーニングにより、対応するウィンドウは4,000トークンから64,000トークンに拡張されました。

公開の範囲は最終チェックポイントと同じくらい重要です。AMDはHugging Faceでの6モデルコレクションを公開しており、プリトレーニング、ミッドトレーニング、ロングコンテキストベース、教師ありファインチューニング、好み最適化、強化学習を網羅しています。Instella-MoE リポジトリにはトレーニング構成、データ混合の詳細、推論ツール、およびパイプラインを再現するためのコードが含まれています。

このパッケージによって、Instella-MoEはAMDハードウェア上で最新のスパースモデルをトレーニングするためのリファレンス実装になります。チップメーカーによるモデル公開は、モデル自体が研究志向であっても商業的な目的を果たします。潜在的な顧客に実働コード、性能データ、および支配的なNvidiaソフトウェアスタックの代替を評価する際に検査できるアーキテクチャを提供するからです。

AMDはフルトレーニングパイプラインをテスト

Instella-MoEは、Mixture-of-Expertsモデルの通信コストに関連して開発された2つのシステム技術の検証手段もAMDに提供します。1つ目はGated Multi-head Latent Attentionで、各Attention出力がどれだけ次段に進むかを制御する学習されたゲートを追加します。2つ目はFarSkip-Collectiveで、エキスパート並列トレーニングおよびサービング中にGPU間の通信と計算を重ね合わせます。

AMDはFarSkip-Collectiveによりプリトレーニング速度が12.7%向上したと報告しています。また、エキスパート並列でモデルをサービングした際の最初のトークン生成時間が最大で39.2%短縮された測定も行いました。これらの数値はAMD自身のテストに基づくもので、指定された並列サービング構成に依存します。

これらのベンチマークも企業発表に基づくものです。AMDによれば、ベースチェックポイントは選択した標準評価で平均76.7を記録し、比較に含まれる完全オープンなOLMo-3-7BおよびOLMoE-1B-7Bモデルを上回りました。強化学習で洗練されたAMDの最終的なThink checkpointは、ポストトレーニング表で73.22の平均を出し、IFEvalで83.70のスコアを記録しました。比較では、ベースモデル平均でInstella-MoEはQwen3.5-4B-Baseに後れを取りましたが、AMDのThink checkpointはポストトレーニング表で選ばれた完全オープンモデルの中では先頭に立ちました。

モデルのオープン性にはライセンス上の境界も伴います。AMDはトレーニングコードをMIT Licenseの下で公開しましたが、チェックポイントは学術・研究目的に限定されたResearchRAILライセンスを使用しています。開発者はレシピ、データ混合、中間重みを検査できますが、モデルのライセンスは商用の無制限なオープンソース許諾ではありません。

AMDはまた、チェックポイントに安全性の保証がなく、多言語性能のテストは行っておらず、安全クリティカルな用途、医療用途、または高精度を要する用途には不適切であると警告しています。これらの制約により、Instella-MoEは即時導入を想定したプロダクションモデルというよりも研究成果物と位置付けられます。

AMDにとって最も重要な成果は、ROCmとInstinctアクセラレータがプリトレーニング、好みチューニング、強化学習を含むMoEプロジェクトを実行できるという証拠です。Instella-MoEは、外部のチームがハードウェアベンチマークだけに頼るのではなく、コードとチェックポイントでその主張を検証するための成果物を提供します。