Cursor、トレーニングスループットが41%向上したと主張した後にMoKをオープンソース化

Why it matters

Cursor is spending its funding on vertical model infrastructure, and MoK shows how application companies can cut training costs by optimizing communication across entire GPU racks.

Cursor (@cursor_ai) は8月4日に Mixture-of-Kittens をオープンソース化しました。これは同社が、Composer モデルのトレーニングにおけるエンドツーエンドのスループットを以前のプロダクションスタックと比べて41%向上させたと述べる GPU カーネルです。

このリリースは、CEO Michael Truell (@mntruell) と Cursor の研究チームが同社のコーディングエディタの下に構築してきたモデルインフラの一部を公開するものです。Truell は 2022 年に MIT の同級生3人とともに Cursor の親会社である Anysphere を共同設立しました。Cursor はその後モデル開発にさらに深く関与するようになり、最初の継続事前学習（continued pretraining）実行を経て、3月に Composer 2 coding model を導入しました。

Mixture-of-Kittens、略して MoK は、mixture-of-experts モデルのトレーニングで最もコストがかかる部分の一つ、すなわち異なるエキスパートを保持する GPU 間でトークンを移動し、選択されたフィードフォワードネットワークを実行して結果を返す作業を対象としています。Cursor の研究者たちは、このレイヤがワークロードと構成によっては総トレーニング時間の半分以上を消費することがあると見出しました。

MoK は、それらの通信と計算のステップを Nivida GB300 NVL72 システム向けに設計された単一のメガカーネル内に統合します。NVL72 ラックは 72 GPU を一つの NVLink ドメインで接続し、データ転送と計算を重ね合わせる機会を生み出します。同時に、各行列乗算を個別に最適化するのではなく、ラック全体で作業を慎重に調整することをインフラチームに強います。

Cursor's benchmark claims

Cursor は、レイヤーレベルのテストにおいて MoK が最速の公開ベースラインに対して MXFP8 フォワードスループットで最大 2.37x を達成したと述べています。比較対象には NCCL with PyTorch、DeepEP with PyTorch、DeepEP with Transformer Engine、Nvidia's HybridEP with Megatron の設定が含まれます。

このピーク値は Cursor 自身のテスト内の一結果であり、すべての精度モードやトレーニングパスで一律の改善を示すものではありません。Cursor は MXFP8 バックワード実行で最大 1.78x、BF16 フォワード実行で 1.92x、BF16 バックワード実行で 1.58x の最大ゲインを報告しました。

プロダクション比較では、Cursor は複数の GB300 NVL72 ラックに分散した 512 GPU をテストしました。以前の DeepEP ベースのスタックは GPU 当たり 760.9 トークン/秒 を処理していたのに対し、MoK は 1,070.2 を処理したと同社は述べています。これにより報告された 1.41x のエンドツーエンド増加が得られました。

このプロダクションの数値は Cursor の内部トレーニングシステムに基づくものであり、公開リポジトリだけから再現することはできません。ただし、Cursor は個々の MoE レイヤーベンチマークに使用したコードを公開しており、インフラエンジニアが互換ハードウェア上でより狭い性能主張をテストする手段を提供しています。

Cursor は MoK が既に数万 GPU にわたる Composer トレーニングを支えていると述べています。この導入台数とベンチマーク結果は同社の報告によるものです。

Rebuilding the MoE layer around communication

実装はプルベースのディスパッチを使用しており、GPU が必要とするトークンをピアから取得し、その後にプッシュベースの結合（combine）操作を行います。Cursor はこの配置が 72 GPU 間の同期を減らし、不均一なエキスパート負荷の下でプッシュベースのディスパッチよりも NVLink 帯域幅利用率を最大で 29% 高めたと述べています。

MoK は GPU のストリーミングマルチプロセッサを通信と計算に分割し、各ミニバッチでシステムを通過するトークン数を調整します。リングトークンバッファにより、カーネルは固定されたメモリ割り当てを再利用でき、CPU が各変化するトークン数に対してバッファを計算・割り当てるのを待つ必要がなくなります。

カーネルはまた浮動小数点演算の順序を固定しており、同じ入力に対してビット単位で同一の出力を生成します。Cursor は内部実験およびポリシーに基づく強化学習（on-policy reinforcement-learning）の事後学習のためにその決定性が必要だったと述べています。MoK は BF16 と MXFP8 をサポートし、Cursor はプロダクションで MXFP8 を使用しつつ、共有エキスパートはトレーニングの安定性のために BF16 のままにしています。

GitHub repository は Apache 2.0 ライセンスの下で利用可能です。名指しの著者は Stuart H. Sul、Nash Brown、Henry Wildermuth、William Lin、Federico Cassano です。

Cursor moves further down the model stack

Cursor のリリースは、もともとコードエディタとして始まった AI アプリケーションの下にどれほど多くのインフラが存在するかを可視化します。同社は独自のコーディングモデルをトレーニングし、大規模な GPU クラスタ上で運用し、公開実装が性能を十分に引き出せない場合はハードウェア特化のカーネルを書いています。

その作業は潤沢な資本基盤に支えられています。2025年11月13日の Series D announcement において、Cursor は Accel、Thrive Capital、Andreessen Horowitz、Coatue、Nvidia、Google などを含む投資家から 23 億ドルを、ポストマネー評価額 293 億ドルで調達したと述べました。同社は当時、この資金調達がより深い研究投資を支援することになると述べていました。

MoK をオープンソース化することで、他の研究所はプロダクションでテストされた実装にアクセスでき、外部のエンジニアがそれを検査・拡張するよう招くことになります。即座の対象は狭く、GB300 NVL72 システムで大規模な mixture-of-experts モデルをトレーニングするチームに限られます。これらは高価なマシンであり、ソフトウェアはそれらのネットワーキングと実行モデルに合わせて調整されています。

このリリースはまた、同社を主にエディタと関連付ける可能性のある研究者を採用するための公開成果物にもなります。Cursor は、小規模な研究グループが個々のカーネルを書き、分散メガカーネルを通して作業するのを AI エージェントが支援したと述べています。MoK はその結果生まれたインフラへの賭けです：より良いコーディングモデルは、各トレーニングクラスタが1秒当たりにより多くの有用な作業を提供できるようにすることにも部分的に依存するでしょう。