Waferは、Kimi K3のコスト効率に関して、AMDのMI355XがNvidiaのB300を上回ると述べている

Why it matters

Kimi K3's size turns GPU memory into a deployment constraint. Wafer's self-reported benchmark shows how software tuning and larger HBM capacity could make AMD economical for frontier-scale open models, even when Nvidia retains the raw-speed lead.

Wafer, founded by Emilio Andere (@gpuemi) and Steven Arellano (@gpusteve), says it ran Kimi K3 on eight AMD MI355X GPUs at better performance per dollar than an Nvidia B300 system, using memory capacity and a pair of software fixes to narrow AMD's inference gap.

サンフランシスコのAIインフラプロバイダであるWaferは、ピーク時の総合スループットで毎秒952トークン、単一ストリームで毎秒118トークンを記録したと報告している。Waferはこれらの結果をテクニカルスタッフのIan Yeが執筆した7月31日の技術記事で開示した。

Waferの絶対スループットは、同試験で毎秒1,568トークンを記録したB300構成より低かった。一方で経済的な結果は逆で、WaferはMI355Xでドルあたり毎秒48トークン、B300で33、2ノードのB200展開で7と計算した。

これらの数字はWaferが想定した時間単位のレンタル価格、MI355X GPUが1台あたり$2.50、B300が$6、B200が$4.25を使用している。Waferは独自のテスト環境を用いてこれらの数値を算出した。

メモリがハードウェア選択を変える

Kimi K3の技術報告は、合計2.8兆パラメータ、アクティブで1040億パラメータ、100万トークンのコンテキストウィンドウを持つmixture-of-expertsモデルを記述している。Waferは、推論時に使用されるキー・バリューキャッシュのためのメモリ割り当てを行う前に、重みだけでGPUメモリが1.5テラバイト以上必要になると推定している。

そのサイズがWaferの付け入る隙を生んでいる。AMD MI355Xは288 GBのHBM3Eを搭載しており、8 GPUノードで約2.3 TBの高帯域幅メモリを提供する。Waferによれば、同じモデルと100万トークンのキャッシュは1台の8 GPU B200ノードには収まらず、B200のテストは2ノード、合計16 GPUにまたがることを強いられたという。

構成が重要だ。WaferのB200展開はデコード経路でノード間通信のレイテンシーコストを負ったが、MI355XとB300システムは1ノード内に収まっていた。Waferは16 GPU全体のB200展開で合計毎秒498トークン、ノードあたり約249トークンを報告した。

これによりB200との比較は構造的に不利になる。またWaferが顧客に気づいてほしい実務上の制約も表している：十分なメモリを持つGPUは、名目上は速いアクセラレータが要求するノード間協調を回避できる。オープンウェイトモデルが成長するにつれて、生の演算能力が計算に入る前にメモリ容量がサービングアーキテクチャを決定し得る。

ArellanoはX上で、B200構成と比較してMI355Xで「スループットが3.8倍、コストが71%低い」とWaferが達成したと書いた。スループットの倍率はノード単位で測定されており、コストの割合はWaferが示した時間当たりレンタル想定に従う。

Steven Arellano on X

二つの小さな修正が大部分の向上を生んだ

Waferによれば、Kimi K3はAMDのROCmソフトウェア上でゼロからの移植なしに動作させられたが、初期の展開ではかなりの性能が未使用のままだった。

Waferはまず、RadixArkのKimi-K3-DSparkを使った投機的デコーディングを追加した。これはKimi K3が一緒に検証できる複数のトークンを提案する外部のドラフトモデルだ。CUDA版は直接動作したが、ROCm上ではSGLangのaccept-sampling verifierでtop_k_renorm_prob定義が欠けていたためスケジューラが失敗した。

WaferはPyTorchでその操作を実装し、最も確率の高いトークンを選択して残りをマスクし、保持した値を再スケーリングした。Waferによればその修正により単一ストリーム性能は約2.2倍、適度な負荷でのストリームあたり性能は約1.7倍向上し、ピークの総合スループットは18%増加したという。

二つ目の問題はprefill中に現れた。prefillはモデルが最初の出力トークンを生成する前にユーザーの入力を処理する段階だ。Waferは当初、MI355Xで172,000トークンのコールドprefillに約51秒、B300では約23秒かかったと測定した。

Waferは遅延の大部分をattentionカーネルの形状の不一致に特定した。Kimi K3は8 GPUにわたるテンソル並列でランクあたり12のattentionヘッドを生み出していたが、AMDのより高速なAITER経路は4、8、または16の倍数をサポートしていた。Waferはヘッド数を12から16にパディングし、より高速なカーネルを実行して余分な出力を破棄した。

Waferによれば、この変更により定常状態のprefill性能はおおよそ毎秒4,000〜7,000トークンから約13,000トークンに上がり、最初のトークンが現れるまでの時間が改善されたという。

Waferの創業理念を軸にしたベンチマーク

AndereとArellanoはUniversity of Chicagoの1年目に出会い、ルームメイトとなり、希少なパフォーマンスエンジニアがAIハードウェアの効率的な利用を制限しているという考えを中心にWaferを立ち上げた。Andereは数学を学び、UChicagoで機械学習のセキュリティを研究し、Argonne National Laboratoryで気象モデルに取り組んだ。Arellanoはコンピュータサイエンスを学び、Google、Two Sigma、Sei Labsで高性能コンピューティングとAIインフラに取り組んだ。

Waferは現在、ワークロードをプロファイリングし、モデル、推論エンジン、カーネル、ハードウェア構成を横断的に探索するソフトウェアエージェントを提案している。Y CombinatorはWaferを掲載しており、サンフランシスコに7人のチームで2025年サマーの企業としてリストされている。

MI355Xでの作業は、創業者の主張――ソフトウェア最適化が代替アクセラレータを要求の厳しいモデルに対して経済的に競争力のあるものにできるという――を直接示すものだ。またそれは、WaferのサーバーレスAPIや専用推論デプロイメントに対するセールス上の論拠でもある：顧客は特定のチップベンダーに事前にコミットする代わりに、モデルとワークロードをWaferに任せることができる。

Waferは2026年4月14日に400万ドルのシードラウンドを調達した。ラウンドはFifty Yearsがリードし、Liquid 2とY Combinatorが参加した。資金調達の発表は、従来は限られた数のカーネルとシステム専門家が行っていた作業を自動化することで「intelligence per watt」を最大化することをWaferの目標として位置づけた。

Kimi K3はその主張に有益なストレステストを与える。モデルの大きさはAMDの288 GBメモリ設計に報いる一方で、Waferが遭遇したソフトウェアの問題は新しいカスタムカーネルを書くことなく修正できるほど狭かった。その組み合わせはWaferとAMDの双方に有利だ：AMDは自社のハードウェアが最前線規模のオープンモデルをサービス可能である証拠を得、Waferは推論購入者がチップベンダーを横断した最適化を必要とする具体例を得る。

この結果はMI355Xがより速いGPUであることを確立するものではない。Wafer自身のB300の実行は合計スループットで65%多く、単一ストリームもより速かった。Waferの発見はより狭く、商業的に重要である：同社の構成とレンタル価格の下では、1つのMI355Xノードがスループット単位あたりより安価にKimi K3を処理した。