Pipe Networkが512GB Mac Studios向けの350GB Kimi K3ビルドを公開

Why it matters

Pipe made a 1.56TB frontier model loadable on one high-memory Mac, exposing the harder constraint behind open weights: usable local inference still demands severe compromises.

David Rhodus (@DavidRhodus) and Pipe Network は、Apple MLX ポートを公開しました。これにより Moonshot AI の 2.8兆パラメータの Kimi K3 がディスク上で約1.56TBから最小350GBまで削減され、512GBのユニファイドメモリを搭載した Mac Studio 上で大幅にプルーニングされたバージョンをロードできるようになりました。

Pipe は7月28日、Moonshot が Kimi K3 の重みと技術レポートを公開した翌日に、X のスレッドでリリースを発表しました。GitHub リポジトリ には MLX 実装、ストリーミングチェックポイントコンバータ、キャリブレーションツール、K3 の mixture-of-experts アーキテクチャをプルーニングするスクリプトが含まれています。Pipe はまた、変換済みチェックポイントを3つ Hugging Face にアップロードしました。

このリリースは実用的なローカルチャットボットというよりはシステムエンジニアリングのプロジェクトです。Pipe の公開した最速ビルドは約0.20トークン/秒、つまり5秒に1トークンの生成速度です。より大きなバリアントは0.14〜0.16トークン/秒で動作します。Pipe はこれら3つすべてを非対話的と説明しており、プルーニングは出力の反復やプロンプトから逸脱する応答など、目に見える劣化を引き起こすと述べています。

896のエキスパートを179に削減

Kimi K3 は、合計2.8兆パラメータ、アクティブパラメータが1040億の mixture-of-experts モデルです。Moonshot のアーキテクチャは896のルーティングされたエキスパートを持ち、各トークンごとに16を選択し、さらに2つの共有エキスパートを備えています。Moonshot の技術レポートによれば、ネイティブな画像サポートと約100万トークンのコンテキストウィンドウも組み合わさっています。

Pipe の最小チェックポイントは896のルーティング済みエキスパートのうち179を保持しており、80%の削減です。結果のREAP80 ビルド は350GBを占めます。451GB版は242のエキスパートを保持し、別の451GBチェックポイントは中国語とプログラミングコードに重み付けしたキャリブレーションセットを使用しています。

コンバータは変換中に完全なチェックポイントをロードすると Mac のメモリを超過するため、K3 をインクリメンタルに処理します。Pipe によれば非圧縮の BF16 表現は約5.6TBを占めるとのことです。K3 のルーティングエキスパートは既に Moonshot の MXFP4 エンコーディングを使用しており、MLX はさらに可逆でない量子化のパスを踏むことなくそれを保持できます。したがって、サイズ削減の大部分は生き残ったエキスパートを圧縮するのではなく、エキスパートを削除することによります。

そのトレードオフは大きいです。451GB のモデルカード は、チェックポイントが512 GiB の M3 Ultra に66秒でロードされ、コード、英語、中国語のサンプルをおおむね0.16トークン/秒で生成したと記しています。Pipe はプルーニングがリスト状の継続、反復、一般的な言語性能の低下をもたらす可能性があると警告しており、コード補完は構造的には整っていても言語全般の性能が弱まることがあると述べています。

Pipe のドキュメントは自己矛盾も含んでいます。個々の Hugging Face カードは512 GiB の M3 Ultra での生成成功と速度測定を報告しています。GitHub README の別の「Reality check」セクションは、公開されたどのティアも単一の Apple Silicon マシンで動作せず、アーティファクトは一度もトークンを生成していないと述べています。同じ README の別箇所では、Pipe は再び350GB と451GB のビルドを測定スループット付きで列挙しています。Hugging Face のカードにはより具体的なテスト構成と出力サンプルが含まれていますが、この矛盾により独立した再現が不可欠になります。

Rhodus は CDN 企業を AI インフラへ向ける

Rhodus は Permissionless Labs を通じて Pipe を構築しました。Permissionless Labs は現在、推論、ストレージ、ファインチューニングを提供する AI インフララボとして自らを位置付けています。このポジショニングは、独立運用ノードを使ってコンテンツをユーザーに近づける分散型コンテンツ配信ネットワークとしての Pipe の元々の提案から大きく拡張されたものです。

Rhodus は Pipe を始める前、約20年にわたりストリーミングとデータインフラに従事してきました。彼は Volar Video の CTO であり、Amazon Web Services に買収されたビデオインフラプロバイダー Elemental Technologies の初期従業員でした。のちに ConsenSys で働いたとされます（Multicoin Capital の投資に関する説明 による）。

2024年9月、Permissionless Labs は Multicoin がリードした1000万ドルの Series A を調達し、Robot Ventures、Solana Ventures、Solana の共同創業者 Anatoly Yakovenko、Meltem Demirors らが参加しました。当時、この資金調達は Pipe の CDN ネットワーク拡張、エンジニア採用、テストネット立ち上げのための資本として提示されていました。

Kimi のポートは、Rhodus が同じ基盤の賭けを AI に適用していることを示しています：大規模モデルはダウンロード可能になりつつあり、重みを移動、保存、提供することがインフラの問題として残っているという点です。K3 を Apple の最大ユニファイドメモリ構成に収めることは技術的な閾値を越えています。0.20トークン/秒で大部分のルーティング済みエキスパートを削除した状態では、速度とモデル品質を犠牲にしてでもそれを動かす機械を制御したい開発者向けの実験にとどまります。