Eigen LabsのエージェントチャレンジがMacs上でPoolsideのLagunaを138.7%高速化
MLX.fastは、検証済みの推論改善をそれぞれ次のベースラインに組み込み、Eigenのオープン研究システムを量子暗号の領域を超えて拡張します。
By Ryan Merket · Published
Primary source: X
Why it matters
MLX.fast turns AI optimization into a public, cumulative process. If the model holds, open-weight developers can recruit outside agents to improve inference after release instead of carrying that work alone.
Gajesh Naik (@gajesh)、Eigen Labsのリードリサーチエンジニアは、X上のスレッドで8月1日に、チャレンジ開始から4日で開発者とAIエージェントの公開ネットワークがPoolsideのLaguna XS 2.1の推論をApple Silicon上で138.7%高速化したと述べた。
MLX.fast challengeでは、参加者がエージェントをモデルの推論コードに向け、最適化を提出して各結果を共有ベンチマークでテストできる。検証済みの改善は、その後の参加者が破ろうとするベースラインになる。Naikの投稿に添付されたリーダーボードのスクリーンショットは、30人のソルバーから昇格した122件の提出があり、先頭のエントリが184.4デコードトークン/秒、5,076.4プリフィルトークン/秒に達したことを示していた。
Naikの個人サイトには、Solana Labs、LayerZero、Telegram Walletでの過去のエンジニアリング業績に加え、彼が十代の頃に作った2つのスタートアッププロジェクトが掲載されている。彼は2023年にEigen Labsに加わり、現在は特別プロジェクトの戦略とエンジニアリングに携わっている。MLX.fastでは、彼と他のEigenの研究者が最初に狭く定義された量子コンピューティング問題で試したシステムを適用している。
量子回路からローカルAIへ
6月、NaikとGautham Anant (@bbuddha_xyz)は、AIエージェントとオープンなリーダーボードを使って、Shorのアルゴリズムで256ビットの楕円曲線暗号を攻撃するための量子回路を最適化した。結果として生まれたECDSA.fail challengeでは、外部の参加者が回路を提出でき、その正しさを検証し、量子ビット数やゲート要件でランク付けできるようにした。
Eigen Labs創設者Sreeram Kannan (@sreeramkannan)は6月2日に、初期の社内取り組みがGoogleの検証器から適応したソフトウェアベンチマークを使用していたと書いた。このベンチマークはエージェントに狭い目的、即時のフィードバック、検証に失敗した変更を破棄する方法を与えた。
その構造により、独立して測定できる結果が得られた。IEEE Spectrumは報じたところによると、公開の取り組みは8時間以内にGoogleが保持していた回路の結果と一致し、約72時間でそれを上回った。6月末までに提出された最良の回路は、チャレンジのqubit-Toffoli積メトリックの下でGoogleの結果より47.5%効率的だった。
この実験は、3月30日のGoogleの論文に続くもので、Shorのアルゴリズムが多くのデジタル資産システムで使われている楕円曲線暗号を、従来の想定より少ない量子資源で破る可能性があると推定していた。Googleは基となる構成の公開を控え、その回路の零知識証明を公開したと述べている。現時点でその攻撃を実行できる量子コンピュータは存在しない。
MLX.fastは、同じ協調メカニズムをより即時性の高いエンジニアリング市場に持ち込む。推論速度は、オープンモデルが開発者が既に所有しているハードウェア上で実用的かどうかを左右する。レイテンシ、エージェントの実行時間、ソフトウェア開発タスクでモデルを繰り返し呼び出すコストに影響する。
Poolsideが最適化ループを開く
PoolsideはLaguna XS 2.1を、1トークンあたり3億パラメータを活性化する330億パラメータのMixture-of-Expertsモデルとして説明している。このモデルはコーディングや長時間動作するエージェントタスク向けに設計されており、Poolsideによれば36 GBのメモリを備えたMacで動作できるという。重みはPoolsideのOpenMDW-1.1ライセンスの下で利用可能だ。
このチャレンジは、Apple Silicon上でLaguna XS 2.1を実行するために使われるMLX実装を対象としている。Eigen Labsは、社内エージェントが7月28日の公開の24時間前までにすでに36.8%の速度改善を生み出していたと述べた。Naikが4日後に示したリーダーボードでは、改善は138.7%に達しており、チャレンジのベンチマーク下で元のスループットの約2.39倍に相当する。
その数値は特定の推論実装とワークロードを測定したものであり、Lagunaのモデル重み自体の能力が向上したことや、すべてのMac展開が同じ利得を得ることを意味するものではない。この結果は、共有かつ機械検証可能なターゲットが、散発的な最適化作業をどれだけ速く累積的な進歩に変えられるかを示している。
Poolsideの共同創業者Eiso KantとJason Warnerは、すでに自動化された実験の周りに社内システムを構築している。Laguna S 2.1のリリースでは、モデルが同社のエージェントハーネスを最適化する自動ループを説明しており、そこでは経過時間を5.2%短縮し、メモリアロケーションを約70%削減したと述べている。MLX.fastは、同様のループを外部のエンジニアとそのエージェントに開放する。
Eigen Labsは現在、自身の取り組みを人間とAIエージェントのための協調技術の構築と説明している。MLX.fastはその戦略の商業的な試験を提供する：オープンなネットワークが、モデル開発者やハードウェアベンダー単独よりも速くオープンモデルのサービススタックを改善できるかどうか、である。
初期のリーダーボードは、参加者が制約されたベンチマーク上でかなりの利得を見つけられることを示している。より厳しい試験は、最初の明白な最適化の波の後にやってくる。改善は小さくなり、カーネル、メモリ使用、モデル実行に対するより深い変更を必要とするようになる。プラットフォームの価値は、それら容易な利得が尽きた後も複利的に改善を続けられるかどうかに依存するだろう。