ImbueがCatalystをオープンソース化し、AI研究エージェントが競合する仮説を探求し続けられるように

Why it matters

Catalyst turns verification and competing hypotheses into first-class parts of an AI research workflow. If the approach generalizes beyond nanochat, small research groups could run broader computational searches without surrendering control to a closed agent platform, though token and experiment costs remain a practical constraint.

Imbueは7月20日にCatalystをオープンソース化し、エージェントが実験を実行し、結果を評価し、より良い解を探索する間に競合する仮説を保持するオープンソースのシステムを研究者に提供した。Imbueは7月のリリースに言及する形で、8月7日のスレッドでこの取り組みを再掲した（新バージョンの発表ではなかった）。

Imbue on X

Catalystは、Josh AlbrechtとKanjun Qiuにとって中心的な問題に対処する：AIエージェントは有用な成果を出す一方で、ユーザーがその推論連鎖を検査したり、方向転換させたり、信頼したりすることが困難になり得るという問題である。QiuはMITでコンピュータサイエンスを学び、MIT Media Labで働き、Dropboxのchief of staffを務めた後、Y Combinatorが支援する採用支援ソフトウェアメーカーSourceressを創業した。AlbrechtはAddeparの初期エンジニアで、買収された3D射出成形ソフトウェア事業を創業し、QiuとともにSourceressを構築した。彼らは2021年に、AIツールはオープンで、変更可能で、ユーザーの管理下にあるべきだという考えのもとにImbueを設立した。

その出自はCatalystにとって重要だ。システムは研究者に単一のエージェントの推論連鎖を信頼するよう求めない。複数の解釈の集団を維持し、候補実験を実行し、代替説明へと分岐し、良好なスコアを得たアプローチにより多くの資源を割り当てる。コードはAGPL-3.0 ライセンスの下で公開されており、研究者はエージェントをオーケストレーションする仕組みを検査・改変できる。

エージェントのトンネルビジョンからの脱出としての進化

the launch researchで、Daniel Mewes (@danielmewes)は線形の研究エージェントに見られる再発的な失敗モードを記述した。一度エージェントが主要なアイデアを出し尽くしたと判断すると、行き止まりに導いた前提を再検討するのではなく、小さな変化を繰り返しテストしてしまうことがある。Imbueはその結果生じる振る舞いを「仮説の崩壊」と呼んでいる。

Catalystは「interpretation strands（解釈ストランド）」を通じてその崩壊を防ごうとする。各ストランドには、エージェントが証拠に対して抱く作業上の説明と、有望と見なす実験のロードマップが含まれる。Catalystはそれらのストランドの中からサンプリングし、エージェントに実験を提案させ、研究を前進させる可能性が最も高いと判断した提案を実行する。

定期的に、Catalystは観察を統合して理論を更新する。いくつかの理論は意図的に異なる解釈へと分岐する。候補ストランドは、そのストランドが生み出した解の性能と提案された研究経路の新規性に基づいてスコアを付けられる。別個のレビュ―エージェントは、報酬のハッキング、仕様違反、提案された結果が検証者の検査に失敗する証拠を探す。

このアプローチは構成要素として馴染みのある言語モデルエージェントを用いる。Catalystの貢献はそれらを取り巻く探索と評価のプロセスにある。リポジトリはClaude Code、Gemini CLI、Antigravity CLI、Codex CLIをサポートしており、ユーザーは自らモデルアクセスを提供し、プロバイダーに直接支払う形になる。

nanochatの結果には狭い分母が伴う

ImbueはCatalystをnanochatで実演した。nanochatはAndrej KarpathyのAutoResearchで用いられる小規模なトランスフォーマー訓練プロジェクトだ。KarpathyはAutoResearchを、訓練設定を繰り返し変更し、測定結果が改善する変更を保持するコーディングエージェントを中心に設計した。

テストでは各実験に1台のH100 GPUで5分を与えた。エージェントはnanochatのアーキテクチャ、トレーニングレシピ、ハイパーパラメータを変更でき、検証器はbits per byteで検証性能を測定した。Imbueによれば、Catalystの進化ワークフローは340回の実験後にval_bpbスコア0.9361に到達し、実行が停止した時点でもまだ頭打ちにはなっていなかった。

Imbueはその改善を通常のAutoResearchエージェントより3倍進んだと表現している。この数字は異なるモデルや研究課題にわたるベンチマークではなく、1つのnanochat最適化セットアップからのものである。ImbueはまたRecursive Superintelligenceの作業と比較したが、その比較は壁時計時間からRecursiveの実験回数を推定する必要があった。Recursiveは実行中にH100からB200に切り替え、ImbueはH100の部分のみを使用した。Imbue自身も、Recursiveが同等のスコアにより効率的に到達していた可能性を認めている。

これらの注意点は主張を有用で弁護可能な範囲に狭める：進化的探索は、テストされた線形エージェントが停滞した後でも改善を見つけ続けた。結果はCatalystが科学分野全般で他の研究システムを上回ることを立証するものではない。

オープンなコードは相当な計算費用を残す

Catalystは、答えがコードで検証できる問いに最も適している。リポジトリは狭い最適化ターゲット、再現可能な計算現象、明示的な検証スクリプトを推奨している。Imbueは現行の実装は物理実験、過度に未定義の目標、一般的なエンジニアリングプロジェクト、基盤モデルの能力を超える問題には不向きだと述べている。

Catalyst repositoryは単一実験のデフォルト制限を30分に設定しているが、ユーザーは変更でき、進化ワークフローは頻繁に100以上のサブエージェントを呼び出すと述べている。コスト表は、Develop Theoryの進化実行がGemini 3.5 Flashで約$200、Claude Opus 4.8で約$1,000のコストになると見積もっている。Solve Verifiable Goalの進化実行はClaude Opus 4.8で約$500になると見積もっている。Imbueはまた、レビュ―とスコアリングが典型的なDevelop Theoryワークフローでトークンの約65%を消費すると述べている。これらのAPI見積もりは実験を実行するための計算に使われるコストは含んでいない。

その配分はQiuとAlbrechtがどこに賭けているかを示している。より良い研究エージェントは、単一の洗練された解答を生成する代わりに、アイデアに挑戦し、順位付けし、改訂することに予算の多くを費やす必要があるだろう。検証はエージェントが終了した後に行う最終チェックではなく、コアワークフローの一部になる。

Catalystのより野心的な理論ワークフローも同じ原則に従う。companion experimentでは、Imbueは候補説明の集団、敵対的レビュアー、反証試行を用いてニューラルネットワーク訓練現象を研究した。Imbueは幻覚、データの改ざん、引用の欠落、報酬ハッキングが未解決のままであると警告している。人間の研究者は依然として作業を監視し、その結論を検証する必要がある。

CatalystはImbueの2026年のリセットに続く

CatalystはImbue内部の組織的な変化も反映している。1月30日のリセットに関する記述で、Albrechtは自らとQiuがSculptorという並列コーディング作業スペースを出荷するための激しいスプリントをImbueに押し付けた後、失望感を抱くようになったと書いている。彼はImbueをより小規模なオープンなプロジェクトに移行させ、個々のプロジェクトオーナーに彼らが出荷するものについて広範なコントロールを与えたいと述べた。

Catalystはその計画を具現化する。検査可能な研究プロジェクトであり、名指しの貢献者、再現可能な実験、外部研究者がテンプレートに貢献する招待がある。Catalyst repositoryはDaniel Mewes、Catherine Kim、Evan Ryan Gunterを貢献者として名を挙げている。

Imbueは、すべてのリリースを即座に有料製品に変えることなくそのモデルを追求するための資金を持っている。2023年にImbueは2億ドルのシリーズBを発表し、評価額は10億ドルを超え、Astera Institute、Nvidia、Cruise共同創設者Kyle Vogt、Notion共同創設者Simon Lastらの参加があった。Imbueはその後AmazonのAlexa FundとEric Schmidtからさらに1200万ドルを追加で得た。

Catalystはその資本基盤に比べると技術的には狭いリリースだ。その重要性はQiuとAlbrechtが試している運営モデルにある：人間が目標を指定し、探索過程を検査し、エージェントの結論に挑戦できるオープンな研究ソフトウェアだ。nanochatの結果はその仮説にとって初期のデータポイントを与える。より広範な研究利用が、競合する仮説がエージェントによりコントロールされた最適化タスクの外でも精査に耐える発見をもたらすかどうかを決定するだろう。