Jeff Dean と 3人の Google 研究者が自動化された研究のための Discovery Loop を立ち上げる

Why it matters

Discovery Loop concentrates decades of Google systems and AI experience around self-improving research software, while Google's investment lets it retain exposure to work leaving its own labs.

Jeff Dean (@JeffDean), Sanjay Ghemawat, Oriol Vinyals, and Quoc Le は Google を離れ、提案、実行、評価という反復的な実験サイクルを自動化するために構築された AI 研究組織 Discovery Loop を立ち上げたと Wired が8月5日付で報じた。

この退社により、Google の技術的基盤と異常に深い結びつきを持つ4人の研究者が新しい公益会社に移ることになる。Dean と Ghemawat はそれぞれ Google にほぼ27年間在籍し、MapReduce、Bigtable、そしてコアな検索インフラなどで共同作業を行ってきた。Dean はまた Google Brain を共同設立し、TensorFlow と Pathways の設計に携わり、Google のチーフサイエンティストとして Gemini に関する指導的役割を果たした。Vinyals は Google DeepMind で深層学習の研究を率い、Gemini と AlphaStar に携わった。Le は Google Brain の創設メンバーであり、ニューラルアーキテクチャ探索や、基本的な数学演算から機械学習アルゴリズムを進化させる試みである AutoML-Zero に取り組んだ。

創業者の [Wired] への説明によれば、Discovery Loop は数週間のうちにまとまったという。4人は長年の同僚であり友人で、共に休暇を過ごすほどの仲であり、当初の責任分担は非公式に見える。誰が Discovery Loop を運営するか尋ねられたとき、Dean は [Wired] に対して「I think I'm the CEO.」と答えた。

その緩さは Discovery Loop がまだ初期段階であることを反映している。Wired のプレローンチ取材時点で、創業者たちは従業員を雇っておらず、オフィスを賃借していなかった。Discovery Loop のウェブサイトは現在、スリムで対面中心のチームを構築する意向を示している。

Discovery Loop will experiment on itself first

Discovery Loop の出発点は物理的な実験室ではなく、機械学習研究だ。創業者たちは、可能な実験を生成し、それらを検証するためのコードを実装し、結果を評価し、その結果を用いて次の実験を選ぶシステムを構築する計画だ。Discovery Loop は、最終的にはこれらのループを並列で何千件も実行できるインフラになる可能性があると述べている。

最初の顧客は Discovery Loop 自身になる。創業者らは自動化されたループを自分たちのモデルや研究ツールの改善に向け、その結果生じたソフトウェアをチップ設計、生物学、創薬、材料科学などの分野に展開するつもりだ。

この順序は、創業者にとって前提を試すための統制された場所を提供する。機械学習の実験は測定可能な成果を生み出し、多くの場合ソフトウェアだけで完結するため、ウェットラボのような設備、材料、安全管理、長期的なタイムラインを回避できる。内部で成功すれば、次の研究ラウンドを実行するシステム自体を改善し得るため、Discovery Loop の名が示すような複利効果を生む可能性がある。

Le はこのプロセスが transformer アーキテクチャの代替を発見する可能性があることを示唆している。Vinyals はアイデア生成を中心的な技術課題と位置づけ、現行モデルは有用な新方向を提案することに依然として弱いと [Wired] に語った。Discovery Loop は当面、アイデアを人間と AI システムが共同で生み出すことを想定しており、より深い自動化を長期目標としている。

創業者たちの Google での仕事は、自動化された実験が一貫して独創的な科学的発見を生むことを実証しているわけではない。

Google keeps an economic and computing tie

Google は Discovery Loop に対して株式持分を取得し、最初の1年分の計算リソースを提供し、クラウドパートナーとして関係を維持する。

この取り決めは、仕事に戻るための道を保存するものだ。Google は AI 研究者の獲得競争が激しい中で4人のシニアビルダーを失うが、株式のエクスポージャー、クラウドからの収益可能性、そして Discovery Loop との技術的関係は維持する。創業者側は、独自インフラを構築する前に多数の実験を実行するために必要な計算能力へアクセスできるという利点を得る。

Khosla Ventures と Radical Ventures も他の投資家とともに出資している。Radical Ventures のマネージングパートナー Jordan Jacobs が Discovery Loop の取締役会に加わる見込みだ。

これらの投資は、Google のコアシステムや AI プロジェクトのいくつかに関わってきたメンバーから成るチームを支援するものだ。Dean と Ghemawat は Google がグローバル規模で情報を処理・保存できるようにするシステムの構築に寄与した。Vinyals と Le は、系列を学習するモデル、複雑なゲームをプレイするモデル、より優れた機械学習手法を探索するモデルの発展にキャリアを費やしてきた。Discovery Loop はこれらの専門性を一つの仮説のもとに結びつける：科学的作業は再現可能な計算システムとして表現でき、それに応じて加速できるという考えだ。

Automated research already has competitors

Discovery Loop は、稼働するプロトタイプや潤沢な資金を持つチームが存在する分野に参入する。Sakana AI's AI Scientist は研究アイデアを生成し、コードを書き、実験を実行し、結果を分析し、論文の草稿を作成する。

Autoscience も同様に自動化された機械学習研究ツールを構築している。他のグループには FutureHouse、Lila Sciences、Periodic Labs などがあり、AI 支援の科学的発見や自律的実験を追求している。中には生物学や物理的な実験室により重点を置くところもある。

Discovery Loop が当面機械学習システムの改善に焦点を当てることは、その第一歩をロボット実験室を組み立てる企業群と差別化する。創業者たちは、実験の反復が安価で、成果にスコアが付けられ、基盤となるツールが自己改善に役立てられる領域から研究自動化を始めるべきだと賭けている。

最も困難な技術的試練は、どの実験を実行に値するかを決めることだ。コードを生成し、計算資源を投入すれば試行回数は増やせる。科学的進展は依然として有用な仮説、妥当な評価方法、もっともらしく見えて誤っている結論に対する耐性に依存する。Vinyals がアイデア生成を重視したことは、その問題を Discovery Loop の掲げる研究課題の内部に置いており、すでに解決済みと見なしていないことを示している。

Dean は7月25日に Y Combinator's Startup School でこの仮説を約6,000人の聴衆に公に紹介した。Discovery Loop はすでに組織されていたが、ステージ上で名前を明かすことはなかった。

この動きは、上級の AI 研究者が研究の議題と資本配分を自ら管理できる小規模な機関へ移るというより広い流れに続くものだ。RuntimeWire は8月5日付でも、Yann LeCun joined the newly launched 224 Ventures と報じており、支配的なテクノロジー企業の枠組みを離れる確立された研究者の別の例を示している。

Dean の賭けは適切な連続性を伴っている。彼は何十年にもわたり難しい計算課題を再利用可能なインフラに変え、何千人ものエンジニアがスケールで運用できるようにしてきた。Discovery Loop は同じシステム志向を研究の実践自体に適用する。創業者たちは今、その科学的判断が周囲の機械装置とともにスケールすることを示さねばならない。