Supabaseがバックエンドを構築するAIコーディングエージェント向けのオープンベンチマークを公開

Why it matters

AI agents now influence which databases and backend tools developers adopt. Supabase Evals gives the platform a way to find and fix agent failures before they become lost projects.

SupabaseはPaul Copplestone (@kiwicopple)とAnt Wilson (@AntWilson)によって創業され、7月31日に、AIコーディングエージェントが同社のPostgresプラットフォーム上でどれだけアプリケーションを構築および修復できるかを測定するオープンソースのベンチマークを公開しました。

このリリースは、すでにSupabaseの事業を変えつつあるシフトを公式化するものです。Copplestoneは以前のプロダクト開発でFirebaseやFirestoreの制約に直面したことからSupabaseを始め、WilsonとともにPostgresベースの代替を追求しました。6年後、AIエージェントはそのインフラ需要の重要な源になっています。Supabaseは6月に、AIツールが同社の新しいデータベースの60%以上を起動していると述べていました。

Supabase EvalsはSupabaseのエンジニアMatt Rossman (@the_ross_man)によって開発され、Claude Code、Codex、OpenCodeなどのエージェントを、サポートチケット、バグレポート、GitHubのissueから抽出したタスクに対して実行します。例としては、データベーススキーマの構築、失敗したEdge Functionのデバッグ、壊れた行レベルセキュリティポリシーの修復などがあります。

各シナリオは静的なコーディング問題のセットではなく実際のSupabase環境で動作すると、Supabaseの発表記事は述べています。エージェントはSupabaseのModel Context Protocolサーバーまたはコマンドラインインターフェースを使用し、その作業は決定論的チェックと、意味的評価を要するタスクにはLLM判定によって採点されます。

Turning agent failures into product work

このベンチマークはSupabase内部で二つの目的を果たします。公開スイートはプロダクト領域やアプリ開発の段階ごとにエージェントを比較します。別の回帰スイートは特定の失敗モードを日次で追跡し、ドキュメント、エージェント指示、製品の変更が繰り返されるミスを是正するかどうかをSupabaseのエンジニアが検証できるようにします。

Apache-2.0 ライセンスのリポジトリにはプロンプト、スコアラー、開始プロジェクトの状態、実験構成が含まれています。開発者は個々のシナリオを実行することも、複数のエージェントにわたるベンチマークスイートを実行することもできます。ローカルスタックテストではエージェントを実際のSupabase CLIが動作するDockerサンドボックス内に置き、ツールベースのテストではSupabaseのMCPインターフェースを通じてプラットフォームを公開します。

Supabaseはまた、採点の前に最初の失敗後に各エージェントにリトライを与えます。この選択は一度の悪い試みによる失敗を減らしますが、スコアは初回の正確性だけでなくエージェントの回復力も測ることになります。LLMベースの採点を含めることで、結果を比較する際にユーザーが考慮すべきもう一つの判断層が加わります。

初期の実行では、従来のコードベンチマークでは見逃されがちな問題が露呈しました。Supabaseは、既存プロジェクトが宣言型スキーマを使用しているのにエージェントが手作業でマイグレーションを書いてしまったり、より新しいSupabaseライブラリの代わりに古い認証パターンを選んで安全なEdge Functionを構築しなかったりすることを発見しました。Supabaseはエージェント向けのガイダンスを改訂し、より明確なドキュメントを公開して対応しました。

Supabaseはまた、エージェントスキルへのアクセスが均等な利得を生まないことを見つけました。ローンチ時に公開されたビルド段階のスナップショットでは、Claude Opus 5とKimi K3はSupabaseスキルをロードしていない状態でもすべてのシナリオを通過しました。Claude Sonnet 5はスキルを受け取ることで78%から100%に上昇し、GPT-5.4 miniは78%から89%に上がりました。

ドキュメントの参照挙動は大きく異なりました。SupabaseはCodexベースのエージェントがClaude Codeエージェントより頻繁にドキュメントを参照していると報告しました。GPT-5.6を動かすCodexはシナリオごとに約8ページを読んだのに対し、Claude Codeはおよそ2ページで、スキルが利用可能な場合でもClaude Codeがドキュメントにアクセスしたのは40%未満のシナリオでした。Supabaseは、エージェントの実行時間やモデルが急速に変化するため、これらの結果をスナップショットとして説明しています。

Supabase is measuring its new distribution channel

このベンチマーク公開は、Supabaseが$5億のシリーズFを10億ドルのプレマネー評価で調達した発表から2か月未満で行われました。GICが6月4日のラウンドをリードし、既存投資家が参加、Stripeが二度目の出資を行い、GeorgianとSalesforce Venturesが新たな支援者として加わりました。

Supabaseは、データベースの起動が前年度比で600%増加し、シリーズF発表時点で同社の製品を利用する開発者はほぼ1,000万人に達すると述べました。これらの数字は自己申告によるものです。Y CombinatorはSupabaseを2020年夏のバッチで支援しており、従業員数を120人と記載し、Supabaseを孤立したPostgresクラスタ、認証、行レベルセキュリティ、API、リアルタイムデータを中心に構築された完全リモートの開発者プラットフォームと説明しています。

EvalsはSupabaseに直接制御していない配布チャネルのためのフィードバックシステムを提供します。エージェントが古いライブラリを選んだり、セキュリティ機能を見落としたり、ドキュメントを読まなかったりすると、基盤となるサービスが設計どおりに動作していても開発者がSupabaseを採用しない原因になり得ます。ベンチマークを公開することで、Supabaseはそうした失敗を特定し、エージェントが消費するインターフェースを改訂し、修正が後のモデル更新に耐えるかどうかを確認できます。

スコアはSupabaseが設計したタスクと環境に特有のものとして残ります。これらはソフトウェア開発全体でどのコーディングエージェントが最も優れているかを確立するものではなく、Supabaseにはテスト対象となった各エージェントが同社の製品をどのように利用するかを改善するインセンティブがあります。しかしSupabase上で構築する開発者にとって、これらのシナリオはエージェントがデータベースのセキュリティ、デプロイ、デバッグ作業といった、アプリケーションコード生成を超えた作業を扱えるかどうかの具体的な記録を提供します。