DesignArenaの開発元であるIntelligenceが、人間によるランク付けのAI評価のために790万ドルを調達

Why it matters

Intelligence is turning free access to competing AI models into paid preference data, betting that human judgment will become core infrastructure for evaluating creative systems.

Grace Li (@grx_xce)、Intelligenceの共同創業者でありCEOは、X上のスレッドで8月3日に、DesignArenaの開発元がIndex Ventures主導の$7.9 millionのシードラウンドを調達したと述べた。

https://x.com/grx_xce/status/2084361692792934488

サンフランシスコのスタートアップは、AIラボにとって厄介な問題をビジネス化しようとしている：ソフトウェアは生成されたコードが動くかどうかをテストできる一方で、ウェブサイトが見栄えが良いか、ゲームが面白いかを判断するには依然として人間が必要だ。Intelligenceは、ユーザーが競合するAIモデルの匿名の出力を比較する無料プロダクトであるDesignArenaを通じてそれらの判断を収集する。

LiはTechCrunchのラウンドに関する報道によれば、2025年にHarvardを卒業する直前にこのアイデアにたどり着いた。Liと友人たちは、動作するがプレイして楽しくないゲームを生成するモデルを持つAIゲームエンジンを作っており、その経験が彼らを大規模な主観的な人間の好みの測定へと向かわせた。

LiはHarvardでコンピュータサイエンスと神経科学を学び、以前はAppleで働いていた。彼女の共同創業者であるKamryn OhlyはHarvardでコンピュータサイエンスと教育を学び、同じくAppleで働いた経験があると、Y CombinatorのSummer 2025スタートアップのプロフィールは伝えている。Liによれば、IntelligenceはYCに掲載されていた3人の創業チームから10人に成長した。

消費者のプロンプトを評価データに変換する

DesignArenaでは、ユーザーがウェブサイト、モバイルアプリ、ゲーム、スライド、画像、動画、ロゴ、音声その他のクリエイティブ作品をリクエストできる。複数のモデルを用いて出力を生成し、ユーザーにそれらを並べて比較してランク付けするよう求める。その投票は公開リーダーボードを埋め、Intelligenceにフォーマットや地域、期間を跨いでどの出力が好まれているかという嗜好データを与え、これを非公開の評価を通じてAIラボに販売できる。

消費者向けプロダクトは同時にデータ収集のレイヤーとしても機能する。ユーザーは支払いなしに様々なモデルにアクセスでき、その選択によって人々がどの出力を好むかが明らかになる。Intelligenceのサイトには、ウェブ開発、モバイル開発、ゲーム、画像、動画、音声、スライドのそれぞれのリーダーボードが別々に掲載されている。

LiはIntelligenceが年間の定期収益で$60 millionに達したと述べ、6か月前の$5 millionから増加したとした。この12倍の増加は自社申告の数値である。TechCrunchは現在の収益数値をLiの発言に起因するとし、Intelligenceがデザインに焦点を当てた人間のフィードバックの必要性を示した後、フロンティアAIラボと初期契約を締結したと報じた。

ユーザー数はIntelligenceの公開資料によって異なる。Liの発表は190か国以上で550万ユーザーとし、TechCrunchは530万と報じ、Intelligenceの採用ページは560万超と記載している。YCの当初のローンチ資料は、DesignArenaが最初の4週間で136か国で47,000人超のユーザーに達したと述べている。これらの数値は急速な消費者への普及を示しているが、独立して監査された利用データではなく企業提供の数値である。

Index Ventures (@IndexVentures)がシード資金調達を主導した。Conviction（Sarah GuoとMike Vernalを含む）、A*、Valkyrie、Y Combinatorも参加したとLiとTechCrunchは伝えている。

過密な評価市場

投資家はすでにモデル評価カテゴリに対してより大きな賭けを行っている。LMArenaは2026年1月に$150 millionを調達し、ポストマネー評価で$1.7 billionと評価された。LMArenaもまた並列のユーザー投票をモデルのランキングに変換しており、対象はテキスト、画像生成、ウェブ開発その他のタスクに及ぶ。

Intelligenceはクリエイティブな出力とテイストに焦点を絞っている。そのフォーカスはDesignArenaに独自のデータセットを与えるが、AIラボが内部評価システムを構築したり、同じモデルをより大きな汎用のアリーナに送ったりする場合には脆弱性を抱えることになる。

クラウドソースの評価は目に見える失敗も生んでいる。Yuppは$33 millionを調達し130万ユーザーに達したと述べた後にサービスを終了したとTechCrunchは報じた。その閉鎖は、多数の投票する観客がいること自体が耐久的な評価ビジネスを生み出すわけではないことを示した。

Intelligenceが報告した$60 millionのARRは、その数字が維持されれば別の財務軌道に乗せる可能性がある。今回のシードラウンドによりLiとOhlyはエンジニアや研究者を増やす資金を得て、単一のリーダーボードからより広い評価ラボへと拡大することができる。IntelligenceはすでにDesignArenaと並んで、イベント予測、社会的影響の測定、会話の評価といった実験も一覧に挙げている。

根底にある賭けは、モデルのインテリジェンスを測る信頼できる方法よりもモデルのインテリジェンス自体がより速く豊富になっている、ということだ。ラボがコーディングや推論のベンチマークで収束するにつれて、製品の品質は美学、使いやすさ、創造的価値といった主観的な問いにますます依存するようになる。Intelligenceは、そのラボが答えとして使ってほしいと望む投票システムを構築している。