ArenaがAutoEvalを発表、1時間以内に新しいAIモデルを評価してランク付け

Why it matters

AutoEval lets Arena convert years of human votes into immediate model rankings, helping labs compare checkpoints while preserving live evaluation as the final validation layer.

Arenaの共同創業者であるAnastasios Angelopoulos (@ml_angelopoulos)、Wei-Lin Chiang (@infwinston) と Ion Stoica は7月30日にAutoEvalを発表し、十分な投票が集まって安定したライブランキングが生成される前に、新しいAIモデルに予備的なArena Scoreを付与するようにした。

X上の6投稿のスレッドと技術ブログ記事で概説されているように、AutoEvalはArenaを通じて収集された数百万のペアワイズな嗜好でリワードモデルを訓練する。Arenaによれば、このシステムは人間の投票を集めるのに数日かかるのに対し、1時間未満でモデルをランク付けできるという。初期のスコアには「AutoEval」ラベルが付され、十分なライブ投票の後に更新される。

AngelopoulosとChiangはUC BerkeleyのSky Computing Labで働いている間に元のChatbot Arenaを構築した。両者はバークレーでコンピュータサイエンスの博士号を取得し、プロジェクトが事業化する過程でポスドク研究者であり同居人でもあった、とBerkeley Newsのプロフィールは伝えている。評価システムは2023年に登場した。これはVicunaオープンモデルに取り組んでいた研究者たちが、チャットボットアプリケーションをより大規模な研究所のモデルと比較する信頼できる方法を必要としたためである。

AutoEvalは投票が到着する前に投票結果を推定する

AutoEvalはArenaのライブ評価からサンプリングされたプロンプトと応答から始まる。Arenaはテスト中のモデルから応答を生成し、各プロンプト-応答ペアにポイントワイズのリワードモデルを用いてスコアを付ける。それらスコア間の差は確率重み付けされた代理投票に変換され、既存の人間の投票と組み合わせて、リーダーボードの標準的なランク付け方法を用いてArena Scoreを算出する。

このシステムは、変化するユーザーの嗜好、同点、フロンティアモデル間で差が縮まること、そして最終的な投票がやり取りのずっと前に行われた判断を反映する可能性があるマルチターン会話といった点を考慮するように学習されている。コーディングの評価は別の複雑さを生む。正しさ、技術的品質、そして結果としてのインターフェースがすべてユーザーの選択に影響を与え得るためである。

Arenaは、トレーニングデータに既に含まれているモデルを採点してしまうリスクを減らすよう設計された時間的ホールドアウトを用いてこのアプローチをテストした。Arenaはリワードモデルを2026年4月末までに収集された投票で訓練し、そのカットオフ後にリリースされたモデルを評価した。Arenaによれば、得られたAutoEvalランキングはモデルの最終的なライブランキングと0.98以上の相関があったという。

40を超えるテストモデル全体で、Arenaによれば、最終的なライブスコアが少なくとも10ポイント離れている比較において、AutoEvalは90%以上の割合でより強いモデルを選択したという。ギャップが15ポイントを超える場合、その精度は100%に達したと報告されている。Arenaのテストはまた、早期スコアの有用性が低下する範囲も定義している。ライブ評価において5ポイント以内のモデルは信頼区間が重なり、統計的に区別できなかった。

またArenaは、自社のテキストリワードモデルが、テストしたGemini 3 Flash、Gemini 3 Pro、GPT-5のジャッジよりもユーザー嗜好を8%〜10%高い精度で予測したと述べている。これらの数値はArena自身の評価手法によるものだ。AutoEvalは現在、テキスト、視覚、画像生成、コーディングをカバーしている。Arenaはテキストから画像へのリワードモデルを300万を超える嗜好ペアで訓練し、そのモデルはMetaのMMRB2ベンチマークで他のポイントワイズリワードモデルをリードしたと述べている。

Arenaは投票履歴をより速いプロダクトに変える

このリリースは、フロンティアモデルの公開ペースによって生じるタイミングの問題に対処する。公開リーダーボードは十分な投票が集まって初めて有益になる一方で、モデル開発者はチェックポイントを選びリリースを準備する際に比較データを必要とする。AutoEvalはArenaが蓄積した投票履歴を用いて最終的な順序を推定し、その後ライブユーザーにランキングを検証させることを可能にする。

そのアプローチはArenaのコミュニティデータを商業的により有用にする。6月、AngelopoulosはArenaが到達したと述べたとして、エンタープライズ提供を導入してから8か月以内に年換算1億ドルの収益ランレートに達したと語った。彼は月間訪問者数1000万人超、7億件の会話、8200万の人間による投票を持つプラットフォームだと説明した。これらの数値は自己申告であり、ランレートは従来の契約型年間定期収益ではなく消費ベースの収益を反映している。

Arenaは2回の発表済みラウンドで合計2.5億ドルを調達した。1月の$150 million Series AはFelicisとUC Investmentsが主導し、Andreessen Horowitz、The House Fund、LDVP、Kleiner Perkins、Lightspeed Venture Partners、Laude Venturesが参加した。Reutersが報じたところによれば、この資金調達はArenaの評価額を17億ドルとした。

AutoEvalはArenaの中心的資産である実際のユーザーの選択履歴を、人的評価が最も遅く商業的に回答が最も求められる期間に適用する。その有用性は、モデルの振る舞いが変化する中でリワードモデルがユーザー嗜好の追跡を続けられるかどうかに依存する。Arenaの時間的テストと目に見えるAutoEvalラベルは、ユーザーが早期推定をその後に続くライブ結果と比較する手段を提供する。