ArenaがAutoEvalを発表、1時間以内に新しいAIモデルを評価してランク付け
報酬モデルシステムは数百万件のユーザーの嗜好を用い、後のArenaのライブランキングとの相関係数で0.98を上回るスコアを記録した。
By Ryan Merket · Published

報酬モデルシステムは数百万件のユーザーの嗜好を用い、後のArenaのライブランキングとの相関係数で0.98を上回るスコアを記録した。
報酬モデルシステムは数百万件のユーザーの嗜好を用い、後のArenaのライブランキングとの相関係数で0.98を上回るスコアを記録した。
By Ryan Merket · Published

報酬モデルシステムは数百万件のユーザーの嗜好を用い、後のArenaのライブランキングとの相関係数で0.98を上回るスコアを記録した。