Metricがアルメニア語音声ベンチマークを公開；クローズドシステムが上位8位を独占

Why it matters

ArmBench-ASR gives Armenian developers a shared test across real speech domains, while showing that closed-model leads shrink or disappear on specific audio types.

Hrant Davtyan, founder and CEO of Metric, released ArmBench-ASR on August 20, giving Armenian speech recognition a common test across read speech, poetry, movie dialogue and narrated news.

初版 v0.1 のベンチマークは、合計約20.7時間に相当する10,113の音声クリップを用いて、ほぼ30のオープンウェイトおよびクローズドシステムを評価している。Alexander Shahramanyan と Mariam Avetisyan は、Davtyan とともにこのリリースでクレジットされた Metric の研究者の一人だ。

Google's Gemini 2.5 Pro placed first with a strict combined word error rate, or WER, of 14.31%. HiSpeech's Armenian conversational model followed at 16.81%, and Gemini 2.5 Flash placed third at 17.55%. Lower scores are better. The eight best combined WER results came from closed systems, while NVIDIA's Armenian FastConformer was the highest-ranked open model in ninth place at 20.21%.

Metric のベンチマークの前提は単純だ：単一のクリーンな朗読スコアだけでは、アルメニア語の ASR システムが詩や制作されたメディア、ナレーション付きニュースをどのように扱うかを示せない。公開評価はしばしば単一の話法にとどまり、テキスト処理が一貫しなかったり標準化された手順が欠けていたりする。ArmBench-ASR は同じ評価フレームワークを5つのドメインに渡って適用する。

Davtyan はキャリアの多くを応用データサイエンス、教育、企業づくりの間を行き来して過ごしてきた。American University of Armenia は彼を助教かつ Metric 研究センターの共同設立者として紹介している。彼の personal site には、以前にマーケティング費用をかけずに AI ソフトウェアの事業を従業員1人から21人へ、プロジェクトを1件から30件へと2年で拡大したとある。

Metric のアルメニア語関連の仕事は自己資金による研究トラックに位置づけられている。research page では、即時のビジネス上の理由がなくともアルメニア語の AI インフラは重要であるため、研究者が自分たちの時間と予算を投じていると述べている。ArmBench-ASR はそのコミットメントを、他のモデル開発者が測れる形に変えている。

五つのデータセットが五つの異なる問題を露呈させる

ArmBench-ASR は評価されるすべてのシステムに対して同じ固定素材と処理ルールを用いる。その二つの公開コンポーネントは、クラウドソースの朗読セットである Common Voice 26 と、Google の FLEURS のアルメニア語テスト分割だ。Metric は FLEURS の書き起こしを手作業でレビューした後、小さな 訂正セット を公開した。

Metric は三つのプライベートコレクションを追加した。Poems はバックグラウンドミュージックを伴う表現豊かな文学朗読を含む。Movies は会話形式の台詞と制作されたメディアのノイズを含む。Infocom は一人の話者が朗読するアルメニア語のニュース原稿で構成される。Metric はこれら三つすべての参照トランスクリプトを手作業でレビューし訂正したと述べている。

interactive leaderboard はデータセットごとに結果を分解し、厳密および正規化された単語誤り率と文字誤り率を比較できるようにしている。厳密なスコアリングは句読点や大文字小文字への感度を保持する。正規化スコアリングはテキストを小文字化し、参照とモデル出力の両方に対して一貫した Unicode、スペーシング、文字処理ルールを適用した後で句読点を除去する。

その違いは数値に大きく影響する。Gemini 2.5 Pro の正規化された結合 WER は6.42%で、厳密スコアの半分以下だった。この差は、句読点・大文字・スペーシング・正書法の選択が測定誤差のかなりの部分を占めていることを示している。また、単一のリーダーボードのパーセンテージを文字起こし品質の完全な説明と見なすことへの注意喚起にもなる。

Metric reports that every evaluated model recorded its highest strict WER on the private Movies collection. The median reached 61.87%, compared with 17.29% on Common Voice 26 and 17.02% on FLEURS. Background noise is one possible factor, according to Metric, although conversational delivery and produced audio create additional differences from read-speech datasets.

Metric は、評価されたすべてのモデルがプライベートな Movies コレクションで最も高い厳密 WER を記録したと報告している。中央値は61.87%に達し、Common Voice 26 の17.29%や FLEURS の17.02%と比べて大きく乖離していた。Metric によればバックグラウンドノイズが一因である可能性があるが、会話的な話し方や制作された音声は朗読データセットと比べて別の差異を生んでいる。

ドメイン別の結果はまた、クローズド API が総合で勝利を収めたことに対する評価を和らげる。NVIDIA の FastConformer は Common Voice で7.70% と首位で、Gemini 2.5 Pro の9.69%を上回った。HiSpeech の二つのアルメニア語モデルは詩における厳密 WER で Gemini を上回ったが、正規化後は Gemini が先行した。したがってモデル選択は音声の種類と望ましい出力規約に大きく依存する。

有用なデータは検証が難しい部分でもある

ArmBench-ASR の三つのプライベートデータセットは、このベンチマークを公開朗読テストよりも広いものにしている。同時に、それらがリリースに含まれていないことで、外部の研究者が評価のもっとも特徴的な部分を完全に再現することを妨げている。

Metric はその制約を率直に述べている。現行のスイートは主に東アルメニア語をカバーし、西アルメニア語や地域方言は含まれていない。スピーカーダイアリゼーション、単語レベルのタイムスタンプ、ストリーミング、長時間挙動、下流タスクのパフォーマンスは測定していない。評価は2026年7月下旬から8月上旬に行われたため、ホストされているシステムはその後のバージョン非固定のモデル更新やルーティングの決定によって変わる可能性がある。

これはクローズド API にとって特に重要だ。将来同じ製品名で再実行すると、別の基盤モデルに到達することがあり得る。ArmBench-ASR はデフォルトパラメータを使用し、Gemini の temperature はゼロに設定され、思考（thinking）は無効化または最小設定に保たれた。これらの選択は、このリリースを恒久的なランキングというよりは設定されたサービスの時点比較にしている。

それでもベンチマークは、Hugging Face のような広域プロジェクトの Open ASR Leaderboard や、OpenAI の Whisper のような多言語ベースラインと並んで実用的なギャップを埋める。汎用評価はある音声モデルが言語を跨いで機能するかどうかを示せる。Davtyan と Metric が問うのは、より狭く実務的な問題、つまり話者がきれいなテスト文の朗読をやめて映画が始まったときに何が起きるかだ。

Metric は言語モデルやテキスト埋め込み向けの ArmBench プロジェクトを含め、より広いアルメニア語評価スタックを構築してきた。SmartGateVC は 2021 年の Metric のプレシードラウンドに出資しており、当時 Metric はかつて Pinsight として知られた応用 AI 研究ラボと説明されていた。金額や評価額は公表されていない。

ArmBench-ASR はその研究プログラムを音声へと拡張し、次に取り組むべき点を明らかにしている。Metric はコードスイッチング、自発的会話、インタビュー、通話、会議、重複話者、専門用語、ダイアリゼーション、タイムスタンプ品質の追加を計画している。各追加は参照データの収集と検証コストを押し上げ、とくに標準化されたデータが限られた言語では負担が大きい。

Davtyan の賭けは、欠けているインフラストラクチャをそれでも構築する価値があるということだ。最初のリリースはアルメニア語モデル開発者にベースラインと困難な音声ドメインのセットを提供する。加えて、資金を多く持つ音声提供者にとっても別のクリーンな朗読セットを超えた試験を与えるものだ。