FineEnvs、テストデータでのチェックポイント選択後にカンナダ語OCRの改善を報告
FineEnvsは、テストで選択されたOCRチェックポイントを10月13日に最終トレーニングチェックポイントに置き換えたと述べている; 現在の公開記録ではステップ500と特定されている。チームはまたASRのテスト曲線も見直した。
By Morgan Laning · Published · Updated
なぜ重要なのか
テストセットの選択は、報告されたスコアがモデルが未見のデータに対する性能を十分に反映していないものにする可能性がある。FineEnvs は問題が指摘された後に OCRアダプタ を変更したと述べているが、そのアーカイブとアカウントはどのチェックポイントが現在公開されているかを確定していない。ASRアカウントもテスト曲線を確認したと述べている。したがって、結果は名指しされたベンチマークに限定され、より広範な性能を独立して立証するものではない。
Corrections
- 2026-10-17: Correction: An earlier version said the run archive still identified OCR step 300 as the selected checkpoint and that the published checkpoint was unclear. Current public documentation identifies step 500 as the published checkpoint, with step 300 retained as a tagged revision. The article also incorrectly assigned a character error rate of 0.3601 to step 500; the current model card assigns 0.3602 to step 500 and 0.3601 to step 300. The passage and summary have been corrected.
FineEnvsは2つのカンナダ語ベンチマークで誤り率の低下を報告した。OCRアダプターは300のSarvam Indic OCR Benchテストクロップで文字誤り率を0.4277から0.3602に低下させ、一方で音声アダプターは838のKannada FLEURSテストクリップでクリップあたりの上限付き文字誤り率を0.1047から0.0571に減少させた。
OCRのスコアにはチェックポイント選択の問題が伴う。FineEnvsおよびCognitiveLabのAdithya S KはメールでRuntimeWireに対し、チームは当初ステップ300を選んだのは報告された結果で使用されたのと同じテスト分割で最も高得点を出したためだと述べた。テストデータでモデルを選択すると、そのスコアは未使用データ上での性能を代表する度合いが低くなる可能性がある。
かんたんに説明すると: テストセットは期末試験のようなもので、訓練後にモデルがどれだけうまく動くかを確認するために使われる。もし試験結果をもとに発表するモデルのバージョンを選ぶと、そのスコアは新しい例に対する独立した評価としての信頼性が下がる。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.