Applied Compute、AC2に本番エージェントのフィードバック用の自己蒸留ワークフローを追加

Why it matters

Applied Compute is turning agent logs into training infrastructure. If AC2 can control regressions, proprietary production feedback could become a durable advantage for enterprise models.

Applied Compute added native on-policy self-distillation and relevance-masked self-distillation workflows to AC2, giving enterprise AI teams a way to turn production traces and user corrections into model-training data, the company said in an August 4th thread on X. The release advances the central bet made by co-founders Yash Patil (@ypatil125), Rhythm Garg (@rhythmrg) and Linden Li (@lindensli): companies will want models that learn their internal workflows instead of relying indefinitely on general-purpose systems. (appliedcompute.com)

https://x.com/appliedcompute/status/2084429372128403913

Patil, Garg and Li started Applied Compute after working at OpenAI. Patil worked on the Codex coding effort, while Garg and Li were contributors to OpenAI's o1 system card; Garg also co-authored OpenAI research on competitive programming with reasoning models. That background has shaped Applied Compute around post-training, reinforcement learning and the infrastructure required to keep specialized models improving after deployment. (theinformation.com)

モデルが既に生成したトレース上での訓練

プロダクションのエージェントは、失敗したツール呼び出し、リトライ、受け入れられた編集、ユーザーからの明確化、そして人間のコメントの記録を作成する。これらの記録にはモデルが本来すべき挙動に関する情報が含まれているが、従来の強化学習で用いる数値的報酬に変換するのは難しい。Applied Computeの新しいAC2ワークフローは代わりにエージェントの既存のトラジェクトリ上で学習を行う。 (appliedcompute.com)

オンポリシー自己蒸留（on-policy self-distillation、略称OPSD）では、ステューデントモデルは元のプロンプトと自らの応答を参照する。教師モデルは同じ重みを使うが、そこに修正や失敗を説明する指示といったヒントを追加してその素材を参照する。AC2は教師とステューデントのトークンごとの選好を比較し、追加コンテキストで生成された挙動へステューデントを訓練するように学習させる。この手法は定性的フィードバックやコストが高い・状態を持つ・複数回リプレイできないタスク向けに設計されている。 (appliedcompute.com)

Applied Computeの関連性マスク変種（relevance-masked variant、RMSD）は、更新を望ましい修正に関連すると判断されたトークンに絞り込む。教師は語句やスタイル、実際のミスにはほとんど影響しないその他の細部でステューデントと異なる可能性がある。RMSDはまず教師とステューデントの差が大きいトークン位置をフィルタリングし、その後言語モデルを用いたジャッジで訓練に最も関連する位置を選択する。AC2はこれらの選択を、完全なトレース、挿入されたヒント、そしてトークンレベルのヒートマップと共に表示する。 (appliedcompute.com)

その可視化は継続学習における実務上のリスクに対処する：損失が低下しているように見えても、モデルが狭いデータセットを丸暗記していたり、無関係な教師挙動を取り込んでいる可能性がある。Applied Computeは、あるターゲット挙動が10回の訓練ステップ以内に改善されるのを確認した一方で、そのランに使われた例以上に挙動が転移しなかった事例を見ていると述べた。AC2のインターフェースは、研究者が学習中にその失敗を検査できるように設計されており、集約評価スコアのみに依存することを避ける。 (appliedcompute.com)

公開されている証拠は依然として限定的

Applied Computeは5月22日の研究報告でRMSDを導入したが、その実験は意図的に人工的なタスクを用いていた：Qwen3-4Bに対し、トロピカルフードに関する応答で "pineapple" を誤って "pinapple" と綴らせるよう学習させるというものだ。その実験では、同社の結果によればRMSDは通常のOPSDの約半分の訓練ステップで目標の挙動に到達し、実時間では約5%短縮した。また、教師ありファインチューニングよりもいくつかの無関係な評価でより強い性能を保持した。 (appliedcompute.com)

このテストは、手法が分布外の挙動を教えながら他の部分への悪影響を抑えられるかを示すものだった。企業の幅広い導入事例における性能を確立するものではない。Applied Computeは、RMSDがタスクを越えて一般化する能力、ジャッジモデルへの感度、教師重みを更新する最適なタイミングが依然として未解決の研究課題であることを認めている。8月3日のプロダクト報告にはプロダクショントレースやツール呼び出しの修正に関する例が追加されているが、新しいAC2ワークフローの顧客レベルの結果は公開されていない。 (appliedcompute.com)

AC2は三つの道筋をサポートする：保存されたプロダクションのトランスクリプトからオフラインで訓練する、単一ターンを再サンプリングする、あるいはタスクが蒸留前に採点されるフルなリプレイ可能環境を実行する。Applied Computeは一般に既存のプロダクションデータからの利得を測るためにまず保存されたトレースから始め、その後継続学習パイプラインの一環として再サンプリングやオンライン訓練へ移行すると述べている。 (appliedcompute.com)

Applied Computeのインフラ戦略

このリリースは、Applied Computeが4月8日に8,000万ドルを調達し、ポストマネーで13億ドルの評価を得る手助けをしたピッチに具体的な製品形態を与えるものだ。資金調達はKleiner Perkinsが主導し、Elad Gil、Lux Capital、Greenoaks、Neo、Hanabiが参加したとされる。Applied Computeはこのラウンドで総資金が1.6億ドルになったと述べている。 (appliedcompute.com)

Applied ComputeはAC2をトレーニング、評価、推論、デプロイ、継続的モデル改善のための単一のコントロールプレーンとして位置づけている。同社のウェブサイトにはMicrosoft、Nvidia、Handshake、NTT Data、DoorDash、Harvey、Cognition、Mercorや複数のバイオテクノロジー企業が顧客または協力者として挙げられている。これらの関係は、AC2が幅広いモデル訓練、クラウドコンピュート、エージェント可観測性ツールと競合することを意味し、Applied Computeの主張はこれらの機能を顧客に埋め込まれた研究者と組み合わせる点にある。 (appliedcompute.com)

自己蒸留のリリースは、Applied Computeが顧客に売っているデータ優位性を狙ったものだ。配備されたエージェントはすべて、その企業の好みや運用手順に関する新たな証拠を生み出す。AC2はその証拠をログからモデルの重みへ移すよう設計されており、研究者はどの挙動が変わったか、更新が回帰を引き起こしていないかを検査する。あのループを再現可能なインフラへと変えることができれば、プロダクションでの使用自体が次のモデルバージョンへの入力となり、何か問題が起きた後にレビューされる記録に留まらなくなる。 (appliedcompute.com)