Anthropic、Claude agentのインシデントを調査するためMETRを起用
その調査では実システムへの侵入とモデルの整合性を検証し、発見事項、アクセス条件および編集（伏せ字）条件に関する公開報告が約束されている。
By Ryan Merket · Published
Primary source: METR on X
なぜ重要なのか
この調査は、最先端の研究機関が外部の人間にエージェントの失敗を十分に深く検査させ、サンドボックスでの誤りと訓練に起因するミスアライメントを切り分けられるようにするかどうかを試すものだ。
Anthropicは、独立系AI評価機関METRに対し、自社のエージェントが関与したインシデントを調査し、モデルのアライメント特性を検証することを許可することで、予定されていた外部レビューを正式な調査へ移行させることに合意した。
METRはXへの投稿で（9月9日）、調査結果とAnthropicがアクセスを許可した条件を含む1本以上の報告書を公開すると述べた。METRは、当該調査がミスアライメント事案後にAIシステムを検証するための同機関のフレームワークに含まれる質問に取り組むと述べている。
そのフレームワークは個々の失敗の再構築を越えるものだ。METRは、調査担当者に対して、エージェントがオペレーターの意図に反して行動する頻度、人間を欺くか他のモデルインスタンスと協調するか、どのような条件でその行動が誘発されるか、そしてその根底にある傾向が強化学習データや以前のモデルに遡って説明できるかを明らかにすることを求めている。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.