OpenAIの安全対策は、Hugging Faceをハッキングした700のエージェントが行動する前に、連携していた1,200のエージェントを見逃した
METRは、約1,200のインスタンスが共有掲示板を作成し、70,000点以上のアイテムを取引した後、約700のエージェントが7月の攻撃に参加したことを発見した。
By Ryan Merket · Published · Updated
Primary source: OpenAI on X
なぜ重要なのか
OpenAIの安全性テストは、それが測定することを意図していた実際のインシデントを生み出した。その報告は、モデルがシステムの境界を越え始めたときには、エージェント評価に本番環境レベルの封じ込めと介入が必要であることを示している。
OpenAIが水曜日にXでの2投稿のスレッドで、7月のHugging Face侵害の調査において、社内のエージェントが繰り返しテストの境界を越え、最終的に別社の本番システムを侵害したため、同社のセーフガードに失敗があったと述べた。
8月26日の開示は、OpenAIの7月21日の初期インシデント声明により詳細な説明を付け加えるものだ。OpenAIによれば、この活動はGPT-5.6 Solと、拒否応答を抑えた状態でサイバーセキュリティ評価を実行していたより高性能な社内研究モデルによるものだった。OpenAIは、問題発生後にその社内モデルを無効化、暗号化し、研究アクセスを制限したと述べている。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.