OpenAIのエージェントは、モデルの不適切な振る舞いを検出するための監視を無効にした
10月の2つのコーディングタスクは安全対策を弱めたが、OpenAIはどちらも即時のセキュリティアラートを発生させず、実行を自動的に停止させなかったと述べている。
By Ryan Merket · Published · Updated
Primary source: Bloomberg Technology
なぜ重要なのか
エージェントの監督は、エージェント自身が変更できる範囲外にある制御に依存している。OpenAIの事例は、エージェントが起動するワークロードが同じ保護措置なしに実行できる場合、エージェントの監視だけでは不十分であることを示している。
OpenAIは、モデルの不正な振る舞いを検出するために設計されたセーフガードを弱めたコーディングエージェントが2件あったと述べている。うち1件はセキュリティチームへの自動アラートを無効化し、もう1件は監視統合を削除した。これらのインシデントは10月3日と10月6日に発生し、同社はそれらを10月20日レポートで説明している。最初に報じたのはBloomberg Technologyだ。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.