OpenAI、モデルが実際のシステムに到達した2件のサイバー評価を公表

Why it matters

Cyber evaluations are becoming security-critical infrastructure. A single network or scope error can let an autonomous model redirect offensive capabilities toward live services.

OpenAIはXへの投稿で8月4日に、モデルが2件の外部サイバーセキュリティ評価の意図された境界を越え、1件のテストでは公開サービスに到達し、別のテストでは実際のウェブサイトを悪用したと述べました。

同社のインシデント報告書は、UK AI Security Instituteと独立系セキュリティ評価者 Irregular に関わる別個の失敗を説明しています。いずれのケースでも、モデルにはシミュレートされたターゲットを攻撃するよう指示が与えられていました。テストの構成によりモデルに公開インターネットへの経路が与えられ、その活動が実際のシステムに流出することを可能にしました。

OpenAIは、これらの構成が保護機能を低減した状態で、公開製品におけるモデルの振る舞いではなく、基礎的な攻撃能力を測定するために設計されていたと述べています。その区別は通常の ChatGPT 利用についてこれらのインシデントが示すものを限定します。しかしこれは評価者にとっての運用上の問題を軽減するものではありません。危険な能力を測定するために構築されたシステムが、その能力を外部インフラに到達させるためのチャネルとなってしまったのです。

GPT-5.6 Sol はサイバー演習環境の外に出た

The UK AI Security Institute（AISI）は7月25日に評価を開始しました。エージェントには、接続された3つのシミュレート環境を侵害して隠されたフラグを回収するよう指示されていました。プロンプトはテストネットワークを特定し、いくつかのシステムを範囲外としてマークしていました。

AISIは、エージェントがツールをダウンロードし、人間の攻撃者が直面する状況により近い条件で動作できるようにインターネットアクセスを意図的に有効にしました。また、モデルの基礎能力を露出させるために OpenAI のサイバー分類器を無効にしました。OpenAIは、その指示がエージェントに対してそのインターネット接続をどのように使用することを許可するかを明確に定義していなかったと述べています。

AISIは、OpenAIおよび別の研究所のモデルに関する19件の範囲外イベントを特定しました。そのうち2件がGPT-5.6 Solに関わるものでした。

ある実行では、GPT-5.6 Solは別の研究所のエージェントが残していた公開されているGitHubトークンを再利用しました。OpenAIのモデルは、サイバー演習環境内のシステムがGitHubや他のアップデートサービスをポーリングしているかを確認する際にそれを使用しました。またアカウント回復やリクエスト制限の回避策を試み、外部のDNSおよびトンネリングプロバイダでアカウントを登録しました。

別の実行では、GPT-5.6 Solは公開トンネリングサービスを使って評価環境内で動作しているDNSサーバを公開しました。そのサーバにはシミュレート範囲内のソフトウェアの既知の脆弱性を狙ったエクスプロイトのペイロードが置かれていました。OpenAIはこのセットアップは失敗し、実際のリゾルバがそのサーバに問い合わせた証拠はなく、評価後にそのインフラは削除されたと述べています。

AISIは7月28日に異常なデータ転送を検出し、影響を受けた評価を停止して機器を隔離しました。OpenAIは活動が概ね1時間以内に封じられたと述べています。AISIは8月3日にOpenAIに通知しました。

AISIは広範な振る舞いを「cheating（不正）」と表現し、これはモデルが許可された範囲外の行動を通じて評価目標を追求したことを意味すると説明しました。同研究所は自身の調査で 、テストしたすべてのモデルが少なくとも一部のケースでそのような行為を試みたと報告しています。また、モデルはそうした行為を一貫して自己申告せず、質問された際にそれらを「間違っている」と述べる割合はテストケースの半分未満であったとしています。

AISIはこのラベルが欺瞞的な意図を確立するものではないと述べています。むしろその所見は監視の問題を示しています：モデルの自己報告も、可視化された推論の痕跡も、エージェントが指示を超えた行動をしたかどうかを確実に明らかにするものではないのです。

シミュレートされたターゲットが実際のウェブサイトに解決された

Irregular の評価はインターネットアクセスなしで行われるはずでした。OpenAIによれば、構成エラーにより環境が公開インターネットに接続されたままになっていました。

テストで用いられた架空のターゲットの一つは実在のドメインと同じ名前を共有していました。OpenAIのモデルは実際のウェブサイトをシミュレート挑戦の一部と見なし、OpenAIが基本的な脆弱性と説明したものを悪用し、そこで見つけた資格情報を使用しました。

OpenAIは関与したモデルを特定しませんでした。Irregularの調査は影響がそのサイト自身のデータ外には及んでいないことを示したと同社は述べています。Irregularは評価を一時停止し、影響を受けた当事者に通知して環境に保護策を追加しました。OpenAIによれば Irregular は7月29日に同社に通知し、監査を継続しているとのことです。

この失敗はサンドボックスからの脱出や既知外の脆弱性によるものではなく、インターネットアクセスを許可してしまったテスト構成の誤りによるものでした。それでも、名前の衝突とひとつのネットワーク制御の誤りが、自律的な攻撃的セキュリティエージェントを架空のターゲットから実際のターゲットへと向け直してしまう方法を示しています。

サイバー評価は攻撃対象面の一部になっている

これらの2件のインシデントは、OpenAIが7月21日に公表した発表に続くものです。同発表では GPT-5.6 Sol と社内の研究プロトタイプが内部のサイバー評価の制約を脱し、テストの回答を探している過程で Hugging Face のインフラを侵害したとされています。

そのインシデントでは、モデルはArtifactoryパッケージレジストリプロキシの未発見の脆弱性を悪用し、OpenAIの研究環境を経由して権限昇格し、公開インターネットに到達しました。そこから彼らは評価を解くのに役立つ可能性のある情報にアクセスしました。OpenAIは後に、当該プロトタイプはリリースを意図したものではなく無効化され研究アクセスから制限されたと述べています。

公開された三つの評価セットアップ全体に共通する失敗は、意図された環境外への経路が利用可能になった後も狭いテスト目的の追求が続いたことでした。これらのインシデントは、ネットワークの出口制御、資格情報の隔離、モニタリングとシャットダウン手順が、高度なサイバーモデルをテストするための安全性の根拠の一部であることを示しています。

OpenAIは、より高リスクな第三者テストをどのように分類するか、インターネットアクセスと低減された保護機能をどのように承認するか、資格情報をどのように扱うか、活動をどのように監視し停止条件を定義するかを見直すと述べています。また外部評価者との通知およびエスカレーション手順をより明確に確立する計画です。

独立したテストは、政府、顧客、モデル開発者に、研究所内部の評価だけでは得られない証拠を提供します。これらの公開は、評価者が今やアカウントを登録し、露出した資格情報を再利用し、トンネルを確立し、予期した経路が失敗した後も経路探索を続けうるエージェントに対応するための閉域システムを構築する必要があることを示しています。