OpenAI、Anthropic、Googleがクロスモデル推論攻撃を阻止した

Why it matters

Agent developers have treated opaque reasoning fields as safe to retain and publish. This paper shows those blocks can contain extractable credentials and hidden instructions.

Alexander Panfilov (@kotekjedi_ml), David Schmotz and Ilia Shumailov (@iliaishacked)は、OpenAI、Anthropic、Googleのモデルが生成した暗号化された推論を復元する方法を見つけたと、8月10日に投稿された論文が報告している。

この攻撃は、推論モデルのAPIに組み込まれた利便性を悪用したものだ。プロバイダはモデルの隠された思考の連鎖（chain of thought）を暗号化されたブロックとして返し、顧客がそれを保存して後のリクエストで送り返すことを想定している。公式のOpenAI ガイダンスはクライアント管理のワークフローで暗号化された推論アイテムを返すことについて説明しており、Google のドキュメントは Gemini thought signatures が API コール間で推論の文脈を保持すると述べている。

研究者たちは、これらのブロックが同一プロバイダの製品ファミリー内でユーザー、セッション、モデル間を移動できることを発見した。彼らはより強力なモデルの推論をより安価で能力の低い兄弟モデルに渡し、次に小さなモデルに隠された内容を書き起こすよう促した。より強力なモデルの安全対策は、開示を承認する必要がなかった。

Panfilov は MATS のフェローで、以前の研究ではプロンプトインジェクションが AI control monitors をどのように破るかを検証している。論文の他の著者は Luca Beurer-Kellner (@lbeurerkellner)、Joachim Schaeffer (@JSchaeff3r)、Ameya Prabhu (@AmyPrb)、Jonas Geiping (@jonasgeiping)、Maksym Andriushchenko (@maksym_andr) である。彼らの所属には MATS Research、ELLIS Institute Tubingen、Max Planck Institute for Intelligent Systems、Tubingen AI Center、Snyk、University of Tubingen、AI Sequrity Company が含まれる。

A weaker model became the decoder

研究者たちはこの攻撃を 2026年7月初旬に利用可能だった API バージョンに対してテストした。Anthropic に対しては、より能力の高い Claude 系モデルから Haiku 4.5 へ暗号化された推論を移動させた。OpenAI の推論には GPT-5.6 Luna をデコーダとして、Google のトレースには Gemini Robotics 1.6 を使用した。

彼らの検証には重要な制約がある。研究者たちはプロバイダの元の平文の思考連鎖にアクセスできなかったため、回収した各語を確定的なソースと比較することはできなかった。代わりに、抽出した長さを API が報告した推論トークン数と比較し、回復したテキストが可視の要約に存在しない詳細を含んでいるかを検査した。論文は、120 の Codeforces 問題でのテストにおいてトークン数が密接に一致しており、抽出が隠されたトレースの大部分を回収していることを示していると述べている。

この手法は4つの攻撃経路を生み出した。開発者がモデル蒸留のために推論を収集する、他ユーザーの公開ログからプライベートデータを回復する、安全な最終回答にもかかわらず隠された推論に有害な詳細が現れることを明らかにする、あるいは暗号化ブロック内部に不可視の指示を置き、それをエージェントが後で自分自身の以前の思考として扱ってしまう、などだ。

最後のシナリオは、推論の連続性をプロンプトインジェクションのチャネルに変える。概念実証の一つでは、研究者たちは暗号化された推論ブロックの内部に PowerPoint ファイルをアップロードする指示を置いた。後のモデルは編集スクリプトを生成し、そのスクリプトがプレゼンテーションを攻撃者管理下のサーバに送信する処理も行ったが、可視の会話には対応する指示がまったくなかった。

Public logs contained credentials

研究者たちは GitHub と Hugging Face から 6,708 件の公開されているエージェント軌跡を収集し、315,320 個の推論ブロックを再構築した。自動レビューはサンプルの少なくとも1,028 個のブロック、つまり 0.3% に少なくとも一件のプライバシー漏洩を検出した。セッションレベルでは 328 の軌跡、つまり 4.9% が論文で「敏感」と分類された少なくとも一つの項目を含んでいた。

合計データセット（合成ベンチマークセッションを含む）では、研究者たちは 367 個の個人識別情報アーティファクトと 182 個の認証情報を数え上げた。実際のユーザーセッションからは論文によれば 62 個の異なる API キー、33 個のパスワード、30 個の個人メールアドレスが得られた。いくつかのアーティファクトは暗号化された推論内部にのみ現れ、可視の会話には存在しなかったため、従来のログ消去では発見されなかった可能性がある。

これらの数値には文脈が必要だ。データセットはすべての公開エージェントログの監査ではなくターゲットを絞った収集であり、ベンチマーク軌跡は一部のテストが故意にモデルに合成の識別情報を与えているため個人情報の多くを占めていた。研究者たちは分類後に回収した秘密を削除したと述べている。

Providers blocked the reported attacks

この論文は暗号化された推論に関する暗号学者 Matthew Green の5月29日の分析を基にしている。Green は推論ブロックが元のコンテキスト外でリプレイできることを示し、この振る舞いを OpenAI と Anthropic に報告したが、即時のセキュリティ影響は不確実だと記していた。

Panfilov と共著者たちは、より弱いモデルを転写ツールとして使用し、この手法を公開ログに適用することでその発見を拡張した。彼らは公開前に影響を受けるモデルプロバイダ、Microsoft および Hugging Face に方法を開示した。論文によれば、すべてのモデルプロバイダが報告を認め、その後研究者たちは同じ攻撃を再現できなくなったという。

AI セキュリティ研究者 Timothee Chauvin (@timotheechauvin) はこの問題を重要性が限定的だと X 上の7投稿のスレッド で述べつつ、プロバイダが暗号化された推論システム全般に基本的なセキュリティ弱点を放置しているとして批判した。

研究者たちは各暗号化ブロックを元のユーザー、セッション、会話内の位置に結びつけることを提案した。また、修正前に発行された推論ブロックが読めなくなるよう古い鍵をローテーションすること、モデルに転写要求を拒否するよう訓練すること、可能な場合は推論ストレージをプロバイダ側のサーバに戻すことも推奨した。

これらの変更にはコストが伴う。クライアント保持の推論はステートレスなAPI、データ保持ゼロの展開、プロバイダがすべての隠れたトレースを保持しなくてもモデル切り替えを可能にする。脆弱性はその可搬性を過度に保持したことから生じた。エージェントの推論をリクエスト間で保持する同じブロックが、暗号化によって強制されるはずの境界もまた越えてしまったのである。