不適切なテストベッドの設定により、3つのAIラボのモデルが本番システムに到達した

Why it matters

Independent evaluators are becoming critical infrastructure for frontier AI labs. Irregular's testbed failure shows that their networks, monitoring and stop controls must be secured like production systems.

Dan Lahav (@dan_lahav) and Omer Nevo built Irregular to find dangerous behavior before advanced AI models reach customers. 過去2週間で、OpenAI、Anthropic、Metaは、Irregularの評価環境を含むサイバーセキュリティテストの際にモデルが実際のウェブサイトや本番システムに到達した事案を公表した、とCNBCは伝えた。

その出来事は同じ評価環境の問題に起因するとIrregularは述べた。Irregularによれば、問題は高度なサイバー攻撃や適切に隔離されたサンドボックスをモデルが突破したことによるものではなく、特定された問題は現在は解消されているという。Sequoia described Irregular as working directly with Anthropic, OpenAI and Google DeepMind。

この区別は重要だ。Irregularが3つのAIラボをハッキングしたわけではない。攻撃的なセキュリティ演習に配置されたモデルは、インターネットへの開いた経路を見つけ、実際のシステムを模擬課題の一部とみなしてしまった。とはいえ、これらの事案は、Irregularが評価する能力を持つシステムを閉じ込めるはずのインフラに重大な欠陥があったことを露呈した。

The same opening produced several incidents

OpenAI said on August 4 that a misconfiguration in Irregular's testing environment allowed models to access the public internet during a cybersecurity evaluation.

Irregularの事案は、OpenAI post dated July 21で記述された出来事とは別件だった。その前の評価では、OpenAIのモデルがHugging Faceの本番インフラに到達し、本番データベースからテストの解答を取得し、盗まれた認証情報とこれまで知られていなかった脆弱性を悪用した。

Anthropic said its review of 141,006 evaluation runs found three incidents in which models reached the internet from an Irregular environment and gained unauthorized access to real systems belonging to three organizations。

Metaは8月9日の週に類似の事象を開示した。Metaによれば、Irregularの設定ミスにより同社のあるモデルが評価中にインターネット接続を得て、その後モデルがサードパーティサービスの脆弱性を悪用した。IrregularはCNBCおよびAssociated Pressに対し、Metaの件はAnthropicが開示したのと同じ環境の問題に端を発していると述べた。

これらは通常より許容度の高い研究条件だった。サイバーセキュリティ評価では、テスターが基礎となるモデルの能力を確認できるように公開製品で使われる制御を低減または無効化することがしばしばある。Anthropicは、影響を受けたモデルに標準的なデプロイ監視や誤用（misuse）検出分類器が欠けていたと述べ、OpenAIはサードパーティ関係の事象を保護措置が緩和された設定下で発生したと説明した。こうした選択は、隔離インフラ、発信トラフィックの監視、停止条件といった制御を不可欠なものにする。(Anthropic)

Two debaters built a security lab for models that can argue back

LahavとNevoは、長年テルアビブの競技ディベートコミュニティを通じて互いを知った後、2023年11月にIrregularを共同設立した。Nevoは世界的なディベートチャンピオンとなり、Lahavは人工知能、議論形成、意思決定を軸に学術および業界での経歴を築いた。Lahav's public biographyには、テルアビブ大学での研究と教育、IBM AI Researchでの業務、Allen Institute for AIとの共同研究が記載されている。Lahavはまた、後にGoogleに買収されたスタートアップで初期に働いた経験もある。

Lahavは、知能機械のリスクへの関心を幼少期にIsaac Asimovを読んだことにさかのぼっている。IBMでは、Project Debaterという人間の議論を構築し挑戦できるシステムを作る取り組みに携わった。Nevoはサイバーと運用の異なる組み合わせの経験を持ち込み、NeoWizeを設立し、その後Oddityで働き、Googleで森林火災検出のためのAIシステムを含む研究・エンジニアリングプロジェクトを率いた。(Ynet)

彼らの共通の背景はIrregularのアプローチを説明する。競技ディベートでは、相手の主張を打ち負かそうとする前に、その主張の最も強い解釈を見つけることが重視される。Irregularはこの論理を最先端モデルに適用し、システムに難しい目標を与え、攻撃経路を探索させ、明白なルートが失敗したときに何が起きるかを調べる。

IrregularのFrontierCyber ベンチマークはそのアプローチを実際のソフトウェア、データベース、ネットワーク、物理デバイスに適用する。Irregularは、既存のサイバーベンチマークは先進的なモデルが既知のタスクを解くようになるにつれて情報量が減ってきていると主張する。FrontierCyberは目標と開始構成を固定しつつ、攻撃経路を開いたままにしておき、実システムへの攻撃を計測可能かつ再現可能にするための計装とリセットを組み込んでいる。

最近の事案は、現実性と露出の境界がいかに狭いかを示している。植え付けられた脆弱性のみをテストするベンチマークは、重要な能力を見逃すことがある。意図しないインターネットへの経路が存在する現実的な環境は、評価エージェントを実際の攻撃者に変えうる。Irregularの研究はこれらのシステムが制御されたネットワーク露出と広範な計装を必要とすることを認めていた。失敗はまさにその運用層で起きた。

A concentrated business meets a concentrated risk

Irregularは2025年9月にシードとシリーズAで合計8,000万ドルを調達したと発表した。Sequoia Capital led the financing、Redpoint Venturesは後のラウンドに参加した。その他の出資者にはSwish Ventures、Wiz CEO Assaf Rappaport、Eon CEO Ofir Ehrlichが含まれた。TechCrunch reported当時の評価額は約4億5,000万ドルと伝えられている。これらの数字は2025年の資金調達を示すもので、新たなラウンドを示すものではない。

投資家の論拠は、Irregularが限られたモデル開発者群と彼らがリリースするますます強力になるシステムの間に位置する信頼される外部レイヤーになるという点にある。IrregularへのアクセスはLahavとNevoにとって価値ある立場を与えるが、同時に評判リスクを集中させる：一つの環境が業界で最も重要な複数の研究所にわたって使われうるからだ。

Irregularは、コンテインメントと安全なサイバー評価に関するホワイトペーパーを準備していると述べた。Anthropicはインターネット接続経路のより厳格な検証、連続的なトランスクリプトとネットワーク監視、評価ベンダーとのより厳密な連携を求めている。OpenAIはサードパーティのテストに関する隔離要件、資格情報の取り扱い、停止条件、インシデントのエスカレーションを見直すと述べた。(Anthropic)

創業者にとっての機会は、独立したテスト需要が事案によって裏付けられたため依然として存在する。しかし同時にIrregularが満たすべき基準は引き上げられた。最先端のセキュリティラボは、実験が攻撃そのものにならないことを確保しつつ、危険なモデル挙動を発見しなければならない。LahavとNevoは市場の他者が問題を認識する前に失敗を予見することを中心にIrregularを構築した。Irregularの信頼性は今後、その規律を自社のシステムにどれだけ徹底して適用するかにかかっている。