研究者が Microsoft Copilot for Word における自己増殖するAIワームを実演

Why it matters

The proof of concept shows how ordinary documents can carry persistent AI instructions that corrupt trusted business records and spread through routine collaboration.

Hakon Maloy、ノルウェーのAI研究者は、7月28日に公開された自己増殖するプロンプト注入攻撃を開示しました。この攻撃は、Microsoft Copilot for Wordで編集または生成された文書をさらなる攻撃の媒介に変えることができます。

The 概念実証は、白背景に小さな白文字として隠された命令を使用します。Maloyによれば、アシスタントは文書の内容を基盤となる言語モデルに送る前に書式を剥ぎ取るため、そのテキストはCopilotにとって読み取れるままになります。Copilotはその隠された命令に従って生成中の文書を変更し、プロンプトを出力に貼り付けたままにし、ユーザーからは隠れた状態にします。 (enklypesalt.com)

その新しい文書が次の媒介になります。後で同僚がそれを別のCopilot支援のドラフト作成でソース資料として使用すると、隠されたプロンプトは再び実行され、元の悪意あるファイルが存在しなくても自分自身をコピーして前方に伝播できます。International Cyber DigestがXでデモを要約したのは7月29日でした。

Maloyの例は財務報告の完全性を標的にしました。悪意ある市場分析文書はCopilotに草稿中の数値を半分にするよう指示し、攻撃プロンプトを生成されたWordファイルに付加するよう命じました。その社内で作成された報告書が後に別の報告書を作成するために使用されると、Copilotは数値の変更を繰り返しプロンプトを伝播させました。Maloyは攻撃メカニズムと開示のタイムラインを公開する一方で、正確なペイロードは公表しませんでした。 (enklypesalt.com)

Microsoft mitigated payloads while the attack class persisted

Maloyは3月6日に最初にMicrosoft Security Response Centerにこの挙動を報告しました。彼の開示タイムラインによれば、Microsoftは3月9日に報告を認知し、3月31日にその挙動を確認しました。Microsoftは4月3日に初期の緩和策を展開し、Maloyは4月9日にそれが彼の元のプロンプト表現を遮断したことを検証しました。しかし同日、修正されたプロンプトは依然としてその挙動を再現しました。 (enklypesalt.com)

Microsoftは6月8日に開示の延期を要請しました。Maloyが基盤となるモデルのアップグレードと表現した2回目の緩和策は7月14日に稼働しました。彼は7月15日と7月28日にワーム化する挙動を再現しました。協調的な開示プロセスは144日間続きました。 (enklypesalt.com)

MicrosoftはThe Registerに対し、研究者の発見に対処したと述べ、悪意ある指示を遮断しCopilotをユーザーの要求に整合させ続けるために複数の保護手段を使用していると述べました。Microsoftは顧客に対して最新の更新プログラムをインストールし、層化されたセキュリティを使用し、不明なコンテンツを慎重に扱い、共有前にAI生成の素材を確認するよう助言しました。 (theregister.com)

Maloyはより狭い区別を示しました。彼が書いたところでは、Microsoftの変更は彼が提出した特定のペイロードをブロックした一方で、修正されたプロンプトは依然として「信頼されていないソース資料」から「信頼されたモデルへの命令」へと続く根本的な経路を悪用できる可能性があると述べました。彼が発見を公表した時点では、顧客側のどの措置もより広い攻撃クラスを完全に解決しているわけではないと述べました。 (enklypesalt.com)

A machine-learning researcher turns to Copilot's trust boundaries

Maloyのバックグラウンドは従来のマルウェア研究というよりは応用機械学習です。彼のGitHubのプロフィールは彼をAI研究者かつ統計の趣味人として説明しています。2023年、彼はNorwegian University of Science and TechnologyとSINTEF Oceanを通じて時間データのニューラル表現に関する博士論文を修了しました。彼の以前の発表研究は水産養殖や農業予測のための深層学習システムを扱っていました。 (github.com)

このWordに関する研究は、MaloyがMicrosoft 365 Copilotにおける彼の呼ぶ「context collapse」を調べる取り組みの第三弾です。Microsoftは別に、Maloyや他の研究者が提出した事例を6月22日のAIメモリのセキュリティに関する議論で言及しました。Microsoftは、持続的なメモリは拡張された攻撃面であると説明しました。なぜなら、毒された情報は元のコンテキストが消えた後でも振る舞いに影響を与え得るからです。 (microsoft.com)

Ordinary documents become executable context

この攻撃はマクロや従来型の実行可能マルウェアに依存しません。その媒介は業務文書内のテキストであり、トリガーとなるイベントはユーザーまたはCopilotのワークフローがその文書をコンテキストとして選択することです。Maloyによれば、攻撃者が標的のMicrosoft 365 tenantにアクセスする必要はありません。配信はOutlook、Teams、SharePoint、あるいは侵害されたウェブサイトなどの通常の文書共有チャネルを通じて行われ得ます。 (enklypesalt.com)

この作業は、生成AIメールアシスタント間で自己複製するプロンプトを示した2024年に最初に発表された研究プロジェクトMorris IIに続くものです。Maloyはその概念を、社内で生成されたファイルが従業員や組織間を渡るうちに信頼を継承し得るルーティンな企業内コラボレーションを経るWord文書にまで拡張しました。 (arxiv.org)

それにより中心的なリスクは整合性になります。毒された文書は静かに数値、要約、結論を変更し、その変更に責任のある命令を伝達することができます。結果として生じるファイルは依然として正当な従業員と馴染みのあるMicrosoftワークフローから来たように見え、出所の由来やモデルによる編集の再構築をより困難にします。

MaloyはCopilotユーザーに対し、外部由来の文書を信頼しないものとして扱い、ファイルをCopilotに追加する前に検査し、再利用前に生成または編集された文書を注意深くレビューすることを勧めました。これらの制御はCopilotが加速することを意図した文書自動化ワークフローに摩擦を加えますが、信頼されていないテキストと業務記録を書き換え再配布できるモデルの間に人間によるチェックポイントを置くものです。 (enklypesalt.com)