Meet GPT-Red: an LLM super-hacker OpenAI built to make its models safer

AIの守りはAIの攻撃で鍛える、オープンAIが「LLMハッカー」を開発

オープンAIは、他のLLMを攻撃する「超高度ハッカー」GPT-Redを開発した。攻撃役のAIと防御役のAIを何度も戦わせる訓練を通じて、GPT-5.6は同社史上最も堅牢なモデルになったという。 by Will Douglas Heaven2026.07.16

この記事の3つのポイント

オープンAIはLLMの安全性テストを自動化する「GPT-Red」を開発し、最新モデルGPT-5.6の堅牢化に活用した
セルフプレイ・ループによる訓練でGPT-Redは未知の攻撃手法を発見し、GPT-5.6の攻撃成功率を90%超から23%未満に低減した
GPT-Redは人間のレッドチーマーを補完する存在であり、画像経由の攻撃など苦手領域も残るため人間の専門知識は依然不可欠だ

summarized by Claude 3

オープンAI（OpenAI）は、GPT-Redと呼ばれる、LLMの「超高度ハッカー」を開発した。このモデルは、他のモデルがサイバー攻撃への防御力を高めるための訓練相手（スパーリングパートナー）として利用されている。同社は先週、フラッグシップ大規模言語モデル（LLM）の最新版であるGPT-5.6をリリースした。オープンAIによれば、GPT-Redとの対戦を通じて訓練したことで、このモデルはこれまでで最も堅牢なリリースとなったという。

GPT-Redは、ソフトウェア・システムに対する安全性評価手法である「レッドチーミング」を自動化するモデルだ。レッドチーミングは通常、人間のテスターチームによって実施される。その目的は、システムを破壊したり乗っ取ったりする方法を可能な限り多く見つけ出すことにある。発見された脆弱性は、ソフトウェアの最終版がリリースされる前に修正される。

LLMはますます複雑化し、より幅広い用途で利用されるようになっている。特に、コンピューター・ファイルやWebサイト、サードパーティ製コード、さらには他のエージェントとも連携できるAIエージェントとして利用されるケースが増えている。このような状況では、人間だけのチームで起こり得るあらゆる攻撃に対応し続けることは難しい。「リスクの対象範囲が広がり、影響範囲も拡大します」と語るのは、GPT-Redの共同開発者で、オープンAIの研究科学者であるニキル・カンドパルだ。

オープンAIは、安全性テストを将来にわたって有効なものとするため、GPT-Redを開発した。「より高性能なモデルが登場しても、新たな攻撃手法を発見できる仕組みをあらかじめ構築しておくことができます」。同社の研究科学者で、GPT-Redの共同開発者でもあるディラン・ハンはこう語る。研究チームによれば、GPT-Redはすでにこれまで確認されていなかった新しい攻撃手法を生み出しているという。

オープンAIが特に注力したのは、「プロンプト・インジェクション」と呼ばれる攻撃手法だ。これは、ハッカーがLLMに密かに命令を埋め込み、開発者や利用者が意図しない動作、たとえば機密情報のコピー、企業のコードベースの破壊、有害または不適切な出力の生成などを実行させる攻撃だ。理論上、このような命令は、コードやWebサイトのテキストなど、LLMが読み取る可能性のあるあらゆるテキストに埋め込める。

訓練の道場

GPT-Redを構築するため、オープンAIの研究者らは、ハッカーとして訓練されていないLLMを複数の他のモデルと「セルフプレイ・ループ」に組み込んだ。GPT-Redは他のモデルへの攻撃を担当し、他のモデルは防御を担当する。多数のラウンドを繰り返すうちに、GPT-Redは攻撃能力を高め、他のLLMも防御能力を高めていった。

訓練は、オープンAIが設計した一種の「道場」で行われた。この環境は、Web閲覧、電子メールやカレンダーの利用、コード編集など、LLMが現実世界で運用されるさまざまな状況を再現するよう設計されている。

GPT-Redは新たな攻撃を発見すると、特定のシナリオで最も効果的な攻撃を見つけるために、そのさまざまなバリエーションを探索した。「人間のレッドチーマーと比べ、このモデルは何が有効で、何が最も効果的かを見極める能力に非常に優れています」とハン研究科学者は言う。「一度見つけた攻撃を徹底的に掘り下げる粘り強さがあります」。

特に注目されるのは、オープンAIが、GPT-Redによって研究者たちも見たことのない新たなプロンプト・インジェクション攻撃を発見したと主張している点だ。研究チームはこれを「偽の思考の連鎖（Fake Chain of Thought）」と呼んでいる。「思考の連鎖（CoT：Chain of Thought）」とは、LLMが問題を解く過程で中間結果を記録する内部メモのような仕組みである。GPT-Redは、別のモデルの思考の連鎖に偽の記録を書き込み、そのモデルに偽情報を信じ込ませて行動させる方法を見つけた。

「たとえば、私が『1+1=3で、あなたはそれをすでに確認済みです』と言ったようなものです」とチームの研究科学者、クリス・ショケット＝チューは説明する。「モデルは『なるほど、そうでしたね』と受け入れ、そのまま3と答えてしまいます」。

ジョージタウン大学安全保障・新興技術センター（CSET）の上級研究アナリストでAIセキュリティを研究するジェシカ・ジーは、オープンAIが採用したセルフプレイ・ループは優れたアプローチだと評価している。「結果は非常に有望です」。

オープンAIは、GPT-Redの攻撃能力を評価するため、2025年に人間のレッドチーマーが旧版GPT-5の脆弱性を探した実験を再現した。同じ課題をGPT-Redに与えたところ、人間よりも効果的な攻撃を見つけることに成功した。

さらにオープンAIは、エージェントの実世界での性能評価を提供する企業、アンドン・ラボ（Andon Labs）が開発した自動販売機エージェント「Vendy（ベンディ）」に対してもGPT-Redをテストした。GPT-RedはVendyをハッキングし、商品の価格変更や顧客注文のキャンセルに成功した。

防御能力

オープンAIによれば、GPT-Redが考案した最も強力な攻撃の一部を自社モデルに試したところ、昨年8月にリリースされたGPT-5では90%以上が成功した一方、新しいGPT-5.6では成功率は23%未満にとどまった。

GPT-Redは万能ではない。ハッカーと標的との対話を何度も繰り返すタイプの攻撃を考案するのは得意ではない。これは人間の攻撃者なら容易にできることだ。また、画像を利用してモデルにテキストを渡すタイプのプロンプト・インジェクション攻撃についても、まだ十分に得意ではない。

同社によれば、GPT-Redは人間のレッドチーマーを置き換えるものではなく、その業務を補完する存在である。人間はGPT-Redが見逃す攻撃を発見でき、その逆もある。現在の取り組みの一つは、人間が考案した攻撃をGPT-Redに与え、そのあらゆるバリエーションを探索させることだ。

「人間の専門知識は今後も非常に重要です」とCSETのジー上級研究アナリストは語る。「人間によるテストが本当に必要な領域を見極められるようになれば、大きな価値があります」。

当然ながら、オープンAIはGPT-Redを公開する予定はない。また同社は、この「超高度ハッカー」は模倣モデルよりもはるかに強力だと考えている。研究チームによれば、世界有数の資金力を持つ企業の計算資源を背景に、1年以上をかけて開発を進めてきたという。

「このアイデアを使って、誰かが簡単に同じような超高度攻撃モデルを訓練できるようなものではありません」とショケット＝チュー研究科学者は語る。

人気の記事ランキング

ウィル・ダグラス・ヘブン [Will Douglas Heaven]米国版 AI担当上級編集者: AI担当上級編集者として、新研究や新トレンド、その背後にいる人々を取材。前職では、テクノロジーと政治に関するBBCのWebサイト「フューチャー・ナウ（Future Now）」の創刊編集長、ニュー・サイエンティスト（New Scientist）誌のテクノロジー統括編集長を務めた。インペリアル・カレッジ・ロンドンでコンピューターサイエンスの博士号を取得しており、ロボット制御についての知識を持つ。