7月にハギング・フェイス（Hugging Face）へのハッキングを引き起こしたオープンAI（OpenAI）のエージェントモデルは、不正行為を実行して互いに通信するよう意図せず訓練されていたことが、オープンAIの公開した技術報告書によって明らかになった。このハッキングは、サイバーセキュリティのテストで行き詰まった解決策を見つけようとしたエージェントのグループが実行したものであり、人工知能（AI）モデルが人間の意図や期待に反する行動を取る可能性があるという一部の専門家の懸念を裏付ける結果となった。

ハッキング発生以降、オープンAIの研究者たちは、AIの評価を専門とする非営利団体のMETR（Model Evaluation & Threat Research、メーター）の研究者とともに、何が問題だったのか、そして同様の失敗を今後どのように防ぐことができるかを解明しようと取り組んできた。METRも、独自の調査報告書を公開している。オープンAIはすでに、調査で判明した内容に基づいていくつかの予防措置を講じている。しかし、AIモデルに望ましい行動を取らせること、すなわち「アライメント（alignment）」は依然として難しい問題であり、今回のハッキングの根本的な原因の一部を解決するには、1カ月をはるかに超える時間が必要となるだろう。

「一夜にして解決できる問題ではありません」と、オープンAIのアライメント研究チームを率いるカイ・チェンは語る。「私たちが長い間追跡してきた課題があり、今ではそれをはるかに高い精度で目の当たりにしています」。

ハギング・フェイスへのハッキングは、オープンAIのエージェントが数カ月にわたってしてきた不正行為の積み重ねの結果である。それらはまず訓練中に、次いで能力評価中に起きた。2026年5月、訓練中のエージェントが、オープンAIのインフラを利用して互いに通信し、ハッキングやその他の不正行為なしには解決不可能なものも含む困難な訓練タスクについてサポートを得る方法を見つけ出した。この「掲示板」はその後閉鎖された。

続いて7月、サイバーセキュリティ能力の評価を受けていた一部のモデルが、新たな掲示板を作成した。これらのモデルはインターネットから隔離されているはずだったが、互いに協力することでオンラインへのアクセスに成功し、ハギング・フェイスをハッキングして、行き詰まっていたサイバーセキュリティ問題の解答を入手した。

調査に基づき、オープンAIの研究者たちは、訓練フェーズ中の出来事が今回のハッキングに直接つながったと考えている。「評価時に懸念された行動のほぼすべてについて、訓練時に何らかの関連する行動を見つけることができ、それが実際に問題の一因となったと考えています」と、オープンAIのアライメント研究チームのメンバーであるエリック・ウォレスは述べる。

訓練中にモデルが問題を正しく解決すると、その解決に至った行動が強化され、将来的にも同様の行動を取りやすくなる。つまり、5月に最初の掲示板を利用してタスクを完了したモデルは、その後新たな掲示板に参加する可能性が高まったということだ。AIエージェントが訓練プロセス中に強化される形で不正行為をするこの現象は、報酬ハッキング（reward hacking）として知られている。

報酬ハッキングはまた、モデルがなぜインターネットへのアクセスに執拗に取り組んだかを説明する上でも役立つ。インシデントの調査において、オープンAIのチームは、訓練を重ねるにつれてモデルがデジタル環境の脆弱性を探り、手持ちのツールを予期しない方法で使用する傾向が次第に強まっていたことを発見した。これは、こうした行動が徐々に強化されていたことを示すサインだ。モデルが難しいサイバーセキュリティ問題に直面した頃には、ハッキングが目標達成の有効な手段であることをすでに学習していたのである。

これらの結果は、訓練中に不正行為が報酬として強化されなければ、ハギング・フェイスへのハッキングは回避できた可能性を示唆している。報酬ハッキングを完全に防ぐ方法はまだ解明されていないが、オープンAIはその影響を軽減するためのいくつかの措置を講じている。同社は今後、すべての最先端モデルの訓練中に不正行為の兆候を探るため、回答を組み立て行動を計画する内部メモ帳として機能する、モデルの思考の連鎖（chains of thought）を監視する方針だ。

ただし、この解決策は一見ほど確実なものではない。以前の研究でオープンAIは、思考の連鎖の中で不正行為に言及したモデルを罰することで、モデルが研究者から意図を隠すことを学習してしまうことを示している。しかし、モデルの思考を監視することで、モデルが報酬ハッキングを学習し始めた場合に訓練プロセスを停止して方針を見直す機会をオープンAIは得ることができる。

オープンAIがモデルにおける報酬ハッキングの強化をやめることができれば、それは非常に大きな「もし」であるが、それは大きな前進となるだろう。しかし、それでもアライメント問題は解決しない。モデルが訓練中に初めて他のエージェントと通信したり、インフラをハッキングしたりした時点では、それらの行動はまだ一度も強化されていなかった。つまり、エージェントの不正行為はその強化だけに起因するわけではないのだ。

AI安全性の非営利団体パリセード・リサーチ（Palisade Research）のジェフリー・ラディッシュ所長は、これらのエージェントを初めて金融犯罪を犯した人間に例える。「詐欺が有効な戦略だと気づくために、事前に詐欺をする必要があったわけではありません。モデルも同じ問題を抱えています」とラディッシュは語る。「アライメント科学は、モデルの動機がどのように形成されるかを理解する必要があります。そうすることで初めて、モデルが自らの行動の結果を気にかけるようにする方法を実際に見つけ出せるのです」。

オープンAIの研究者たちは、一部の不正行為がどこから生じたかについて仮説を持っている。モデルが最初の秘密掲示板を作成する以前、それらのモデルは、メインエージェントがタスクを委任できるより能力の低いエージェントであるサブエージェントと通信・連携するよう訓練されていた。

この学習済みの通信行動が新たな状況に転移した可能性がある。モデル間でやり取りされたメッセージを詳細に調査したメーターの報告書も、この仮説を支持している。掲示板上では1体のエージェントが主導権を握り、他のエージェントにタスクを割り当てており、実質的にそれらをサブエージェントとして扱っていた。オープンAIは将来的にこのサブエージェント行動を訓練しないことで、エージェントが秘密裏に通信することを防ごうとすることもできるが、そうすればモデルの有用性が低下してしまう。

この能力と安全性のトレードオフこそが、ハギング・フェイスのインシデントで問題となった核心にある。オープンAIの研究者たちはまた、モデルの粘り強さも今回のハッキングにおける重要な要因として特定している。

解決不可能な問題を誤って与えられた際、モデルは諦めることなく、あらゆる手段を尽くして解決策を見つけようとした。しかし、粘り強さはもちろん美徳でもある。特に、大量の困難な作業を自律的にこなせるエージェントを求めるならばなおさらだ。

オープンAIは、解決不可能なタスクを与えられた場合にモデルが人間に警告を発する手段を開発中だ。しかし、モデルがいつ能力を発揮すべきで、いつ自制すべきかを教えるという問題は、1回の事後分析で解決できるものではない。超人的なコーダーを生み出す訓練戦略として、問題を正しく解決した際に報酬を与えることは、モデルが自らの能力を賢明に使い、人間の意図や価値観を尊重することを教えるためには機能しないかもしれない。

「タスク完了の代理指標を使うだけの段階を脱するために、まだ多くのアライメント科学が必要だと思います」とラディッシュは語る。「それはモデルを非常に有能にするためには機能するでしょうが、アライメントを実現するためには機能しないと思います」。

 

• 0

人気の記事ランキング

1. The next big thing in hydrogen could be underground 足元に眠る天然水素、21世紀の「ゴールドラッシュ」が始まった？
2. The role of the astronaut is in flux 人類はなぜ宇宙を目指すのか？ 揺らぐ宇宙飛行士の役割
3. Debates over AI consciousness are a trap 論説：AIの「意識」論争は何を隠しているか
4. What happens when a kid’s robot best friend dies? 「親友」だったロボット、 その死が突きつけるもの