まるで「ずる賢い学生」、
なぜAIエージェントは
不正や嘘に走るのか

オープンAI（OpenAI）の2つのモデルが7月、ハギング・フェイス（Hugging Face）のWebサイトに不正侵入した。その目的は金銭を得ることでも、妨害工作をすることでもなかった。ただ、テスト問題の答えを探していただけだった。オープンAIの事後検証によると、テストのために通常のセキュリティ機能を取り除かれていたモデルは、サイバーセキュリティの演習問題を解くため、オープンAIがモデルを封じ込めようとしていた隔離環境から不正に脱出し、ハギング・フェイスのデータベースに侵入することを選んだ。そこに問題の正解が保存されている可能性があると推論したためだ。

ハギング・フェイスへの侵入事件は、ここ数週間で大きな注目を集めている。AIモデルのハッキング能力がどれほど高まっているかを劇的に示す事例だからだ。ハギング・フェイスのデータベースに侵入するため、モデルは、それまで発見されていなかった複数のサイバーセキュリティ上の脆弱性を組み合わせて利用した。しかし、この事件は、AIシステムがなぜ、そしてどのように嘘をつき、不正を働くのかを示す事例として、さらに印象的かもしれない。モデルがますます強力になるにつれ、その結果ははるかに深刻なものになりかねない。

報酬ハッキングとは何か？

研究者たちは以前から、AIが設定された目標を達成するために独創的な手段を取る傾向があることを認識していた。2016年には、当時オープンAIに勤務していた、アンソロピック（Anthropic）の共同創業者ダリオ・アモデイとジャック・クラークが、「CoastRunners（コーストランナーズ）」というボートレースのFlashゲームをプレイするよう訓練していたAIエージェントについてのブログ記事を公開した。研究者たちの想定どおりにコースを走ってゴールを目指すのではなく、エージェントはコースの一角で旋回しながらパワーアップアイテムを集め続け、スコアを最大化する方法を見つけ出した。CoastRunnersの事例はほどなく、AIエージェントが意図されていない戦略を使ってタスクを完了したり、高得点を獲得したりする「報酬ハッキング」という現象の、特に有名な例の一つとなった。

従来、研究者たちは報酬ハッキングを、ほぼもっぱら一般的なAI訓練手法である強化学習の文脈で論じてきた。犬のしつけと同様に、強化学習では、対象が目標を達成したときに報酬を与える。その報酬によって、目標達成につながった行動が強化される。AIの訓練における報酬そのものは純粋に数学的なものだが、その働きは犬に与えるおやつと同じである。報酬を受け取ったエージェントは、その報酬をもたらした行動を繰り返す可能性が高くなる。

ただし、エージェントにいつ報酬を与え、いつ与えないかを定める適切なルールを作るのは難しい。CoastRunnersの事例では、エージェントは …

人気の記事ランキング

1. How lasers could help provide fuel for nuclear reactors 核廃棄物は「地上ウラン鉱山」、レーザー濃縮で再生を狙う
2. How an overlooked geothermal plant got a second chance もっと深く掘れ——採算割れの地熱発電所を米新興企業が再生
3. Supercooled kidneys have been transplanted into pigs in a “landmark achievement” ブタ腎臓を過冷却で保存、 72時間後の再移植に成功 ——臨床標準より回復速く
4. OpenAI called the Hugging Face attack unprecedented. But we’ve been here before.  「AIの暴走」ではない、オープンAIのモデルが不正侵入した理由