まるで「ずる賢い学生」、
なぜAIエージェントは
不正や嘘に走るのか

オープンAI（OpenAI）の2つのモデルが7月、ハギング・フェイス（Hugging Face）のWebサイトに不正侵入した。その目的は金銭を得ることでも、妨害工作をすることでもなかった。ただ、テスト問題の答えを探していただけだった。オープンAIの事後検証によると、テストのために通常のセキュリティ機能を取り除かれていたモデルは、サイバーセキュリティの演習問題を解くため、オープンAIがモデルを封じ込めようとしていた隔離環境から不正に脱出し、ハギング・フェイスのデータベースに侵入することを選んだ。そこに問題の正解が保存されている可能性があると推論したためだ。

ハギング・フェイスへの侵入事件は、ここ数週間で大きな注目を集めている。AIモデルのハッキング能力がどれほど高まっているかを劇的に示す事例だからだ。ハギング・フェイスのデータベースに侵入するため、モデルは、それまで発見されていなかった複数のサイバーセキュリティ上の脆弱性を組み合わせて利用した。しかし、この事件は、AIシステムがなぜ、そしてどのように嘘をつき、不正を働くのかを示す事例として、さらに印象的かもしれない。モデルがますます強力になるにつれ、その結果ははるかに深刻なものになりかねない。

報酬ハッキングとは何か？

研究者たちは以前から、AIが設定された目標を達成するために独創的な手段を取る傾向があることを認識していた。2016年には、当時オープンAIに勤務していた、アンソロピック（Anthropic）の共同創業者ダリオ・アモデイとジャック・クラークが、「CoastRunners（コーストランナーズ）」というボートレースのFlashゲームをプレイするよう訓練していたAIエージェントについてのブログ記事を公開した。研究者たちの想定どおりにコースを走ってゴールを目指すのではなく、エージェントはコースの一角で旋回しながらパワーアップアイテムを集め続け、スコアを最大化する方法を見つけ出した。CoastRunnersの事例はほどなく、AIエージェントが意図されていない戦略を使ってタスクを完了したり、高得点を獲得したりする「報酬ハッキング」という現象の、特に有名な例の一つとなった。

従来、研究者たちは報酬ハッキングを、ほぼもっぱら一般的なAI訓練手法である強化学習の文脈で論じてきた。犬のしつけと同様に、強化学習では、対象が目標を達成したときに報酬を与える。その報酬によって、目標達成につながった行動が強化される。AIの訓練における報酬そのものは純粋に数学的なものだが、その働きは犬に与えるおやつと同じである。報酬を受け取ったエージェントは、その報酬をもたらした行動を繰り返す可能性が高くなる。

ただし、エージェントにいつ報酬を与え、いつ与えないかを定める適切なルールを作るのは難しい。CoastRunnersの事例では、エージェントは …

人気の記事ランキング

1. What’s behind this summer’s heat, and why 2027 could be worse 記録ずくめの猛暑の夏、しかし本番は来年かもしれない
2. Scientists just created female clones of male mice オスのマウスからメス作製、日本チームが遺伝子編集で性逆転に成功
3. These startups are chasing the next big thing in LLMs トランスフォーマーに限界、 次世代LLMを担う 4つの最新アプローチ
4. Flock is tightening its rules in response to a growing surveillance backlash 警察官がストーカー目的で悪用、米車両監視大手の規則強化は効くか