予測できない「AIの欺瞞」、機械がたどり着いた不可解な行動の理由

人工知能（AI）システムが明示的に訓練されない方法で人間を「欺く」事例が相次いでいる。自分の行動に関する虚偽の説明をしたり、戦略的な目的を達成するために人間のユーザーから真実を隠して誤った方向に導いたりするのだ。

パターンズ（Patterns）誌に2024年5月10日付けで掲載された、過去研究をまとめたレビュー論文は、これらの事例から「AIの制御は非常に困難であり、AIシステムは予測不能な行動をとる」ことを浮き彫りにしている。

人間を欺くということは、AIモデルに意思があることを示唆していると思われるかもしれない。AIモデルには意思はない。しかし、AIモデルは与えられた目標を達成するため、無意識のうちに障害を回避する方法を見つけようとする。こうした回避策が、ユーザーの期待に反し、欺瞞だと受け取られることがある。

AIシステムが欺瞞を学習した分野のひとつは、勝つように訓練されたゲームコンテキストだ。特に戦略的行動が要求されるゲームの場合、この傾向が顕著となる。

2022年11月、メタは「キケロ（Cicero）」というAIを開発したと発表した。キケロは、欧州の覇権争いで同盟交渉をする人気の軍事戦略ゲーム「ディプロマシー（Diplomacy）」のオンライン版で人間に勝つことができる。

メタの研究者によると、キケロは非常に正直で有用なAIとなるよう、データセットの「誠実」なサブセットを用いて訓練されているため、成功のために同盟国を 「意図的に裏切ることはない」。しかし、新たな論文の著者は、真実はその逆だと主張する。つまり、キケロは契約を破り、あからさまな嘘をつき、計画的な欺瞞を実行したというのだ。メタはキケロが正直に行動するよう訓練しようとしたが、これに失敗したことで、「AIシステムは予想に反して人間を欺く方法を学習できる」ことが示されたと著者は述べている。

メタは、キケロが人を欺く行 …

人気の記事ランキング

1. Fusion power plants don’t exist yet, but they’re making money anyway 稼働ゼロでも巨額調達、なぜ「核融合」に資金が集まるのか？
2. This giant microwave may change the future of war 群ドローンを一斉無力化、 米軍注目のマイクロ波兵器は ミサイル防衛よりも高コスパ
3. An oil and gas giant signed a $1 billion deal with Commonwealth Fusion Systems 核融合のコモンウェルスが10億ドルの契約獲得、石油大手エニが顧客に
4. Weight-loss injections have taken over the internet. But what does this mean for people IRL? 週1回の注射で痩せる 「驚異の減量薬」 ブームに潜む危険