予測できない「AIの欺瞞」、機械がたどり着いた不可解な行動の理由

人工知能（AI）システムが明示的に訓練されない方法で人間を「欺く」事例が相次いでいる。自分の行動に関する虚偽の説明をしたり、戦略的な目的を達成するために人間のユーザーから真実を隠して誤った方向に導いたりするのだ。

パターンズ（Patterns）誌に2024年5月10日付けで掲載された、過去研究をまとめたレビュー論文は、これらの事例から「AIの制御は非常に困難であり、AIシステムは予測不能な行動をとる」ことを浮き彫りにしている。

人間を欺くということは、AIモデルに意思があることを示唆していると思われるかもしれない。AIモデルには意思はない。しかし、AIモデルは与えられた目標を達成するため、無意識のうちに障害を回避する方法を見つけようとする。こうした回避策が、ユーザーの期待に反し、欺瞞だと受け取られることがある。

AIシステムが欺瞞を学習した分野のひとつは、勝つように訓練されたゲームコンテキストだ。特に戦略的行動が要求されるゲームの場合、この傾向が顕著となる。

2022年11月、メタは「キケロ（Cicero）」というAIを開発したと発表した。キケロは、欧州の覇権争いで同盟交渉をする人気の軍事戦略ゲーム「ディプロマシー（Diplomacy）」のオンライン版で人間に勝つことができる。

メタの研究者によると、キケロは非常に正直で有用なAIとなるよう、データセットの「誠実」なサブセットを用いて訓練されているため、成功のために同盟国を 「意図的に裏切ることはない」。しかし、新たな論文の著者は、真実はその逆だと主張する。つまり、キケロは契約を破り、あからさまな嘘をつき、計画的な欺瞞を実行したというのだ。メタはキケロが正直に行動するよう訓練しようとしたが、これに失敗したことで、「AIシステムは予想に反して人間を欺く方法を学習できる」ことが示されたと著者は述べている。

メタは、キケロが人を欺く行 …

人気の記事ランキング

1. We finally have a definition for open-source AI 「オープンソースAI」問題ついに決着、OSIが定義を発表
2. Here’s how people are actually using AI カネにならない生成AIブーム、LLMはどう使われているか？
3. The US physics community is not done working on trust 物理学界で繰り返される研究不正、再発防止には何が必要か
4. Maybe you will be able to live past 122 人は何歳まで生きられるのか？ 寿命の限界を探る人類の試み