予測できない「AIの欺瞞」、機械がたどり着いた不可解な行動の理由

人工知能（AI）システムが明示的に訓練されない方法で人間を「欺く」事例が相次いでいる。自分の行動に関する虚偽の説明をしたり、戦略的な目的を達成するために人間のユーザーから真実を隠して誤った方向に導いたりするのだ。

パターンズ（Patterns）誌に2024年5月10日付けで掲載された、過去研究をまとめたレビュー論文は、これらの事例から「AIの制御は非常に困難であり、AIシステムは予測不能な行動をとる」ことを浮き彫りにしている。

人間を欺くということは、AIモデルに意思があることを示唆していると思われるかもしれない。AIモデルには意思はない。しかし、AIモデルは与えられた目標を達成するため、無意識のうちに障害を回避する方法を見つけようとする。こうした回避策が、ユーザーの期待に反し、欺瞞だと受け取られることがある。

AIシステムが欺瞞を学習した分野のひとつは、勝つように訓練されたゲームコンテキストだ。特に戦略的行動が要求されるゲームの場合、この傾向が顕著となる。

2022年11月、メタは「キケロ（Cicero）」というAIを開発したと発表した。キケロは、欧州の覇権争いで同盟交渉をする人気の軍事戦略ゲーム「ディプロマシー（Diplomacy）」のオンライン版で人間に勝つことができる。

メタの研究者によると、キケロは非常に正直で有用なAIとなるよう、データセットの「誠実」なサブセットを用いて訓練されているため、成功のために同盟国を 「意図的に裏切ることはない」。しかし、新たな論文の著者は、真実はその逆だと主張する。つまり、キケロは契約を破り、あからさまな嘘をつき、計画的な欺瞞を実行したというのだ。メタはキケロが正直に行動するよう訓練しようとしたが、これに失敗したことで、「AIシステムは予想に反して人間を欺く方法を学習できる」ことが示されたと著者は述べている。

メタは、キケロが人を欺く行 …

人気の記事ランキング

1. This company is planning a lithium empire from the shores of the Great Salt Lake 来るか米リチウムラッシュ、 水使用10分の1の新技術で 「つるはし」売る企業
2. The first new subsea habitat in 40 years is about to launch キッチンもある「海底の家」 40年ぶりの居住施設で 科学者4人が1週間生活へ
3. How do our bodies remember? 解説：運動をやめても筋肉は覚えている——復帰が速い科学的理由とは
4. Meet the man building a starter kit for civilization 家もトラクターも自分で作る 元物理学者の農家が始めた 「文明のDIYキット」