サッカー・ボットがゴールを狙おうとする。しかし、ゴールキーパーは、シュートをブロックする準備をする代わりに、地面に倒れて足をクネクネさせ始める。 するとストライカーは混乱して奇妙な横向きの小躍りをし、足をジタバタさせ、片方の腕を振り回して倒れこむ。ゴールキーパーの勝ちだ。
これはプロが使う戦術ではないが、深層強化学習により訓練された人工知能（AI）が、これまで考えられていたよりも攻撃に対して脆弱だということを示している。強化学習は「アルファゼロ（AlphaZero）」や「オープンAI ファイブ（OpenAI Five）」など最先端のゲームプレイAIで使用されている技術であり、こうした脆弱性は深刻な結果をもたらす可能性がある。
過去数年間で研究者は、教師つき学習と呼ばれるラベル付きデータを使用して訓練されたAIをダメにする多くの方法を発見した。画像の数ピクセルを変更するなど、AIの入力にわずかな細工をするだけで完全に混乱させることが可能で、たとえばナマケモノの画像をレーシングカーと識別させることができる。こうしたいわゆる敵対的攻撃には確実な対応策はない。
教師あり学習と比較して強化学習は比較的新しい手法であり、まだあまり研究されていない。しかし、強化学習もまた、細工した入力に対して脆弱であることがわかった。強化学習ではさまざまな状況での振る舞いをAIに教えるために、正しいことをしたときに報酬を与える。 AIはやがてポリシーと呼ばれる行動計画を学習する。ポリシーはゲームをプレイするだけでなく、AIに車を運転させたり自動取引システムを実行させたりすることも可能だ。
2017年、ディープマインドに所属するサンディ・ファンらは、古典的なビデオゲーム「ポン（Pong）」をプレイするための強化学習で訓練したAIについて調べた。 そして、ビデオ入力のフレームに単一の不正ピクセルを追加す …