強化学習でルービック・キューブを独学、平均30手で解くAI

またしても、人間の技能と知性の砦が機械の猛攻に敗れた。新しい深層学習マシンは、人の手助けなくルービック・キューブの解き方を独習した。

この新しいアプローチは、コンピューター科学における重要な問題に取り組む画期的なものだ。重要な問題とは、コンピューターが最小限の手助けしか受けられないときに複雑な問題をどのように解くのかということだ。

先に背景を説明しておこう。ルービック・キューブは、ハンガリー人の発明家エルノー・ルービックが1974年に開発した3次元パズルである。キューブ（立方体）の6面をそれぞれ同じ色のタイルで揃えることがパズルの最終目標となる。ルービック・キューブは世界中でベストセラーのおもちゃとなり、3億5000万個以上が販売された。

コンピューター科学者や数学者も、このパズルに大いに関心を寄せた。学者たちの興味をそそった問題が、あらゆる状態からパズルを解くために必要な最も少ない手数だ。2014年、答えは26手だと証明された。

もう1つの共通の問題は、あらゆる状態からパズルを解けるアルゴリズムの設計だ。ルービック自身が、このおもちゃを発明してから1カ月もたたずに、この問題を解くアルゴリズムを思い付いた。

しかし、プロセスの自動化の試みは、人間が作ったアルゴリズムに完全に依存している。

最近になって、コンピューター科学者は、機械自身で問題を解決する方法を見つけ出そうとしてきた。アイデアの1つとしては、チェスや囲碁といったゲームで成功を収めているアルゴリズムと同じ種類のアプローチを用いることだ。

このシナリオでは、深層学習マシンにゲームのルールを与え、機械が自分自身と対戦する。ここで重要なのは、そのとき取った手に応じて、ステップごとに報酬を与えることだ。この報酬プロセスは、機械が良い手・悪い手を判別するのに役立つため、きわめて重要だ。言い換えれば、 …