Forget Boston Dynamics. This robot taught itself to walk

二足歩行ロボをゼロから訓練、強化学習で＝UCバークレー

カリフォルニア大学バークレー校の研究チームは、強化学習の手法を使って、ロボットに二足歩行をゼロから習得させようとしている。人間サイズのロボットに歩行を自己学習させることで、さまざまな地形に対応する能力や、転んだり損傷を負ったりした際に回復する能力を獲得させられるかもしれない。 by Will Douglas Heaven2021.04.12

「キャシー（Cassie）」という二足歩行ロボットが強化学習による歩行訓練を受けている。強化学習は、試行錯誤を通じて人工知能（AI）に複雑な動きを教える訓練手法だ。強化学習を使って二本足のロボットにゼロから歩行を教えるのは史上初の試み。学習内容には、かがんだ姿勢で歩いたり、荷物を突然持たされながら歩いたりする能力も含まれる。

ボストン・ダイナミクス（Boston Dynamics）が一時公開してバズった一連の映像のおかげで、ロボットができることに対する期待は高まっている。ヒト型ロボット「アトラス（Atlas）」が一本足で立ったり、箱の上をジャンプしたり、踊ったりする様子が映っている映像だ。これらの映像はかなりの再生回数を稼いでおり、パロディの映像まである。確かにアトラスの動作制御は見事なものだが、踊っている部分はおそらく人の手による調整が多く入っているようだ（ボストン・ダイナミクスは詳細を公表していないため、どれくらい人の手が入っているかを断言するのは難しい）。

「ボストン・ダイナミクスの映像を見た人は、すでに解決済みの簡単な問題だと思うかもしれません」。同僚とともにキャシーを開発したカリフォルニア大学バークレー校のリー・チョンユ博士はそう語る。「しかしながら、人間環境の中でヒト型ロボットを確実に動かして活動させるには、まだまだ長い時間がかかります」。キャシーはまだ踊ることはできない。だが人間サイズのロボットに歩行を自己学習させることで、さまざまな地形に対応する能力や、転んだり損傷を負ったりした際に回復する能力の獲得にいくらか近づいた。

シミュレーション環境の中のロボットを歩かせるのに強化学習が使われたことはこれまでにもあった。だが、そうした能力を現実世界に移植するのは楽ではない。「バーチャル・エージェントの映像の多くは、現実とはほど遠いものです」。スタンフォード大学で人工知能（AI）やロボットの研究に従事するチェルシー・フィン助教授（今回の研究には参加していない）はそう語る。バーチャル環境内でシミュレーションされた物理法則と、現実世界の物理法則とのわずかな差（ロボットの足と地面との間に働く摩擦など）が、ロボットが学習内容を応用しようとした際に大きな失敗につながることがある。重い二本足ロボットは、動きが少しでも乱れるとバランスを失い、転倒する可能性があるのだ。

しかしながら、現実世界で試行錯誤しながら大型ロボットを訓練するのは危険性が高い。そうした問題を回避するため、バークレー校のチームは2段階のバーチャル環境を用意した。第1段階では、シミュレーション版のキャシーが、ロボット動作に関する既存の大規模なデータベースを利用して歩行を学習した。その後、シミュレーションは、「シムメカニクス（SimMechanics）」という第2段階の仮想環境に移行された。シムメカニクスには現実世界の物理が高い精度で反映されているが、その代わりに速度は現実世界より遅くなる。この環境でキャシーがうまく歩けるようになれば、実際のロボットに搭載できる歩行モデルが学習されたことになる。

現実世界のキャシーは、シミュレーションで学習したモデルを使って、微調整を追加することなく歩くことできた。デコボコした場所や滑りやすい場所を歩き、突然持たされた荷物を運び、押されても立ち直ることができたのだ。テスト中に右足の2つのモーターが壊れたが、動作の修正にも成功した。フィン助教授は、キャシーの研究をとても刺激的だと思っている。インペリアル・カレッジ・ロンドンでロボット学習ラボ（Robot Learning Lab）を率いるエドワード・ジョーンズ博士も同じ意見であり、「これまで見た中で一番成功した例のひとつです」と述べている。

バークレー校のチームは、今回のアプローチを使ってキャシーの動作のレパートリーを増やしたいと考えている。だが、キャシーと人間とのダンス対決を期待するのは時期尚早だろう。

人気の記事ランキング

ウィル・ダグラス・ヘブン [Will Douglas Heaven]米国版 AI担当上級編集者: AI担当上級編集者として、新研究や新トレンド、その背後にいる人々を取材しています。前職では、テクノロジーと政治に関するBBCのWebサイト「フューチャー・ナウ（Future Now）」の創刊編集長、ニュー・サイエンティスト（New Scientist）誌のテクノロジー統括編集長を務めていました。インペリアル・カレッジ・ロンドンでコンピュータサイエンスの博士号を取得しており、ロボット制御についての知識があります。