シャオ・スン(IBM)

Xiao Sun シャオ・スン(IBM)

ニューラル・ネットワークを訓練する際の演算を2桁あるいは3桁で実行することにより、機械学習に要するエネルギーと時間を大幅に節約できる手法を開発している。 by MIT Technology Review Editors2022.01.12

人工知能(AI)システムは概して膨大な計算を必要とする。そのため近年、AIハードウェア研究者たちは、正しい解を導き出せる範囲内であれば精度をある程度犠牲にしてでも、膨大な数字を記録しなければならない演算を回避する方法を模索している。

深層学習の基盤をなすネットワークには数十のレイヤーがあり、ネットワークを訓練する段階では、数百万から数十億の変数を正確な値に合わせて調整しなければならない。数百の専用チップを使ったこの演算には、数日から数週間を要することもよくある。

IBMの研究グループの一員であるシャオ・スンは、こうした演算を3桁、あるいは2桁の数字を使って実行する方法を研究している(参考までに、現代のノートパソコンやスマートフォンは20桁の数字の演算を実行しており、機械学習専用のチップのほとんどは5桁の数字を扱う)。

研究のポイントは、演算全体で小さな数字だけを扱える手法を見い出すことだ。何兆回もの演算を実行するのは同じだが、ひとつひとつの演算が通常よりもはるかに簡単になるのだ。これにより、時間もエネルギーも節約できる。2桁の数字の処理は、10桁以上の数字の処理と比べ、20倍以上もエネルギー効率に優れていることが、スンとIBMのチームの論文で示されている。

2021年2月に、IBMはスンの研究をベースにした新たなチップを発表した。この製品の特徴は、ニューラルネットワークの訓練を、3桁の数字の演算を主体にして実行することだ。IBMはこのチップの用途として、クラウドコンピューティングセンターの大規模ニューラルネットワークの訓練だけでなく、スマートフォン上でのローカルデータを使った訓練も想定している。

( Patrick Howell O’Neill)