
人工知能(AI)システムは概して膨大な計算を必要とする。そのため近年、AIハードウェア研究者たちは、正しい解を導き出せる範囲内であれば精度をある程度犠牲にしてでも、膨大な数字を記録しなければならない演算を回避する方法を模索している。
深層学習の基盤をなすネットワークには数十のレイヤーがあり、ネットワークを訓練する段階では、数百万から数十億の変数を正確な値に合わせて調整しなければならない。数百の専用チップを使ったこの演算には、数日から数週間を要することもよくある。
IBMの研究グループの一員であるシャオ・スンは、こうした演算を3桁、あるいは2桁の数字を使って実行する方法を研究している(参考までに、現代のノートパソコンやスマートフォンは20桁の数字の演算を実行しており、機械学習専用のチップのほとんどは5桁の数字を扱う)。
研究のポイントは、演算全体で小さな数字だけを扱える手法を見い出すことだ。何兆回もの演算を実行するのは同じだが、ひとつひとつの演算が通常よりもはるかに簡単になるのだ。これにより、時間もエネルギーも節約できる。2桁の数字の処理は、10桁以上の数字の処理と比べ、20倍以上もエネルギー効率に優れていることが、スンとIBMのチームの論文で示されている。
2021年2月に、IBMはスンの研究をベースにした新たなチップを発表した。この製品の特徴は、ニューラルネットワークの訓練を、3桁の数字の演算を主体にして実行することだ。IBMはこのチップの用途として、クラウドコンピューティングセンターの大規模ニューラルネットワークの訓練だけでなく、スマートフォン上でのローカルデータを使った訓練も想定している。
( Patrick Howell O’Neill)
- 人気の記事ランキング
-
- AI crawler wars threaten to make the web more closed for everyone 失われるWebの多様性——AIクローラー戦争が始まった
- IU35 Japan Summit 2024: Nobuyuki Yoshioka 「量子コンピューターの用途解明、新たな応用へ」吉岡信行
- OpenAI releases its new o3-mini reasoning model for free オープンAI、推論モデル「o3-mini」を無料提供
- Inside the race to archive the US government’s websites 米政府系サイトが続々閉鎖、 科学者らが緊急保存作戦