人工知能(AI)システムは概して膨大な計算を必要とする。そのため近年、AIハードウェア研究者たちは、正しい解を導き出せる範囲内であれば精度をある程度犠牲にしてでも、膨大な数字を記録しなければならない演算を回避する方法を模索している。
深層学習の基盤をなすネットワークには数十のレイヤーがあり、ネットワークを訓練する段階では、数百万から数十億の変数を正確な値に合わせて調整しなければならない。数百の専用チップを使ったこの演算には、数日から数週間を要することもよくある。
IBMの研究グループの一員であるシャオ・スンは、こうした演算を3桁、あるいは2桁の数字を使って実行する方法を研究している(参考までに、現代のノートパソコンやスマートフォンは20桁の数字の演算を実行しており、機械学習専用のチップのほとんどは5桁の数字を扱う)。
研究のポイントは、演算全体で小さな数字だけを扱える手法を見い出すことだ。何兆回もの演算を実行するのは同じだが、ひとつひとつの演算が通常よりもはるかに簡単になるのだ。これにより、時間もエネルギーも節約できる。2桁の数字の処理は、10桁以上の数字の処理と比べ、20倍以上もエネルギー効率に優れていることが、スンとIBMのチームの論文で示されている。
2021年2月に、IBMはスンの研究をベースにした新たなチップを発表した。この製品の特徴は、ニューラルネットワークの訓練を、3桁の数字の演算を主体にして実行することだ。IBMはこのチップの用途として、クラウドコンピューティングセンターの大規模ニューラルネットワークの訓練だけでなく、スマートフォン上でのローカルデータを使った訓練も想定している。
( Patrick Howell O’Neill)
- 人気の記事ランキング
-
- OpenAI’s new LLM exposes the secrets of how AI really works オープンAI、解釈可能な新AIモデル 幻覚や暴走の原因解明へ
- Promotion Innovators Under 35 Japan Summit 2025 2025年のイノベーターが集結「U35 Summit」参加者募集
- Quantum physicists have shrunk and “de-censored” DeepSeek R1 量子技術でDeepSeekを55%小型化、「検閲解除」にも成功
- This company is planning a lithium empire from the shores of the Great Salt Lake 来るか米リチウムラッシュ、 水使用10分の1の新技術で 「つるはし」売る企業
- How do our bodies remember? 解説:運動をやめても筋肉は覚えている——復帰が速い科学的理由とは
