KADOKAWA Technology Review
×
4ビットで深層学習、
IBMが「小さなAI」考案
Ms Tech | Wellcome Collection
知性を宿す機械 Insider Online限定
Tiny four-bit computers are now all you need to train AI

4ビットで深層学習、
IBMが「小さなAI」考案

最近の人工知能(AI)の研究で主流となっている大規模モデルの訓練では、膨大な計算機リソースや電力が必要となる。IBMは、AIモデルのパフォーマンスを大きく落とすことなく、4ビットでAIを訓練できる方法を発表した。 by Karen Hao2020.12.17

深層学習(ディープラーニング)は、エネルギー効率が悪く、大量のエネルギーを消費する。莫大な量のデータと豊富な計算力のリソースを必要とし、電力消費が爆発的に増える。ここ数年間、全体的な研究動向がこの問題を悪化させてきた。数十億個のデータを使って数日間訓練する巨大な規模のモデルが流行しており、この傾向は当分の間、廃れることがないだろう。

新しい方向性を急いで見つけようとしてきた研究者たちもいる。例えば、より少ないデータで訓練可能なアルゴリズムや、そのようなアルゴリズムの実行を高速化できるハードウェアなどだ。そして今、IBMの研究者たちは異なる方法を提案している。彼らのアイデアは、データを表すのに必要なビット数、つまり「1」と「0」の数を減らすというものだ。現在の業界標準である16ビットから、わずか4ビットにするというのだ。

この取り組みは、毎年開催される世界最大級の人工知能(AI)研究カンファレンスである「神経情報処理システム(NeurIPS:Neural Information Processing Systems)」(2020年12月6日 ~12月12日)で発表された。深層学習の訓練速度を7倍以上に高速化し、エネルギー費用を7分の1以下に削減できる可能性があり、スマートフォンをはじめとする小型デバイスで強力な人工知能(AI)モデルを訓練できるようになるかもしれない。実現すれば、個人情報をローカルデバイスに留めておけるようになり、プライバシーが改善される。さらには、豊富なリソースを有する巨大テック企業に属していない研究者たちにとって、深層学習がもっと手の届きやすいものになるだろう。

ビットはどのように機能するのか

コンピューターは「1」と「0」を使って情報を保存するということはおそらく耳にしたことがあるだろう。この情報の基本単位は、ビットとして知られている。ビットが「オン」である時は「1」に相当し、「オフ」の時は「0」になる。言い換えれば、各ビットにはたった2つの情報しか保存できない。

しかし、ビットを繋ぎ合わせると、コード化できる情報量が指数関数的に増大する。2ビットは、2の2乗の組み合わせがあるので、「00」、「01」、「10」、「11」の4つの情報を表せる。4ビットは2の4乗で16個の情報を表すことができ、8ビットは2の8乗、つまり256個の情報を表すことができるといった具合だ。

複数のビットの適切な組み合わせによって、数字や文字、色といったデータの種類、あるいは、足し算や引き算、比較などの操作の種類を表せる。最近のノート型パソコンのほとんどは、32ビット、または64ビットのコンピューターだ。これは、このコンピューターが合計で2の32乗、または2の64乗個の情報しかコード化できないという意味ではない(そうだとしたら非常に貧相なコンピューターだ)。それだけの数のビットからなる複雑性を、各データや個別の操作のコード化に使用できるということなのだ。

4ビットの深層学習

それでは、4ビットの訓練とは何を意味するのだろうか。手始めに、4ビットのコンピューターがあるとしよう。つまり、4ビットの複雑性だ。これについて考えてみる方法は、例えば次の通り …

こちらは有料会員限定の記事です。
有料会員になると制限なしにご利用いただけます。
有料会員にはメリットがいっぱい!
  1. 毎月120本以上更新されるオリジナル記事で、人工知能から遺伝子療法まで、先端テクノロジーの最新動向がわかる。
  2. オリジナル記事をテーマ別に再構成したPDFファイル「eムック」を毎月配信。
    重要テーマが押さえられる。
  3. 各分野のキーパーソンを招いたトークイベント、関連セミナーに優待価格でご招待。
購読キャンペーン実施中
Innovators Under 35 Japan 2020

MITテクノロジーレビューが主催するグローバル・アワード「Innovators Under 35」が2020年、日本に上陸する。特定の分野や業界だけでなく、世界全体にとって重要かつ独創的なイノベーターを発信していく取り組みを紹介しよう。

記事一覧を見る
MITテクノロジーレビュー[日本版] Vol.3/Spring 2021
MITテクノロジーレビュー[日本版] Vol.3/Spring 2021Innovation Issue

AI/ロボット工学、コンピューター/電子機器、輸送、ソフトウェア、インターネット分野で活躍する13人の日本発のイノベーターを紹介。併せて、グローバルで活躍する35人のイノベーターの紹介と、注目のイノベーション分野の動向解説も掲載しました。
日本と世界のイノベーションの最新情報がまとめて読める1冊です。

詳細を見る
フォローしてください重要なテクノロジーとイノベーションのニュースをSNSやメールで受け取る