深層学習の父が出した、
「次のAI」の最新の答え

2020年11月、コンピューター科学者であり認知心理学者でもあるジェフリー・ヒントンは、ある予感を抱いていた。半世紀以上もの間、試行錯誤を繰り返し、大成功も収めたヒントンは、脳の仕組みと回路をコンピューターで再現する方法について、有望な洞察を新たに見い出したのだ。

「これが、現在私の組み上げた最善の答えです」。ヒントンはパンデミックの間、隔離されていたトロントの自宅オフィスで語った。ヒントンが正しければ、この仮説は次世代人工ニューラル・ネットワークの草分けとなるかもしれない。人工ニューラル・ネットワークは、脳のニューロンとシナプスにおおまかなヒントを得て作られた数学的計算システムであり、現在の人工知能（AI）の中核をなしている。ヒントンの「本当の動機」は、好奇心だという。だが、現実的な動機として、理想的には最終的に達成したいと思っているのは、より確かでより信頼できるAIを実現することである。

グーグルのエンジニアリング・フェローであり、ベクターAI研究所（Vector Institute for Artificial Intelligence）の共同設立者でもあるヒントンは、自分の直感を少しずつ書き上げ、2021年2月末、44ページの論文をアーカイブ（arXiv）のプレプリント・サーバー（査読前の論文を投稿して一般に公開するためのサイト）に投稿したとツイッターで発表した。その書き出しはこうだ。「この論文は実際に機能しているシステムについて記述しているわけではありません。それどころか、『想像上のシステム』について書いたものです」。ヒントンはこのシステムを「GLOM」と名付けた。GLOMとは、「かたまりにする（agglomerate）」と「つかんで合わせる（glom together）」という表現に由来している。

ヒントンは、GLOMを用いて人間の知覚を機械でモデル化しようと考えている。GLOMは、ニューラル・ネットワークで視覚情報を処理し、表現する新しい方法を提示している。技術的には、似たベクトルをつなぎ合わせることを重要視している。ベクトルはニューラル・ネットワークの基本であり、情報をコード化した数値配列のことだ。最も単純な例は、3次元空間の点の位置を示す3つの数字であるxyz座標だ。6次元のベクトルは、さらに3つの情報が追加される。例えば、点の色を表す赤・緑・青の値などだ。ニューラル・ネットワークでは、数百から数千という次元のベクトルが、画像や言葉全体を表している。私たちの脳の中で起こっていることには、さらに高次元で、「神経活動の大きなベクトル」が関与しているとヒントンは考えている。

ヒントンは似たベクトルをつなぎ合わせることを比喩的に、同じような考えが増幅されるエコーチェンバーの力学になぞらえている。「エコーチェンバーは、政治や社会にとっては全く望ましくありませんが、ニューラル・ネットワークにとっては素晴らしいものです」と、ヒントンは言う。ヒントンは、ニューラル・ネットワークに投影されるエコーチェンバーの概念を「同一ベクトルの島」と呼んでいる。あるいはくだけた表現で、「同意の島」と呼ぶ。ベクトル情報の性質に関してベクトル同士が同意すると、同じ方向を向くためだ。

GLOMはさらに、直感をモデル化するというとらえどころのない目標も内々に掲げている。知覚には直感が不可欠だとヒントンは考えている。ヒントンの定義するところの直感とは、労力を要さずに類推できる能力のことだ。私たちは子どもの頃から、類推することで世界を理解してきた。物体や考え、概念に類似性を見出すのだ。ヒントンによれば、これはある大きなベクトルから別のベクトルに類似性を見い出すことだという。「ニューラル・ネットワークが直感的に類推する仕組みを、大きなベクトルの類似点が説明しています」と、ヒントンは言う。もっと広く言えば、直感とは人間の脳が洞察力を生み出す、言語化できない方法を意味する。ヒントンの仕事の仕方は非常に直感的だ。科学的な言い方をすれば、直感や類推というツールに導かれている。また、ヒントンの脳の仕組み論も、すべて直感に基づいている。「私は首尾一貫しています」とヒントンは言う。

GLOMは、AIが本当に迅速に問題を解決するために必要になるブレークスルーのひとつになるのではないかと、ヒントンは考えている。GLOMは、それまでに出会ったことのないものごとを理解できるという人間の様な思考回路を持つAIで、過去の経験から類似性を引き出し、さまざまな考えを取り出して、一般化、推定、理解することができる。「ニューラル・ネットワークがより人間に近くなれば、少なくとも人間と同じように間違えますから、何がAIを混乱させるのかを解明できるでしょう」と、ヒントンは言う。

だが、今のところ、GLOM自体は直感的なものでしかなく、「ベーパーウェア（構想段階にあり、完成するかどうか分からないもの）」だと、ヒントンは言う。また、GLOMの頭文字は「ジェフの（Geoff's）最後の（Last）オリジナル・モデル（Original Model）」とも読めると認める。確かにGLOMは、ヒントンにとって少なくとも最新の（latest）モデルだ。

既成の型に収まらない

ヒントンが20世紀半ばに発明された人工ニューラル・ネットワークに傾倒するようになったのは、1970年代初頭のことだ。1986年にはヒントンの研究はかなりの進歩を遂げていた。当初は入力と出力の2つのニューロン層だけで構成されていたが、ヒントンと共同研究者たちは、より深い多層構造のネットワークを作る技術を開発した。だが、コンピューターの処理能力とデータ容量が追いつき、深層構造を活用できるようになるまでに26年の歳月を要した。

2012年、ヒントンは深層学習の飛躍的な進歩により、名声と富を手に入れた。ヒントンは2人の学生とともに膨大な画像データの中から物体を認識するように訓練された多層ニューラル・ネットワークを実装したのだ。ダニやキノコ、モータースクーター、マダガスカルキャットなど、さまざまなものの分類や識別を反復して改善することを学習したニューラル・ネットワークは、予想を上回る正確さでさまざまな物体を識別した。

深層学習は最新のAI革命を引き起こし、コンピュータービジョンとその分野全体を大きく変えた。ヒントンは、人間の知能を完全に再現するには、深層学習でほぼ十分だと考えている。

だが、急速な進歩をとげたものの、まだいくつもの大きな課題がある。ニューラル …