ニューラルネットの解釈性を高める新アプローチ、MITなど提案

ニューラル・ネットワークで人工ニューロンが機能する方法に少し手を加えれば、人工知能（AI）の解読がもっと容易になるかもしれない。

多層ニューラル・ネットワークの基本的な構成要素である人工ニューロンは、数十年にわたりほとんど変わることなく使われてきた。そのようなネットワークは現代のAIに力を与えている一方で、謎めいてもいる。

GPT-4のような大規模言語モデルで使われている既存の人工ニューロンは、多数の入力を取り込み、それらを足し合わせ、その合計をニューロン内部で別の関数を使って出力に変換することにより機能する。このようなニューロンの組み合わせがニューラル・ネットワークを作り上げており、その複合的な仕組みを解読するのは困難な場合がある。

しかし、今回提唱されたニューロンを組み合わせるための新しい方法は、少し異なる仕組みで機能する。既存のニューロンの複雑さの一部が単純化され、かつ、ニューロンの外部に移される。内部では、新しいニューロンが入力を単純に合計して出力を生成し、それ以上の隠れた操作は必要ない。この新たなニューロンのネットワークは、着想したロシアの数学者にちなんで「コルモゴロフ・アーノルド・ネットワーク（Kolmogorov-Arnold Network：KAN）」と呼ばれる。

マサチューセッツ工科大学（MIT）の研究者たちが率いるグループによって詳細に研究されたこの単純化の仕組みにより、ニューラル・ネットワークが特定の出力を生成する理由の理解や、ネットワークによって下された決定の検証、さらにはバイアスの調査がより簡単になる。また、予備的な証拠によれば、KANの規模を大きくすればするほど、正確さが向上するスピードが従来のニューロンで構築されたネットワークよりも速くなる。

「面白い研究です」と、ニューヨーク大学で機械学習の基礎を研究しているアンドリュー・ウィルソン准教授は言う。「このようなネットワークの設計を根本から考え直そうとしているのは、素晴らしいことです」。

KANの基本要素は実際には1990年代に提案された。それ以来、研究者たちがそのようなネットワークの単純なバージョンの構築を続けてきた。しかし、MITが主導する研究チームがこのアイデアをさらに発展させ、より大規模なKANを構築して訓練する方法を示し、それらについて実証実験をした。そしていくつかのKANを分析し、その問題解決能力を人間がどのように解釈できるか実際に示して見せた。「私たちはこのアイデアに新しい命を吹き込みました」と、チームメンバーのジミン・リュウは言う。リュウ …

人気の記事ランキング

1. How lasers could help provide fuel for nuclear reactors 核廃棄物は「地上ウラン鉱山」、レーザー濃縮で再生を狙う
2. How an overlooked geothermal plant got a second chance もっと深く掘れ——採算割れの地熱発電所を米新興企業が再生
3. Supercooled kidneys have been transplanted into pigs in a “landmark achievement” ブタ腎臓を過冷却で保存、 72時間後の再移植に成功 ——臨床標準より回復速く
4. OpenAI called the Hugging Face attack unprecedented. But we’ve been here before.  「AIの暴走」ではない、オープンAIのモデルが不正侵入した理由