ニューラルネットの解釈性を高める新アプローチ、MITなど提案

画像認識などのタスクでニューラル・ネットワークがなぜそのように出力をするのか、これまで理由を説明できなかった。MITなどの研究チームが提唱する「KAN」と呼ばれるシンプルなニューラル・ネットワークは、その理由を説明できるかもしれない。 by Anil Ananthaswamy2024.09.05

この記事の3つのポイント

ニューラル・ネットワークの人工ニューロンを単純化する新手法をMITなどが提案
KANと呼ばれるこの手法は解釈性に優れ、精度向上も早い
欠点は訓練に多くの時間と計算資源を要することである

summarized by Claude 3

ニューラル・ネットワークで人工ニューロンが機能する方法に少し手を加えれば、人工知能（AI）の解読がもっと容易になるかもしれない。

多層ニューラル・ネットワークの基本的な構成要素である人工ニューロンは、数十年にわたりほとんど変わることなく使われてきた。そのようなネットワークは現代のAIに力を与えている一方で、謎めいてもいる。

GPT-4のような大規模言語モデルで使われている既存の人工ニューロンは、多数の入力を取り込み、それらを足し合わせ、その合計をニューロン内部で別の関数を使って出力に変換することにより機能する。このようなニューロンの組み合わせがニューラル・ネットワークを作り上げており、その複合的な仕組みを解読するのは困難な場合がある。

しかし、今回提唱されたニューロンを組み合わせるための新しい方法は、少し異なる仕組みで機能する。既存のニューロンの複雑さの一部が単純化され、かつ、ニューロンの外部に移される。内部では、新しいニューロンが入力を単純に合計して出力を生成し、それ以上の隠れた操作は必要ない。この新たなニューロンのネットワークは、着想したロシアの数学者にちなんで「コルモゴロフ・アーノルド・ネットワーク（Kolmogorov-Arnold Network：KAN）」と呼ばれる。

マサチューセッツ工科大学（MIT）の研究者たちが率いるグループによって詳細に研究されたこの単純化の仕組みにより、ニューラル・ネットワークが特定の出力を生成する理由の理解や、ネットワークによって下された決定の検証、さらにはバイアスの調査がより簡単になる。また、予備的な証拠によれば、KANの規模を大きくすればするほど、正確さが向上するスピードが従来のニューロンで構築されたネットワークよりも速くなる。

「面白い研究です」と、ニューヨーク大学で機械学習の基礎を研究しているアンドリュー・ウィルソン准教授は言う。「このようなネットワークの設計を根本から考え直そうとしているのは、素晴らしいことです」。

KANの基本要素は実際には1990年代に提案された。それ以来、研究者たちがそのようなネットワークの単純なバージョンの構築を続けてきた。しかし、MITが主導する研究チームがこのアイデアをさらに発展させ、より大規模なKANを構築して訓練する方法を示し、それらについて実証実験をした。そしていくつかのKANを分析し、その問題解決能力を人間がどのように解釈できるか実際に示して見せた。「私たちはこのアイデアに新しい命を吹き込みました」と、チームメンバーのジミン・リュウは言う。リュウ …

こちらは会員限定の記事です。 メールアドレスの登録で続きを読めます。

有料会員にはメリットがいっぱい！

毎月120本以上更新されるオリジナル記事で、人工知能から遺伝子療法まで、先端テクノロジーの最新動向がわかる。
オリジナル記事をテーマ別に再構成したPDFファイル「eムック」を毎月配信。
重要テーマが押さえられる。
各分野のキーパーソンを招いたトークイベント、関連セミナーに優待価格でご招待。

人気の記事ランキング