ニューラルネットの解釈性を高める新アプローチ、MITなど提案
画像認識などのタスクでニューラル・ネットワークがなぜそのように出力をするのか、これまで理由を説明できなかった。MITなどの研究チームが提唱する「KAN」と呼ばれるシンプルなニューラル・ネットワークは、その理由を説明できるかもしれない。 by Anil Ananthaswamy2024.09.05
- この記事の3つのポイント
-
- ニューラル・ネットワークの人工ニューロンを単純化する新手法をMITなどが提案
- KANと呼ばれるこの手法は解釈性に優れ、精度向上も早い
- 欠点は訓練に多くの時間と計算資源を要することである
ニューラル・ネットワークで人工ニューロンが機能する方法に少し手を加えれば、人工知能(AI)の解読がもっと容易になるかもしれない。
多層ニューラル・ネットワークの基本的な構成要素である人工ニューロンは、数十年にわたりほとんど変わることなく使われてきた。そのようなネットワークは現代のAIに力を与えている一方で、謎めいてもいる。
GPT-4のような大規模言語モデルで使われている既存の人工ニューロンは、多数の入力を取り込み、それらを足し合わせ、その合計をニューロン内部で別の関数を使って出力に変換することにより機能する。このようなニューロンの組み合わせがニューラル・ネットワークを作り上げており、その複合的な仕組みを解読するのは困難な場合がある。
しかし、今回提唱されたニューロンを組み合わせるための新しい方法は、少し異なる仕組みで機能する。既存のニューロンの複雑さの一部が単純化され、かつ、ニューロンの外部に移される。内部では、新しいニューロンが入力を単純に合計して出力を生成し、それ以上の隠れた操作は必要ない。この新たなニューロンのネットワークは、着想したロシアの数学者にちなんで「コルモゴロフ・アーノルド・ネットワーク(Kolmogorov-Arnold Network:KAN)」と呼ばれる。
マサチューセッツ工科大学(MIT)の研究者たちが率いるグループによって詳細に研究されたこの単純化の仕組みにより、ニューラル・ネットワークが特定の出力を生成する理由の理解や、ネットワークによって下された決定の検証、さらにはバイアスの調査がより簡単になる。また、予備的な証拠によれば、KANの規模を大きくすればするほど、正確さが向上するスピードが従来のニューロンで構築されたネットワークよりも速くなる。
「面白い研究です」と、ニューヨーク大学で機械学習の基礎を研究しているアンドリュー・ウィルソン准教授は言う。「このようなネットワークの設計を根本から考え直そうとしているのは、素晴らしいことです」。
KANの基本要素は実際には1990年代に提案された。それ以来、研究者たちがそのようなネットワークの単純なバージョンの構築を続けてきた。しかし、MITが主導する研究チームがこのアイデアをさらに発展させ、より大規模なKANを構築して訓練する方法を示し、それらについて実証実験をした。そしていくつかのKANを分析し、その問題解決能力を人間がどのように解釈できるか実際に示して見せた。「私たちはこのアイデアに新しい命を吹き込みました」と、チームメンバーのジミン・リュウは言う。リュウ …
- 人気の記事ランキング
-
- What’s next for Chinese open-source AI ディープシーク騒動から1年 中国のオープンモデルが 世界の開発者を席巻している
- Promotion Emerging Technology Nite #36 Special 【3/9開催】2026年版「新規事業の発想と作り方」開催のお知らせ
- EVs could be cheaper to own than gas cars in Africa by 2040 アフリカでEVがガソリン車より安くなる日——鍵は「太陽光オフグリッド」
- RFK Jr. follows a carnivore diet. That doesn’t mean you should. 「肉か発酵食品しか食べない」米保健長官が目指す「健康な米国」
- Why EVs are gaining ground in Africa アフリカ初のバッテリー工場も建設中、「次のEV市場」は立ち上がるか?
