MIT Tech Review: AIモデルの再学習コストを大幅に削減、NTTが新手法

フラッシュ2024年5月10日

人工知能（AI）
AIモデルの再学習コストを大幅に削減、NTTが新手法
by MITテクノロジーレビュー編集部 [MIT Technology Review Japan]

NTTは、深層学習において過去の学習過程をモデル間で再利用する新たな仕組みとして「学習転移」技術を開発した。生成AIなど大規模な基盤モデルを、用途ごとに追加学習（チューニング）して利用する場合に不可欠な、基盤モデルの更新に伴う再チューニングのコストを大幅に削減できる。生成AIの運用容易化や適用領域拡大、消費電力の削減に貢献するという。

生成AIを利用する際には、各企業や組織の要件に対応するため、個々のデータセットを用いた追加学習により基盤モデルをチューニングするのが一般的だ。しかし、チューニングした生成AIは、基盤モデルの更新時や変更時に再チューニングが必要となり、多大な計算コストが生じることが課題となっている。

NTTは今回、ニューラルネットワークのパラメータ空間にある高い対称性に着目。置換変換と呼ばれるニューロンの入れ替えに関する対称性の下で、異なるモデル間の学習過程同士を近似的に同一視できることを発見した。

さらに、この発見に基づき、過去の学習過程を適切な「置換対称性（ニューロンの入れ替えによりパラメータが変わっても、全体の出力は変わらないという性質）」によって変換することで、新たなモデルの学習過程として再利用できる「学習転移」技術を提唱。同技術を用いることで、低コストな変換のみにより一定の精度を達成することができ、学習転移後に追加の学習をすることで目標精度に早く収束することを示した。

今回の成果は、2024年5月7日から11日までオーストリア・ウイーンで開催される「表現学習国際学会（ICLR 2024）」で発表される。

（中條）
人気の記事ランキング