フラッシュ2024年5月10日

• 人工知能（AI）

  AIモデルの再学習コストを大幅に削減、NTTが新手法

  by MITテクノロジーレビュー編集部 [MIT Technology Review Japan]

  NTTは、深層学習において過去の学習過程をモデル間で再利用する新たな仕組みとして「学習転移」技術を開発した。生成AIなど大規模な基盤モデルを、用途ごとに追加学習（チューニング）して利用する場合に不可欠な、基盤モデルの更新に伴う再チューニングのコストを大幅に削減できる。生成AIの運用容易化や適用領域拡大、消費電力の削減に貢献するという。

  生成AIを利用する際には、各企業や組織の要件に対応するため、個々のデータセットを用いた追加学習により基盤モデルをチューニングするのが一般的だ。しかし、チューニングした生成AIは、基盤モデルの更新時や変更時に再チューニングが必要となり、多大な計算コストが生じることが課題となっている。

  NTTは今回、ニューラルネットワークのパラメータ空間にある高い対称性に着目。置換変換と呼ばれるニューロンの入れ替えに関する対称性の下で、異なるモデル間の学習過程同士を近似的に同一視できることを発見した。

  さらに、この発見に基づき、過去の学習過程を適切な「置換対称性（ニューロンの入れ替えによりパラメータが変わっても、全体の出力は変わらないという性質）」によって変換することで、新たなモデルの学習過程として再利用できる「学習転移」技術を提唱。同技術を用いることで、低コストな変換のみにより一定の精度を達成することができ、学習転移後に追加の学習をすることで目標精度に早く収束することを示した。

  今回の成果は、2024年5月7日から11日までオーストリア・ウイーンで開催される「表現学習国際学会（ICLR 2024）」で発表される。

  （中條）

  • 13

• 人気の記事ランキング

  1. Can the US battery market untangle from China? 送電網の蓄電池から中国製を締め出し、米国が払う「自立」の代償は
  2. Promotion How AI could reshape Japan’s white-collar workforce 【10/6開催】AIで浮いた人材、次の一手は地方に——冨山和彦氏ら登壇
  3. This geneticist’s age-reversal tech could help restore sight 失明マウスの視力回復に成功、若返りブームの震源となった研究者
  4. Donated livers can be made biologically younger 「若返る」提供肝臓、機械灌流が生物学的年齢を逆戻りさせる
  5. Meet a mouse whose brain cortex is made up of human cells 脳容積の半分がヒト細胞に、スタンフォード大が作った「異種皮質マウス」