KADOKAWA Technology Review
×
発明家
Lan Truong
35歳未満のイノベーター35人 2021発明家
光学チップ、より優れた遺伝子編集、皮膚のような電子機器を実現する道筋を示す。

Virginia Smith ヴァージニア・スミス (31)

所属: カーネギーメロン大学

分散したデータを用いてニューラル・ネットワークを訓練する「連合学習」の新手法を開発することで、効率よく、かつプライバシーに配慮してAIモデルを構築するのを可能にした。

カーネギーメロン大学のヴァージニア・スミス助教授が人工知能(AI)分野での博士研究を始めた頃、一つの疑問があった。複数のマシンに保存されたデータを使ってニューラル・ネットワークを訓練するには、どうすればいいのだろう? この問いに取り組むうちに、スミス助教授は連合学習(Federated learning)の分野の第一人者となった。連合学習とは、数百から数百万もの独立のソースに散在するデータを使ってニューラル・ネットワークを訓練する方法の総称だ。

グーグルの研究チームが、同社のモバイル・デバイスに適用する手法として、連合学習の概念を初めて導入したのは2017年のことだった。同チームが開発した手法は、数百万のニューラル・ネットワークを、まずローカルに訓練し、その結果をグーグルのサーバーに送ってマスターモデルに統合するというものだった。これにより、データを中央に集中させなくても、それぞれのデバイスに保存されたデータに基づいてマスターモデルを訓練できる。連合学習は、モバイル操作の遅延時間を短縮するだけでなく、ユーザーのデータプライバシーの保護にもつながる。

しかし、無数のAIモデルを統合することにはリスクもある。マスターモデルは平均的なデータはうまく処理できても、外れ値には対応できないかもしれない。例えば音声認識ソフトウェアなら、珍しいアクセントを持つユーザーの発話を認識できない、といった具合だ。

そこでスミス助教授が提唱したのが、「パーソナライズド」連合学習という新たな手法だ。数百万のローカルモデルをたったひとつのマスターモデルに統合するのではなく、もっとも類似度の高いローカルモデルどうしを統合して、比較的少数のモデルを生み出すのだ。この手法では、データの異質性が高くなるほど、最終的に構築されるモデルの数は多くなる。個々のモデルが多くのデバイスのデータから学習するのは同じだが、それらはユーザー集団のなかの特定の部分集団の傾向に適合したものになる。

スミス助教授はまた、デバイスごとの演算能力やメモリ容量の違いを考慮するといった、連合学習のその他の課題にも取り組んでいる。さらに、この分野の発展を促すため、研究者たちが自身の連合学習手法を現実に近いデータセットと環境でテストできる、オープンソース・ツールの共同開発にも携わった。

(Karen Hao)

人気の記事ランキング
  1. The problems with Elon Musk’s plan to open source the Twitter algorithm Eマスクがツイッター買収でぶち上げたオープンソース化が危うい理由
  2. Meta has built a massive new language AI—and it’s giving it away for free メタ、「GPT-3並み」の大規模言語モデルを研究者向けに無償提供
  3. How EnChroma’s Glasses Correct Color-Blindness 色覚補正メガネ エンクロマの仕組み
  4. These hackers showed just how easy it is to target critical infrastructure 発電所も使う通信プロトコルのハッキング、わずか2日で攻略
人気の記事ランキング
  1. The problems with Elon Musk’s plan to open source the Twitter algorithm Eマスクがツイッター買収でぶち上げたオープンソース化が危うい理由
  2. Meta has built a massive new language AI—and it’s giving it away for free メタ、「GPT-3並み」の大規模言語モデルを研究者向けに無償提供
  3. How EnChroma’s Glasses Correct Color-Blindness 色覚補正メガネ エンクロマの仕組み
  4. These hackers showed just how easy it is to target critical infrastructure 発電所も使う通信プロトコルのハッキング、わずか2日で攻略
フォローしてください重要なテクノロジーとイノベーションのニュースをSNSやメールで受け取る