Virginia Smith ヴァージニア・スミス (31)

カーネギーメロン大学のヴァージニア・スミス助教授が人工知能（AI）分野での博士研究を始めた頃、一つの疑問があった。複数のマシンに保存されたデータを使ってニューラル・ネットワークを訓練するには、どうすればいいのだろう？ この問いに取り組むうちに、スミス助教授は連合学習（Federated learning）の分野の第一人者となった。連合学習とは、数百から数百万もの独立のソースに散在するデータを使ってニューラル・ネットワークを訓練する方法の総称だ。

グーグルの研究チームが、同社のモバイル・デバイスに適用する手法として、連合学習の概念を初めて導入したのは2017年のことだった。同チームが開発した手法は、数百万のニューラル・ネットワークを、まずローカルに訓練し、その結果をグーグルのサーバーに送ってマスターモデルに統合するというものだった。これにより、データを中央に集中させなくても、それぞれのデバイスに保存されたデータに基づいてマスターモデルを訓練できる。連合学習は、モバイル操作の遅延時間を短縮するだけでなく、ユーザーのデータプライバシーの保護にもつながる。

しかし、無数のAIモデルを統合することにはリスクもある。マスターモデルは平均的なデータはうまく処理できても、外れ値には対応できないかもしれない。例えば音声認識ソフトウェアなら、珍しいアクセントを持つユーザーの発話を認識できない、といった具合だ。

そこでスミス助教授が提唱したのが、「パーソナライズド」連合学習という新たな手法だ。数百万のローカルモデルをたったひとつのマスターモデルに統合するのではなく、もっとも類似度の高いローカルモデルどうしを統合して、比較的少数のモデルを生み出すのだ。この手法では、データの異質性が高くなるほど、最終的に構築されるモデルの数は多くなる。個々のモデルが多くのデバイスのデータから学習するのは同じだが、それらはユーザー集団のなかの特定の部分集団の傾向に適合したものになる。

スミス助教授はまた、デバイスごとの演算能力やメモリ容量の違いを考慮するといった、連合学習のその他の課題にも取り組んでいる。さらに、この分野の発展を促すため、研究者たちが自身の連合学習手法を現実に近いデータセットと環境でテストできる、オープンソース・ツールの共同開発にも携わった。

（Karen Hao）

人気の記事ランキング

1. The problems with Elon Musk’s plan to open source the Twitter algorithm Eマスクがツイッター買収でぶち上げたオープンソース化が危うい理由
2. Meta has built a massive new language AI—and it’s giving it away for free メタ、「GPT-3並み」の大規模言語モデルを研究者向けに無償提供
3. AI’s inequality problem AI・デジタル技術はなぜ、 経済成長をもたらさないのか
4. How EnChroma’s Glasses Correct Color-Blindness 色覚補正メガネ エンクロマの仕組み
5. These hackers showed just how easy it is to target critical infrastructure 発電所も使う通信プロトコルのハッキング、わずか2日で攻略

• 0