Virginia Smith ヴァージニア・スミス (31)

カーネギーメロン大学のヴァージニア・スミス助教授が人工知能（AI）分野での博士研究を始めた頃、一つの疑問があった。複数のマシンに保存されたデータを使ってニューラル・ネットワークを訓練するには、どうすればいいのだろう？ この問いに取り組むうちに、スミス助教授は連合学習（Federated learning）の分野の第一人者となった。連合学習とは、数百から数百万もの独立のソースに散在するデータを使ってニューラル・ネットワークを訓練する方法の総称だ。

グーグルの研究チームが、同社のモバイル・デバイスに適用する手法として、連合学習の概念を初めて導入したのは2017年のことだった。同チームが開発した手法は、数百万のニューラル・ネットワークを、まずローカルに訓練し、その結果をグーグルのサーバーに送ってマスターモデルに統合するというものだった。これにより、データを中央に集中させなくても、それぞれのデバイスに保存されたデータに基づいてマスターモデルを訓練できる。連合学習は、モバイル操作の遅延時間を短縮するだけでなく、ユーザーのデータプライバシーの保護にもつながる。

しかし、無数のAIモデルを統合することにはリスクもある。マスターモデルは平均的なデータはうまく処理できても、外れ値には対応できないかもしれない。例えば音声認識ソフトウェアなら、珍しいアクセントを持つユーザーの発話を認識できない、といった具合だ。

そこでスミス助教授が提唱したのが、「パーソナライズド」連合学習という新たな手法だ。数百万のローカルモデルをたったひとつのマスターモデルに統合するのではなく、もっとも類似度の高いローカルモデルどうしを統合して、比較的少数のモデルを生み出すのだ。この手法では、データの異質性が高くなるほど、最終的に構築されるモデルの数は多くなる。個々のモデルが多くのデバイスのデータから学習するのは同じだが、それらはユーザー集団のなかの特定の部分集団の傾向に適合したものになる。

スミス助教授はまた、デバイスごとの演算能力やメモリ容量の違いを考慮するといった、連合学習のその他の課題にも取り組んでいる。さらに、この分野の発展を促すため、研究者たちが自身の連合学習手法を現実に近いデータセットと環境でテストできる、オープンソース・ツールの共同開発にも携わった。

（Karen Hao）

人気の記事ランキング

1. Three reasons robots are about to become more way useful  生成AI革命の次は「ロボット革命」　夢が近づく3つの理由
2. Job titles of the future: AI prompt engineer 未来の職種：LLMを操る「プロンプト・エンジニア」は生き残るか
3. This solar giant is moving manufacturing back to the US 「米国産、十分ペイできる」 太陽光大手メーカーが語った 生産回帰の勝算と課題
4. Why it’s so hard for China’s chip industry to become self-sufficient 中国テック事情：チップ国産化推進で、打倒「味の素」の動き

• 0