カーネギーメロン大学のヴァージニア・スミス助教授が人工知能（AI）分野での博士研究を始めた頃、一つの疑問があった。複数のマシンに保存されたデータを使ってニューラル・ネットワークを訓練するには、どうすればいいのだろう？ この問いに取り組むうちに、スミス助教授は連合学習（Federated learning）の分野の第一人者となった。連合学習とは、数百から数百万もの独立のソースに散在するデータを使ってニューラル・ネットワークを訓練する方法の総称だ。

グーグルの研究チームが、同社のモバイル・デバイスに適用する手法として、連合学習の概念を初めて導入したのは2017年のことだった。同チームが開発した手法は、数百万のニューラル・ネットワークを、まずローカルに訓練し、その結果をグーグルのサーバーに送ってマスターモデルに統合するというものだった。これにより、データを中央に集中させなくても、それぞれのデバイスに保存されたデータに基づいてマスターモデルを訓練できる。連合学習は、モバイル操作の遅延時間を短縮するだけでなく、ユーザーのデータプライバシーの保護にもつながる。

しかし、無数のAIモデルを統合することにはリスクもある。マスターモデルは平均的なデータはうまく処理できても、外れ値には対応できないかもしれない。例えば音声認識ソフトウェアなら、珍しいアクセントを持つユーザーの発話を認識できない、といった具合だ。

そこでスミス助教授が提唱したのが、「パーソナライズド」連合学習という新たな手法だ。数百万のローカルモデルをたったひとつのマスターモデルに統合するのではなく、もっとも類似度の高いローカルモデルどうしを統合して、比較的少数のモデルを生み出すのだ。この手法では、データの異質性が高くなるほど、最終的に構築されるモデルの数は多くなる。個々のモデルが多くのデバイスのデータから学習するのは同じだが、それらはユーザー集団のなかの特定の部分集団の傾向に適合したものになる。

スミス助教授はまた、デバイスごとの演算能力やメモリ容量の違いを考慮するといった、連合学習のその他の課題にも取り組んでいる。さらに、この分野の発展を促すため、研究者たちが自身の連合学習手法を現実に近いデータセットと環境でテストできる、オープンソース・ツールの共同開発にも携わった。

（Karen Hao）

人気の記事ランキング

1. A tiny new open-source AI model performs as well as powerful big ones 720億パラメーターでも「GPT-4o超え」、Ai2のオープンモデル
2. The coolest thing about smart glasses is not the AR. It’s the AI. ようやく物になったスマートグラス、真価はARではなくAIにある
3. Geoffrey Hinton, AI pioneer and figurehead of doomerism, wins Nobel Prize in Physics ジェフリー・ヒントン、 ノーベル物理学賞を受賞
4. Why OpenAI’s new model is such a big deal GPT-4oを圧倒、オープンAI新モデル「o1」に注目すべき理由

• 0