MIT Tech Review: PFE、1000億パラメーターのマルチモーダル基盤モデル開発へ

フラッシュ2024年2月7日

人工知能（AI）
PFE、1000億パラメーターのマルチモーダル基盤モデル開発へ
by MITテクノロジーレビュー編集部 [MIT Technology Review Japan]

人工知能（AI）スタートアップ、プリファード・ネットワークス（Preferred Networks）の子会社であるプリファード・エレメンツ（Preferred Elements：PFE）は2024年2月2日、1000億パラメーターのマルチモーダル基盤モデルの開発、および、1兆パラメーターの言語モデルの開発に向けた事前学習の検証に着手すると発表した。

同社の今回の取り組みは、経済産業省と新エネルギー・産業技術総合開発機構（NEDO）が開始する、国内の生成AIの開発力を強化するためのプロジェクト「GENIAC（Generative AI Accelerator Challenge）」の1つとして、基盤モデル開発に必要な計算資源の提供支援を受けて実施されるもの。研究期間は2024年2月15日から同年8月15日を予定している。

1000億パラメーターのマルチモーダル基盤モデルの開発においては、（1）事前学習と追加学習、（2）指示学習・画像モーダル向けの事前学習と追加学習、（3）音声モーダル向けの追加学習などを研究。1兆パラメーターの大規模言語モデルについては、事前学習の検証を実施する。

成果物は、安全性などを検証したうえで、1000億パラメーターのモデルのウェイトやファインチューニング用コード、学習課題やノウハウを、GENIACの基盤モデル開発事業者コミュニティや講演などを通じて公開する。プリファード・エレメンツは、複数の企業や行政機関と2024年中の利用開始に向けた議論を始めており、商用化に向けた準備を進めていくとしている。

（中條）
人気の記事ランキング