フラッシュ2023年9月29日
-
人工知能(AI)
PFN、日英2言語対応の大規模言語モデル
by MITテクノロジーレビュー編集部 [MIT Technology Review Japan]Preferred Networks(プリファード・ネットワークス、PFN)は、日英2言語対応の事前学習済み大規模言語モデル「PLaMo-13B」を開発。オープンソース・ソフトウェアとしてApache License 2.0で公開した。パラメーター数は130億で、日英2言語を合わせた能力では世界トップ級の性能だという。
深層ニューラルネットワークの基本構造は、メタAI(Meta AI)が開発した「LLaMA(Large Language Model Meta AI)」を踏襲し、今後の拡張に備えて手を加えたものを採用した。学習用データはオープン・データセットを基にPFNが独自に収集・加工した、1.4兆トークンの日英2言語のデータセットを使用。産業技術総合研究所の「AI橋渡しクラウド(ABCI)」を利用し、エヌビディアのGPU「A100」480基で1カ月弱の学習を実施したという。
ベンチマーク・テストでは、日本語能力では東京大学の松尾研究室が公開した「weblab-10B」を超え、英語能力ではメタAIの「LLaMA-2 7B」と同程度という結果が出た。この結果からPLaMo-13Bは、日本語を学習した大規模言語モデルの性能としてはトップ級で、他の日本語モデルに比べて優れた英語能力を持つとしている。
PFNは今後、PLaMo-13Bを基にした事前学習モデルや、指示学習させたモデルも公開する予定だ。
(笹田)
-
- 人気の記事ランキング
-
- AI can make you more creative—but it has limits 生成AIは人間の創造性を高めるか? 新研究で限界が明らかに
- Promotion Call for entries for Innovators Under 35 Japan 2024 「Innovators Under 35 Japan」2024年度候補者募集のお知らせ
- A new weather prediction model from Google combines AI with traditional physics グーグルが気象予測で新モデル、機械学習と物理学を統合
- How to fix a Windows PC affected by the global outage 世界規模のウィンドウズPCトラブル、IT部門「最悪の週末」に
- The next generation of mRNA vaccines is on its way 日本で承認された新世代mRNAワクチン、従来とどう違うのか?