フラッシュ2023年9月29日

• 人工知能（AI）

  PFN、日英2言語対応の大規模言語モデル

  by MITテクノロジーレビュー編集部 [MIT Technology Review Japan]

  Preferred Networks（プリファード・ネットワークス、PFN）は、日英2言語対応の事前学習済み大規模言語モデル「PLaMo-13B」を開発。オープンソース・ソフトウェアとしてApache License 2.0で公開した。パラメーター数は130億で、日英2言語を合わせた能力では世界トップ級の性能だという。

  深層ニューラルネットワークの基本構造は、メタAI（Meta AI）が開発した「LLaMA（Large Language Model Meta AI）」を踏襲し、今後の拡張に備えて手を加えたものを採用した。学習用データはオープン・データセットを基にPFNが独自に収集・加工した、1.4兆トークンの日英2言語のデータセットを使用。産業技術総合研究所の「AI橋渡しクラウド（ABCI）」を利用し、エヌビディアのGPU「A100」480基で1カ月弱の学習を実施したという。

  ベンチマーク・テストでは、日本語能力では東京大学の松尾研究室が公開した「weblab-10B」を超え、英語能力ではメタAIの「LLaMA-2 7B」と同程度という結果が出た。この結果からPLaMo-13Bは、日本語を学習した大規模言語モデルの性能としてはトップ級で、他の日本語モデルに比べて優れた英語能力を持つとしている。

  PFNは今後、PLaMo-13Bを基にした事前学習モデルや、指示学習させたモデルも公開する予定だ。

  （笹田）

  • 7

• 人気の記事ランキング

  1. There’s a lot of hype around perimenopause. Don’t buy it. 中年女性の不調はすべてホルモンのせい？ 閉経周辺期の科学
  2. Promotion Call for entries for Innovators Under 35 Japan 2026 「Innovators Under 35 Japan」2026年度候補者募集のお知らせ
  3. China’s AI models have Trump’s AI world at war with itself 中国製無料AIモデル「Kimi」に揺れる米政権、対応をめぐり論争
  4. PsiQuantum has a plan to make a massive quantum computer out of light 光に賭けたサイクオンタム、 100万量子ビット達成へ 「大胆な約束」は果たせるか
  5. Shape-shifting mirrors on NASA’s new space telescope could unveil Jupiters like our own 見るために、消す—— ローマン宇宙望遠鏡が挑む 太陽系の外の「木星」