フラッシュ2023年9月29日

• 人工知能（AI）

  PFN、日英2言語対応の大規模言語モデル

  by MITテクノロジーレビュー編集部 [MIT Technology Review Japan]

  Preferred Networks（プリファード・ネットワークス、PFN）は、日英2言語対応の事前学習済み大規模言語モデル「PLaMo-13B」を開発。オープンソース・ソフトウェアとしてApache License 2.0で公開した。パラメーター数は130億で、日英2言語を合わせた能力では世界トップ級の性能だという。

  深層ニューラルネットワークの基本構造は、メタAI（Meta AI）が開発した「LLaMA（Large Language Model Meta AI）」を踏襲し、今後の拡張に備えて手を加えたものを採用した。学習用データはオープン・データセットを基にPFNが独自に収集・加工した、1.4兆トークンの日英2言語のデータセットを使用。産業技術総合研究所の「AI橋渡しクラウド（ABCI）」を利用し、エヌビディアのGPU「A100」480基で1カ月弱の学習を実施したという。

  ベンチマーク・テストでは、日本語能力では東京大学の松尾研究室が公開した「weblab-10B」を超え、英語能力ではメタAIの「LLaMA-2 7B」と同程度という結果が出た。この結果からPLaMo-13Bは、日本語を学習した大規模言語モデルの性能としてはトップ級で、他の日本語モデルに比べて優れた英語能力を持つとしている。

  PFNは今後、PLaMo-13Bを基にした事前学習モデルや、指示学習させたモデルも公開する予定だ。

  （笹田）

  • 7

• 人気の記事ランキング

  1. Digging for clues about the North Pole’s past 12万年前は無氷だった？海底22メートルの泥で掘り起こす北極点の謎
  2. Is carbon removal in trouble? 炭素除去業界に激震、最大顧客のマイクロソフトが購入を一時停止
  3. Is fake grass a bad idea? The AstroTurf wars are far from over. 「一番ましな悪い選択肢」 人工芝の安全性をめぐる 論争はまだ終わらない
  4. NASA is building the first nuclear reactor-powered interplanetary spacecraft. How will it work? 初の原子力推進で火星へ、 NASA「強気すぎる」計画 SR-1はどう動くのか？