フラッシュ2023年9月29日
-
人工知能(AI)
PFN、日英2言語対応の大規模言語モデル
by MITテクノロジーレビュー編集部 [MIT Technology Review Japan]Preferred Networks(プリファード・ネットワークス、PFN)は、日英2言語対応の事前学習済み大規模言語モデル「PLaMo-13B」を開発。オープンソース・ソフトウェアとしてApache License 2.0で公開した。パラメーター数は130億で、日英2言語を合わせた能力では世界トップ級の性能だという。
深層ニューラルネットワークの基本構造は、メタAI(Meta AI)が開発した「LLaMA(Large Language Model Meta AI)」を踏襲し、今後の拡張に備えて手を加えたものを採用した。学習用データはオープン・データセットを基にPFNが独自に収集・加工した、1.4兆トークンの日英2言語のデータセットを使用。産業技術総合研究所の「AI橋渡しクラウド(ABCI)」を利用し、エヌビディアのGPU「A100」480基で1カ月弱の学習を実施したという。
ベンチマーク・テストでは、日本語能力では東京大学の松尾研究室が公開した「weblab-10B」を超え、英語能力ではメタAIの「LLaMA-2 7B」と同程度という結果が出た。この結果からPLaMo-13Bは、日本語を学習した大規模言語モデルの性能としてはトップ級で、他の日本語モデルに比べて優れた英語能力を持つとしている。
PFNは今後、PLaMo-13Bを基にした事前学習モデルや、指示学習させたモデルも公開する予定だ。
(笹田)
-
- 人気の記事ランキング
-
- Namibia wants to build the world’s first hydrogen economy 砂漠の国・ナミビア、 世界初「水素立国」への夢
- Promotion MITTR Emerging Technology Nite #33 バイブコーディングって何だ? 7/30イベント開催のお知らせ
- Promotion Call for entries for Innovators Under 35 Japan 2025 「Innovators Under 35 Japan」2025年度候補者募集のお知らせ
- What comes next for AI copyright lawsuits? AI著作権訴訟でメタとアンソロピックが初勝利、今後の展開は?
- Can we fix AI’s evaluation crisis? AIベンチマークはもはや限界、新たなテスト手法の登場相次ぐ
- What is vibe coding, exactly? バイブコーディングとは何か? AIに「委ねる」プログラミング新手法