フラッシュ2023年10月23日

• 人工知能（AI）

  NII、130億パラメーターの大規模言語モデルを公開

  by MITテクノロジーレビュー編集部 [MIT Technology Review Japan]

  国立情報学研究所（NII）は、130億パラメーターの大規模言語モデル「LLM-jp-13B」を公開した。NIIが主宰し、大学や企業から500名以上が参加する「LLM勉強会」が7月から構築を始めたもので、事前学習とチューニングが完了したことから公開された。

  LLM-jp-13Bはパラメーター数が130億で、約1450億トークンの日本語コーパス、約1450億の英語コーパス、約100億トークンのプログラムコードで学習させた。学習にはデータ活用社会創成プラットフォームmdx（エヌビディアのGPU「A100」96基）を使用し、モデル構築にはマイクロソフト・リサーチが開発したDeepSpeedを利用した。

  現時点では開発初期段階であり、モデルの性能を示す評価値は国内で公開された他のモデルと同程度だとしている。NIIは今後、産業技術総合研究所（産総研）や東京工業大学と協力して世界トップ級のLLMの構築を進めるとしており、産総研のAI橋渡しクラウド（ABCI）を利用して1750億パラメーターの大規模言語モデルの構築に着手しているという。1750億パラメーターはオープンAI（OpenAI）のGPT-3に匹敵する規模となる。

  （笹田）

  • 4

• 人気の記事ランキング

  1. What comes next for AI copyright lawsuits? AI著作権訴訟でメタとアンソロピックが初勝利、今後の展開は？
  2. Promotion MITTR Emerging Technology Nite #33 バイブコーディングって何だ？ 7/30イベント開催のお知らせ
  3. Promotion Call for entries for Innovators Under 35 Japan 2025 「Innovators Under 35 Japan」2025年度候補者募集のお知らせ
  4. Why the US and Europe could lose the race for fusion energy 核融合でも中国が優位に、西側に残された3つの勝機
  5. Namibia wants to build the world’s first hydrogen economy 砂漠の国・ナミビア、 世界初「水素立国」への夢
  6. Don’t let hype about AI agents get ahead of reality 期待先行のAIエージェント、誇大宣伝で「バブル崩壊」のリスク