フラッシュ2023年10月23日

• 人工知能（AI）

  NII、130億パラメーターの大規模言語モデルを公開

  by MITテクノロジーレビュー編集部 [MIT Technology Review Japan]

  国立情報学研究所（NII）は、130億パラメーターの大規模言語モデル「LLM-jp-13B」を公開した。NIIが主宰し、大学や企業から500名以上が参加する「LLM勉強会」が7月から構築を始めたもので、事前学習とチューニングが完了したことから公開された。

  LLM-jp-13Bはパラメーター数が130億で、約1450億トークンの日本語コーパス、約1450億の英語コーパス、約100億トークンのプログラムコードで学習させた。学習にはデータ活用社会創成プラットフォームmdx（エヌビディアのGPU「A100」96基）を使用し、モデル構築にはマイクロソフト・リサーチが開発したDeepSpeedを利用した。

  現時点では開発初期段階であり、モデルの性能を示す評価値は国内で公開された他のモデルと同程度だとしている。NIIは今後、産業技術総合研究所（産総研）や東京工業大学と協力して世界トップ級のLLMの構築を進めるとしており、産総研のAI橋渡しクラウド（ABCI）を利用して1750億パラメーターの大規模言語モデルの構築に着手しているという。1750億パラメーターはオープンAI（OpenAI）のGPT-3に匹敵する規模となる。

  （笹田）

  • 4

• 人気の記事ランキング

  1. Quantum physicists have shrunk and “de-censored” DeepSeek R1 量子技術でDeepSeekを55%小型化、「検閲解除」にも成功
  2. Promotion Innovators Under 35 Japan Summit 2025 2025年のイノベーターが集結「IU35 Summit」参加者募集
  3. Google’s new Gemini 3 “vibe-codes” responses and comes with its own agent グーグルが「Gemini 3」発表、質問に応じて回答形式もAIが判断
  4. How to help friends and family dig out of a conspiracy theory black hole 家族が陰謀論にハマったら： 専門家が語る、 5つの現実的アプローチ
  5. What is the chance your plane will be hit by space debris? 空からゴミが降ってくる—— 衛星10万基時代のリスク、 航空への影響は？【解説】