フラッシュ2023年10月23日
- 人工知能(AI)
NII、130億パラメーターの大規模言語モデルを公開
by MITテクノロジーレビュー編集部 [MIT Technology Review Japan]国立情報学研究所(NII)は、130億パラメーターの大規模言語モデル「LLM-jp-13B」を公開した。NIIが主宰し、大学や企業から500名以上が参加する「LLM勉強会」が7月から構築を始めたもので、事前学習とチューニングが完了したことから公開された。
LLM-jp-13Bはパラメーター数が130億で、約1450億トークンの日本語コーパス、約1450億の英語コーパス、約100億トークンのプログラムコードで学習させた。学習にはデータ活用社会創成プラットフォームmdx(エヌビディアのGPU「A100」96基)を使用し、モデル構築にはマイクロソフト・リサーチが開発したDeepSpeedを利用した。
現時点では開発初期段階であり、モデルの性能を示す評価値は国内で公開された他のモデルと同程度だとしている。NIIは今後、産業技術総合研究所(産総研)や東京工業大学と協力して世界トップ級のLLMの構築を進めるとしており、産総研のAI橋渡しクラウド(ABCI)を利用して1750億パラメーターの大規模言語モデルの構築に着手しているという。1750億パラメーターはオープンAI(OpenAI)のGPT-3に匹敵する規模となる。
(笹田)
- 人気の記事ランキング
- The way whales communicate is closer to human language than we realized クジラの言語構造、想像以上に人間の言語に近かった
- Sam Altman says helpful agents are poised to become AI’s killer function サム・アルトマンが語った スマホ超えAIツールの姿 「人生を完全に把握」
- Three takeaways about the current state of batteries エネルギー革命の主役に躍り出た蓄電池、押さえておきたいデータ3つ
- Almost every Chinese keyboard app has a security flaw that reveals what users type 人気の中国語キーボード・アプリ、ほぼすべてに脆弱性が存在