フラッシュ2024年4月2日

• 人工知能（AI）

  パークシャ、RetNet採用の大規模言語モデルを開発

  by MITテクノロジーレビュー編集部 [MIT Technology Review Japan]

  東京大学発スタートアップのパークシャテクノロジー（PKSHA Technology）は3月28日、レテンティブ・ネットワーク（Retentive Network：RetNet）を採用した日英大規模言語モデル（LLM）を開発し、2024年4月から段階的に実運用を開始する予定だと発表した。最初の対象領域としては、コンタクトセンターや社内ヘルプデスクを想定している。

  RetNetはマイクロソフトの研究開発機関であるマイクロソフト・リサーチ（Microsoft Research）が、LLM向けに開発した新たなアーキテクチャである。「チャットGPT（ChatGPT）」をはじめとする現在公開されているLLMの主流アーキテクチャである「トランスフォーマー（Transformer）」に比べて学習速度、長文入力時の推論速度やメモリー効率が優れているうえ、同等以上の精度を持つことが示されている。PKSHAは、RetNetを使用することで、効率的な長文理解と優れた回答速度を両立する日英対応のLLMを実現するとしている。

  モデルのパラメーター数として同社は、コンタクトセンター等における実装を視野に、出力精度と運用コストのバランスに優れた70億パラメーターを採用。日本語の新聞2ページ分の情報量を入力した際に、精度を保ちながら従来モデルの約3.3倍の速度で出力することが可能であり、入力情報量が多くなるほど優位性が高まるという。

  PKSHAは、今回のモデルの開発にあたり、マイクロソフトが研究開発した深層学習フレームワーク「ディープスピード（DeepSpeed）」を採用。並列分散処理におけるLLM学習ノウハウとアジュール上のGPUサーバー群の提供を日本マイクロソフトから受けている。

  （中條）

  • 3

• 人気の記事ランキング

  1. How much hydrogen awaits us underground? 地下に眠る数兆トン、天然水素は本当に「宝の山」なのか
  2. Promotion AI White Paper 2026 松尾・岩澤研協力『AI白書2026』発売、サブスク版も開始
  3. The next big thing in hydrogen could be underground 足元に眠る天然水素、21世紀の「ゴールドラッシュ」が始まった？
  4. This scientist is helping build a missing map of childhood 子どもは「小さな大人」ではない、欠けていた細胞地図を築く研究者
  5. The role of the astronaut is in flux 人類はなぜ宇宙を目指すのか？ 揺らぐ宇宙飛行士の役割