フラッシュ2024年4月2日

• 人工知能（AI）

  パークシャ、RetNet採用の大規模言語モデルを開発

  by MITテクノロジーレビュー編集部 [MIT Technology Review Japan]

  東京大学発スタートアップのパークシャテクノロジー（PKSHA Technology）は3月28日、レテンティブ・ネットワーク（Retentive Network：RetNet）を採用した日英大規模言語モデル（LLM）を開発し、2024年4月から段階的に実運用を開始する予定だと発表した。最初の対象領域としては、コンタクトセンターや社内ヘルプデスクを想定している。

  RetNetはマイクロソフトの研究開発機関であるマイクロソフト・リサーチ（Microsoft Research）が、LLM向けに開発した新たなアーキテクチャである。「チャットGPT（ChatGPT）」をはじめとする現在公開されているLLMの主流アーキテクチャである「トランスフォーマー（Transformer）」に比べて学習速度、長文入力時の推論速度やメモリー効率が優れているうえ、同等以上の精度を持つことが示されている。PKSHAは、RetNetを使用することで、効率的な長文理解と優れた回答速度を両立する日英対応のLLMを実現するとしている。

  モデルのパラメーター数として同社は、コンタクトセンター等における実装を視野に、出力精度と運用コストのバランスに優れた70億パラメーターを採用。日本語の新聞2ページ分の情報量を入力した際に、精度を保ちながら従来モデルの約3.3倍の速度で出力することが可能であり、入力情報量が多くなるほど優位性が高まるという。

  PKSHAは、今回のモデルの開発にあたり、マイクロソフトが研究開発した深層学習フレームワーク「ディープスピード（DeepSpeed）」を採用。並列分散処理におけるLLM学習ノウハウとアジュール上のGPUサーバー群の提供を日本マイクロソフトから受けている。

  （中條）

  • 3

• 人気の記事ランキング

  1. Two Nobel Prize winners want to cancel their own CRISPR patents in Europe クリスパー特許紛争で新展開 ノーベル賞受賞者が 欧州特許の一部取り下げへ
  2. Promotion MITTR Emerging Technology Nite #30 MITTR主催「生成AIと法規制のこの1年」開催のご案内
  3. A brief guide to the greenhouse gases driving climate change CO2だけじゃない、いま知っておくべき温室効果ガス
  4. Why OpenAI’s new model is such a big deal GPT-4oを圧倒、オープンAI新モデル「o1」に注目すべき理由
  5. Sorry, AI won’t “fix” climate change サム・アルトマンさん、AIで気候問題は「解決」できません