フラッシュ2024年4月2日

• 人工知能（AI）

  パークシャ、RetNet採用の大規模言語モデルを開発

  by MITテクノロジーレビュー編集部 [MIT Technology Review Japan]

  東京大学発スタートアップのパークシャテクノロジー（PKSHA Technology）は3月28日、レテンティブ・ネットワーク（Retentive Network：RetNet）を採用した日英大規模言語モデル（LLM）を開発し、2024年4月から段階的に実運用を開始する予定だと発表した。最初の対象領域としては、コンタクトセンターや社内ヘルプデスクを想定している。

  RetNetはマイクロソフトの研究開発機関であるマイクロソフト・リサーチ（Microsoft Research）が、LLM向けに開発した新たなアーキテクチャである。「チャットGPT（ChatGPT）」をはじめとする現在公開されているLLMの主流アーキテクチャである「トランスフォーマー（Transformer）」に比べて学習速度、長文入力時の推論速度やメモリー効率が優れているうえ、同等以上の精度を持つことが示されている。PKSHAは、RetNetを使用することで、効率的な長文理解と優れた回答速度を両立する日英対応のLLMを実現するとしている。

  モデルのパラメーター数として同社は、コンタクトセンター等における実装を視野に、出力精度と運用コストのバランスに優れた70億パラメーターを採用。日本語の新聞2ページ分の情報量を入力した際に、精度を保ちながら従来モデルの約3.3倍の速度で出力することが可能であり、入力情報量が多くなるほど優位性が高まるという。

  PKSHAは、今回のモデルの開発にあたり、マイクロソフトが研究開発した深層学習フレームワーク「ディープスピード（DeepSpeed）」を採用。並列分散処理におけるLLM学習ノウハウとアジュール上のGPUサーバー群の提供を日本マイクロソフトから受けている。

  （中條）

  • 3

• 人気の記事ランキング

  1. This scientist rewarmed and studied pieces of his friend’s cryopreserved brain 10年冷凍保存の脳は「驚くほど良好」——蘇生は「まったく別の話」
  2. Future AI chips could be built on glass AIチップの熱問題、解決策は「ガラス」　年内に商業生産へ
  3. What do new nuclear reactors mean for waste? 新型原子炉が続々登場、核廃棄物管理の「手引き」は書き直せるか
  4. The Pentagon is planning for AI companies to train on classified data, defense official says 【独自】米国防総省、軍事機密データでAIモデルの訓練を計画