フラッシュ2024年4月2日

• 人工知能（AI）

  パークシャ、RetNet採用の大規模言語モデルを開発

  by MITテクノロジーレビュー編集部 [MIT Technology Review Japan]

  東京大学発スタートアップのパークシャテクノロジー（PKSHA Technology）は3月28日、レテンティブ・ネットワーク（Retentive Network：RetNet）を採用した日英大規模言語モデル（LLM）を開発し、2024年4月から段階的に実運用を開始する予定だと発表した。最初の対象領域としては、コンタクトセンターや社内ヘルプデスクを想定している。

  RetNetはマイクロソフトの研究開発機関であるマイクロソフト・リサーチ（Microsoft Research）が、LLM向けに開発した新たなアーキテクチャである。「チャットGPT（ChatGPT）」をはじめとする現在公開されているLLMの主流アーキテクチャである「トランスフォーマー（Transformer）」に比べて学習速度、長文入力時の推論速度やメモリー効率が優れているうえ、同等以上の精度を持つことが示されている。PKSHAは、RetNetを使用することで、効率的な長文理解と優れた回答速度を両立する日英対応のLLMを実現するとしている。

  モデルのパラメーター数として同社は、コンタクトセンター等における実装を視野に、出力精度と運用コストのバランスに優れた70億パラメーターを採用。日本語の新聞2ページ分の情報量を入力した際に、精度を保ちながら従来モデルの約3.3倍の速度で出力することが可能であり、入力情報量が多くなるほど優位性が高まるという。

  PKSHAは、今回のモデルの開発にあたり、マイクロソフトが研究開発した深層学習フレームワーク「ディープスピード（DeepSpeed）」を採用。並列分散処理におけるLLM学習ノウハウとアジュール上のGPUサーバー群の提供を日本マイクロソフトから受けている。

  （中條）

  • 3

• 人気の記事ランキング

  1. What’s next for Chinese open-source AI ディープシーク騒動から1年 中国のオープンモデルが 世界の開発者を席巻している
  2. Promotion Emerging Technology Nite #36 Special 【3/9開催】2026年版「新規事業の発想と作り方」開催のお知らせ
  3. EVs could be cheaper to own than gas cars in Africa by 2040 アフリカでEVがガソリン車より安くなる日——鍵は「太陽光オフグリッド」
  4. RFK Jr. follows a carnivore diet. That doesn’t mean you should. 「肉か発酵食品しか食べない」米保健長官が目指す「健康な米国」
  5. Why EVs are gaining ground in Africa アフリカ初のバッテリー工場も建設中、「次のEV市場」は立ち上がるか？