フラッシュ2024年4月2日
- 人工知能(AI)
パークシャ、RetNet採用の大規模言語モデルを開発
by MITテクノロジーレビュー編集部 [MIT Technology Review Japan]東京大学発スタートアップのパークシャテクノロジー(PKSHA Technology)は3月28日、レテンティブ・ネットワーク(Retentive Network:RetNet)を採用した日英大規模言語モデル(LLM)を開発し、2024年4月から段階的に実運用を開始する予定だと発表した。最初の対象領域としては、コンタクトセンターや社内ヘルプデスクを想定している。
RetNetはマイクロソフトの研究開発機関であるマイクロソフト・リサーチ(Microsoft Research)が、LLM向けに開発した新たなアーキテクチャである。「チャットGPT(ChatGPT)」をはじめとする現在公開されているLLMの主流アーキテクチャである「トランスフォーマー(Transformer)」に比べて学習速度、長文入力時の推論速度やメモリー効率が優れているうえ、同等以上の精度を持つことが示されている。PKSHAは、RetNetを使用することで、効率的な長文理解と優れた回答速度を両立する日英対応のLLMを実現するとしている。
モデルのパラメーター数として同社は、コンタクトセンター等における実装を視野に、出力精度と運用コストのバランスに優れた70億パラメーターを採用。日本語の新聞2ページ分の情報量を入力した際に、精度を保ちながら従来モデルの約3.3倍の速度で出力することが可能であり、入力情報量が多くなるほど優位性が高まるという。
PKSHAは、今回のモデルの開発にあたり、マイクロソフトが研究開発した深層学習フレームワーク「ディープスピード(DeepSpeed)」を採用。並列分散処理におけるLLM学習ノウハウとアジュール上のGPUサーバー群の提供を日本マイクロソフトから受けている。
(中條)
- 人気の記事ランキング
- Hydrogen could be used for nearly everything. It probably shouldn’t be. 水素は万能か? 脱炭素のための現実的な利用法
- Cancer vaccines are having a renaissance がん治療のルネサンス到来か、個別化mRNAワクチンの朗報続く
- These are the most detailed photos yet of the far side of the moon 中国、過去最高解像度の「月の裏側」写真を公開
- Covid hasn’t entirely gone away—here’s where we stand 新型コロナはもう「終わった」のか? 現状を整理する