トランスフォーマーに限界、 次世代LLMを担う 4つの最新アプローチ

2017年に登場したトランスフォーマーは、今や市場のすべての主要な大規模言語モデル（LLM）を動かす基盤技術になっている。だが、その最大の強みが、いまや制約に変わりつつある。長い文章を処理するほど計算量が跳ね上がり、膨大な電力を食うからだ。この「トランスフォーマー問題」に、スタートアップが4つの道から挑んでいる。

1. 「企業が解く問題は避ける」 大学のAI研究者だからできること

   この4年でAI研究の最前線は、大学から民間企業へ移った。フロンティアモデルの学習に必要なGPUを大学は買えず、ChatGPTやClaudeの内部も公開されていない。だが、だからこそ大学にしか解けない問いもある。

   by Grace Huckins

• 08月06日の記事