トランスフォーマーに限界、
次世代LLMを担う
4つの最新アプローチ

2017年の夏、グーグルの人工知能（AI）研究者たちは「Attention Is All You Need（アテンションこそすべて）」と題した論文を発表し、「Transformer（トランスフォーマー）」と呼ばれる新しいタイプのニューラル・ネットワークを提唱した。このネットワークは、長いデータ列、特にテキストの処理に非常に優れていることが示された。

それから9年、Transformerは市場に出回っているすべての主要な大規模言語モデル（LLM）のエンジンとなっている。米AIスタートアップ、サブクアドラティック（Subquadratic）のジャスティン・ダンジェル共同創業者兼CEOは、「AI業界全体がTransformerの上に成り立っています」と語る。「Transformerはコンピューターサイエンスの歴史において最も重要なイノベーションの1つであり、世界を変えました」。

しかし、Transformerは限界を見せ始めている。いわゆる推論（reasoning）モデルの開発や大量の入力を一度に処理する能力など、LLMにおける最近の進歩の多くは、コア技術の素直な拡張ではなく、根本的な欠陥にパッチを当てた回避策にすぎない。

次に何が来るのかを問う科学者やエンジニアが増えている。LLM自体がなくなることはないが、その構築方法はまだ定まっていない（MITテクノロジーレビューは、この次世代モデルをLLM+と名付け、2026年の「AIの10大潮流」のリストに掲載した）。

この活況を呈するテクノロジーの限界を押し広げようとするスタートアップの波が押し寄せている。その中には失敗するものも少なくないだろう。だが、彼らには挑戦できる余地が大きく、現在最前線にいる企業に比べて失うものははるかに少ない。

数の力

まず、問題の本質から見ていこう。Transformerの最大の強みは、「高密度アテンション（Dense Attention）」と呼ばれるメカニズムにある。これはテキストのブロックの意味を一連の数値にエンコードする仕組みだ。このプロセスでは、テキスト内のすべての単語（またはトークンと呼ばれる単語の一部）を、乗算の一形態を通じて他のすべての単語と比較する。

高密度アテンションは、テキストの意味を驚くほど高い精度で捉えることができる。しかし、テキストの長さが増すにつれて、処理に必要な計算量は急速に膨れ上がる。1万語の文書では、Transformerが5000万回もの乗算を実行しなければならない場合がある。これが、LLMが膨大な電力を消費する主な理由だ。

そのコストは莫大だ。オープンAI（OpenAI）のグレッグ・ブロックマン社長によれば、同社は今年、計算資源に500億ドルを費やす見込みだという。また、国際エネルギー機関（IEA）は、データセンターの総消費電力が2030年までに倍増すると予測している。

さらにTransformerは、最新モデルの多くがこなすことを期待されている処理を苦手としている。テキストを単語ごとに処理する仕組みであるため、一度に大量の情報を把握し続けるのが不得手なのだ（言い換えれば、「コンテキスト・ウィンドウ」と呼ばれる、モデルが一度に扱える情報量をあまり大きくできない）。しかしLLMがより難しいタスクをこなすには、さらに大量のデータを取り込む必要がある。膨大な文書群、コードベース全体、あるいはエージェントの場合なら、他のLLMからの出力などである。

推論モデルについては、自分自身にメモを書き（思考の連鎖＝Chain of Thoughtと呼ばれるメモ帳のようなもの）、それを読み返すという方式で動作するため、これもまた管理すべきデータ量を増大させる。

LLMが大規模かつ高性能になるにつれて、Transformerはボトルネックになりつつある。この技術の最大の強みが、今や制約になっているのだ。

ここからは、この「Transformer問題」を解決するための4つの新しいアイデアを紹介しよう。これらのイノベーションはLLMを根本から変え、より高速で、はるかに効率的で、そして（もしかすると）より賢いものにする可能性を秘めている。

1. アテンションの再考

LLMを高速化し、低コスト化する最も分かりやすい方法は、問題に正面から取り組み、アテンションそのものの仕組みを変えることだ。高密度アテンションを「疎アテンション（Sparse Attention）」と呼ばれる仕組みに置き換えれば、テキスト内のすべての単語の組み合わせではなく、その一部についてだけ計算するため、LLMに必要な計算量を大幅に削減できる。

研究者たちはこれまで、さまざまな疎アテンションの仕組みを考案してきた。問題は、テキストの意味を捉える能力で高密度アテンションに匹敵するものが一つもなかったことだ。

それが変わった可能性がある。サブクアドラティックは、検索やコーディングなどいくつかのタスクで、主要な最先端LLMに匹敵する初の疎なアテンション機構を開発したと主張している。非常に大胆な主張であり、業界内には依然として懐疑的な見方もある。

サブクアドラティックによると、同社の「SubQ（サブキュー）」モデルは、与えられたテキストごとに、どの単語が重要でどの単語が重要でないかをその場で判断する仕組みだという。同社はまた、すでに数千人がウェイティング・リストに登録しており、近くモデルを広く一般公開する予定だとしている。

一方、サンフランシスコを拠点とするスタートアップ「マニフェストAI（Manifest AI）」は、別の角度からこの問題に取り組んでいる。アテンションの仕組みを変えるのではなく、アテンションそのものを別の仕組みに置き換えようとしているのだ。

同社が開発したのは、「パワー・リテンション（power retention）」と呼ばれる仕組みである。特定のタスクに最も関連性の高い情報だけ …

人気の記事ランキング

1. Trump’s AI protectionism has come for robotics 中国製ロボットを締め出す米国、その研究は中国製で回っている
2. Here’s why AI agents lie and cheat to reach their goals まるで「ずる賢い学生」、 なぜAIエージェントは 不正や嘘に走るのか
3. A fundamental flaw leaves LLMs strikingly vulnerable to attack 「思考の連鎖」偽装でLLMを騙す新手法、訓練では防げない構造的欠陥
4. OpenAI called the Hugging Face attack unprecedented. But we’ve been here before.  「AIの暴走」ではない、オープンAIのモデルが不正侵入した理由