KADOKAWA Technology Review
×
夏割実施中!購読料20%オフ。
「トランスフォーマーのボトルネックを根本解決」 大胆主張は本物か
Stephanie Arnett/MIT Technology Review | Adobe Stock
人工知能(AI) Insider Online限定
A startup claims it broke through a bottleneck that’s holding back LLMs

「トランスフォーマーのボトルネックを根本解決」 大胆主張は本物か

米AIスタートアップ、サブクアドラティックは、約10年にわたりLLMの進化を阻んできたボトルネックを解決したと主張する。新モデル「SubQ」はトランスフォーマーの中核を捨て、最高水準のモデル並みの性能を保ちつつ高速・低コストになったという。第三者の検証は主張の一部を裏づけたが、まだ広く試せず確証には至っていない。 by Will Douglas Heaven2026.06.22

この記事の3つのポイント
  1. AIスタートアップが疎アテンション型LLM「SubQ」を発表し、速度・コスト・処理規模で既存モデルを大幅に上回ると主張
  2. 第三者機関アッペンの検証でコーディング性能や長文脈処理における優位性が確認され、主張の一部に信憑性が示された
  3. 一般公開が限定的でQwenの重みを流用している点など技術的透明性に課題が残り、独立した広範な検証が今後の焦点となる
summarized by Claude 3

米フロリダ州マイアミを拠点とする人工知能(AI)スタートアップであるサブクアドラティック(Subquadratic)は先月、ステルスモード(非公開開発)を終え、驚くべき主張を発表した。同社は、約10年にわたって大規模言語モデル(LLM)の発展を阻んできた数学的なボトルネックを解決したと発表したのだ。

詳細は乏しく、多くの人が発表に懐疑的だった。しかしサブクアドラティックは証拠を示し始め、新技術の独立した評価結果を公開した。その結果は、同社の主張が注目に値する可能性を示している。

サブクアドラティックによると、同社は「SubQ(サブキュー)」と呼ばれる新しい種類のLLMを開発した。SubQは市場に出回っている他のどのモデルよりも高速かつ低コストで、エネルギー消費量も大幅に少ない。また同社は、SubQが他のほとんどのモデルと比べて最大12倍の量のテキストを一度に処理できると主張しており、数百の文書やコードベース全体の分析といったデータ量の多いタスクを幅広く実行できるとしている。

さらにサブクアドラティックによれば、SubQはコーディングなどの主要タスクにおいて、グーグル・ディープマインド(Google DeepMind)、オープンAI(OpenAI)、アンソロピック(Anthropic)が提供する最高水準のモデルとほぼ同等のパフォーマンスを発揮しながら、これを実現しているという。

問題は、同社が当初、自社公表のテストスコアをわずかに示す以外、ほとんど証拠を提供しなかったことだ。また、SubQを広く一般に公開して実際に試せるようにするには至っていない。

サブクアドラティックの主張が懐疑的に受け止められたのも無理はない。AIエンジニアのダン・マカティアは、X上での全体的な反応を次のように表現した。「SubQは、Transformer(トランスフォーマー)以来最大のブレークスルーか……それともAI版セラノスか」。

1カ月が経過し、同社はサードパーティ企業のアッペン(Appen)が実施した追加の独立テストの結果を含む、モデルに関する詳細情報を公開した。

「健全な懐疑論は想定していました」。こう話すのは、サブクアドラティックの共同創業者兼CTO(最高技術責任者)であるアレックス・ウェドンだ。「振り返ってみると、最初の発表と同時にサードパーティのベンチマーク結果を公開していれば、懐疑論の多くを未然に防げたでしょう。だからこそ、今後の結果については完全に検証されてから公表するよう、時間をかけて取り組んでいます」。

サブクアドラティックは、他社モデルの評価を手がけるアッペンにSubQのテスト実施を依頼した。結果はサブクアドラティックの主張の多くを裏付けるものだった。「本当に興奮しました。彼らのアーキテクチャーが検証されたのです」。アッペンの生成AIリサーチ担当部長であるジャニン・シナナン=シンは言う。

「『これはゲームチェンジャーになり得る』と思いました。モデルは速度と非効率性に苦しんでいますから」と彼女は続ける。「でも、衝撃的な結果が出たとき、自分たちで言っても信頼性はあまりありませんよね」。

SubQが既存のトップモデルをあらゆる面で置き換えることはないだろうが、特定のタスクにおいては、通常のコストのほんの一部で大幅な速度向上をもたらす可能性がある。ただし、サブクアドラティックは長期的には自社のブレークスルーがLLMの構築方法を変えると主張している。「効率性の新時代の幕開けになることを願っています」と、同社の共同創業者兼CEOのジャスティン・ダンゲルは言う。「数年後には、誰もTransformerをベースに開発しなくなると思います」。

アテンションとは何か

サブクアドラティックの主張がなぜ重大なのかを理解するために、ほとんどのLLMがどのように機能するかを掘り下げてみよう。LLMの中核となるメカニズムは、Transformerと呼ばれる一種のニューラルネットワークであり、「高密度アテンション(Dense Attention)」と呼ばれるプロセスを実行する …

こちらは有料会員限定の記事です。
有料会員になると制限なしにご利用いただけます。
有料会員にはメリットがいっぱい!
  1. 毎月120本以上更新されるオリジナル記事で、人工知能から遺伝子療法まで、先端テクノロジーの最新動向がわかる。
  2. オリジナル記事をテーマ別に再構成したPDFファイル「eムック」を毎月配信。
    重要テーマが押さえられる。
  3. 各分野のキーパーソンを招いたトークイベント、関連セミナーに優待価格でご招待。
【夏割】実施中!年間購読料20%オフ!
人気の記事ランキング
  1. How lasers could help provide fuel for nuclear reactors 核廃棄物は「地上ウラン鉱山」、レーザー濃縮で再生を狙う
  2. How an overlooked geothermal plant got a second chance もっと深く掘れ——採算割れの地熱発電所を米新興企業が再生
  3. Trump’s AI protectionism has come for robotics 中国製ロボットを締め出す米国、その研究は中国製で回っている
MITテクノロジーレビューが選んだ、AIの10大潮流 [2026年版]

AIをめぐる喧騒の中で、本当に目を向けるべきものは何か。この問いに対する答えとして、MITテクノロジーレビューはAIの重要なアイデア、潮流、新たな進展を整理したリストを発表する。

特集ページへ
MITテクノロジーレビューが選んだ、 世界を変える10大技術

MITテクノロジーレビューの記者と編集者は、未来を形作るエマージング・テクノロジーについて常に議論している。年に一度、私たちは現状を確認し、その見通しを読者に共有する。以下に挙げるのは、良くも悪くも今後数年間で進歩を促し、あるいは大きな変化を引き起こすと本誌が考えるテクノロジーである。

特集ページへ
フォローしてください重要なテクノロジーとイノベーションのニュースをSNSやメールで受け取る