LLMs+

LLMs：大量かつ複雑なタスクを、安く効率よくこなす

大規模言語モデル（LLM）は進化し続けており、いずれは人間が解くのに数日から数週間かかるような複雑かつ多段階の問題を処理できるようになるかもしれない。それを実現するためには、LLMは今よりも低コストで高効率になる必要がある。 by Will Douglas Heaven2026.04.23

この記事の3つのポイント

LLMの次世代形態「LLM+」は、数週間規模の複雑な多段階タスクを自律処理できる能力を目指している
効率化の手段としてMoE・拡散モデル・画像エンコード手法など多様なアーキテクチャ革新が進行中
MITの再帰的LLMはコンテキスト処理を並列分散化し、長大タスクの信頼性を大幅に高める可能性を示す

summarized by Claude 3

2022年末に実験的なプロトタイプとして登場したオープンAI（OpenAI）のChatGPT（チャットGPT）は、数億人にとって日常的な万能アプリとなった。ChatGPTのような大規模言語モデル（LLM）は新たな未来の象徴となり、テクノロジー業界全体がその熱狂に飲み込まれ、各社は競合製品の開発に躍起になった。

旧世代の熱狂の余韻が冷めやらないにもかかわらず、「次に来るものは何か」という問いを止める者はいない。先に答えを言ってしまえば、LLMの次に来る大きなものは、さらに進化したLLMだ。それを「LLM+」と呼ぶことにしよう。

課題は、人間が解くのに数日から数週間かかるような複雑かつ多段階の問題をLLMに処理させることだ。トップ研究機関が掲げる目標どおり、LLMが人類の最も困難な課題の解決に貢献するためには、より長い時間にわたって自律的に動作できる能力が必要となる。

その実現に向けて、いくつかの進展が求められる。まず、LLMはより効率的かつ低コストで動作できるようにならなければならない。最大の進歩のいくつかはこの分野で起きている。「専門家の混合（MoE：Mixture of Experts）」と呼ばれるアプローチは、LLMを複数の小さな部分に分割し、それぞれに異なるタスクの専門性を持たせるものだ。これにより、特定の時点ではモデルの一部だけを起動すれば済むようになる。

LLMをより効率化するもう一つの方法として、現在ほぼすべてのLLMの基盤となっているニューラル・ネットワークの一種であるトランスフォーマーを廃止し、画像や動画生成により一般的に使われる別種のニューラル・ネットワークである拡散モデルに切り替えるという案もある。さらに実験的なアプローチも存在する。2025年に中国の人工知能（AI）企業ディープシーク（DeepSeek）はテキストを画像にエンコードする手法を発表し、計算コストの削減を実現した。

もう一つの重要な進歩の領域は、LLMの「コンテキスト・ウィンドウ」と呼ばれるものに関係している。これはモデルが一度に取り込めるテキスト（または動画）の量であり、作業記憶に相当する。数年前、LLMが一度に処理できるのは数千トークン（単語または単語の一部）、すなわち数十ページ分のテキストにすぎなかった。最新モデルのコンテキスト・ウィンドウは最大100万トークンに達し、書籍を何冊も積み重ねた分量に相当する。しかし、コンテキスト・ウィンドウが大きくなり、タスクが長くなるほど、モデルが脱線したり、作業内容を忘れたりする可能性が高まる。

この分野でもブレークスルーが起きている。MIT（マサチューセッツ工科大学）コンピュータ科学・人工知能研究所（MIT CSAIL）の研究者らが最近発表した論文では、「再帰的LLM（recursive LLMs）」と呼ばれる手法が提案されている。広大なコンテキスト・ウィンドウを一度に取り込む代わりに、再帰的LLMは入力をチャンク（塊）に分割し、各チャンクを自身のコピーに送る。そのコピーはさらにチャンクを細分化し、結果をさらに多くのコピーに送ることもある。より小さな情報の断片を複数のLLMが並列処理することで、長く困難なタスクに対してはるかに高い信頼性が得られるようだ。その結果は確かにLLMではあるが、これまで知られていたものとは異なる。

人気の記事ランキング

ウィル・ダグラス・ヘブン [Will Douglas Heaven]米国版 AI担当上級編集者: AI担当上級編集者として、新研究や新トレンド、その背後にいる人々を取材。前職では、テクノロジーと政治に関するBBCのWebサイト「フューチャー・ナウ（Future Now）」の創刊編集長、ニュー・サイエンティスト（New Scientist）誌のテクノロジー統括編集長を務めた。インペリアル・カレッジ・ロンドンでコンピューターサイエンスの博士号を取得しており、ロボット制御についての知識を持つ。