LLM+：大量かつ複雑なタスクを、安く効率よくこなす

2022年末に実験的なプロトタイプとして登場したオープンAI（OpenAI）のChatGPT（チャットGPT）は、数億人にとって日常的な万能アプリとなった。ChatGPTのような大規模言語モデル（LLM）は新たな未来の象徴となり、テクノロジー業界全体がその熱狂に飲み込まれ、各社は競合製品の開発に躍起になった。

旧世代の熱狂の余韻が冷めやらないにもかかわらず、「次に来るものは何か」という問いを止める者はいない。先に答えを言ってしまえば、LLMの次に来る大きなものは、さらに進化したLLMだ。それを「LLM+」と呼ぶことにしよう。

課題は、人間が解くのに数日から数週間かかるような複雑かつ多段階の問題をLLMに処理させることだ。トップ研究機関が掲げる目標どおり、LLMが人類の最も困難な課題の解決に貢献するためには、より長い時間にわたって自律的に動作できる能力が必要となる。

その実現に向けて、いくつかの進展が求められる。まず、LLMはより効率的かつ低コストで動作できるようにならなければならない。最大の進歩のいくつかはこの分野で起きている。「専門家の混合（MoE：Mixture of Experts）」と呼ばれるアプローチは、LLMを複数の小さな部分に分割し、それぞれに異なるタスクの専門性を持たせるものだ。これにより、特定の時点ではモデルの一部だけを起動すれば済むようになる。

LLMをより効率化するもう一つの方法として、現在ほぼすべてのLLMの基盤となっているニューラル・ネットワークの一種であるトランスフォーマーを廃止し、画像や動画生成により一般的に使われる別種のニューラル・ネットワークである拡散モデルに切り替えるという案もある。さらに実験的なアプローチも存在する。2025年に中国の人工知能（AI）企業ディープシーク（DeepSeek）はテキストを画像にエンコードする手法を発表し、計算コストの削減を実現した。

もう一つの重要な進歩の領域は、LLMの「コンテキスト・ウィンドウ」と呼ばれるものに関係している。これはモデルが一度に取り込めるテキスト（または動画）の量であり、作業記憶に相当する。数年前、LLMが一度に処理できるのは数千トークン（単語または単語の一部）、すなわち数十ページ分のテキストにすぎなかった。最新モデルのコンテキスト・ウィンドウは最大100万トークンに達し、書籍を何冊も積み重ねた分量に相当する。しかし、コンテキスト・ウィンドウが大きくなり、タスクが長くなるほど、モデルが脱線したり、作業内容を忘れたりする可能性が高まる。

この分野でもブレークスルーが起きている。MIT（マサチューセッツ工科大学）コンピュータ科学・人工知能研究所（MIT CSAIL）の研究者らが最近発表した論文では、「再帰的LLM（recursive LLMs）」と呼ばれる手法が提案されている。広大なコンテキスト・ウィンドウを一度に取り込む代わりに、再帰的LLMは入力をチャンク（塊）に分割し、各チャンクを自身のコピーに送る。そのコピーはさらにチャンクを細分化し、結果をさらに多くのコピーに送ることもある。より小さな情報の断片を複数のLLMが並列処理することで、長く困難なタスクに対してはるかに高い信頼性が得られるようだ。その結果は確かにLLMではあるが、これまで知られていたものとは異なる。

• 10

人気の記事ランキング

1. It’s time to address the looming crisis in entry-level work. 「コーディングを学べ」もう通用せず、AIが若者の雇用を奪い始めた
2. Promotion Call for entries for Innovators Under 35 Japan 2026 「Innovators Under 35 Japan」2026年度候補者募集のお知らせ
3. Anthropic’s Code with Claude showed off coding’s future—whether you like it or not 「Claudeに任せてしまおう」 たった1年で激変したソフトウェア開発
4. A reality check on the AI jobs hysteria 「ホワイトカラー消滅」 まだデータに兆候なし ——ただし若者に警戒信号
5. Inside the stealthy startup that pitched brainless human clones 「臓器袋」から全身置換へ ステルス企業R3が隠す 「脳なし」クローン計画