LLMは何を考えているのか？ アンソロピックが見つけた「隠れた領域」

人工知能（AI）企業のアンソロピック（Anthropic）は、大規模言語モデル（LLM）が質問に答えたりタスクを実行したりする際に内部で何が起きているかを、これまでで最も明確に把握できる技術を開発した。その調査結果は、ありふれたものから不安を覚えるものまで多岐にわたる。

同社の研究者たちは「ヤコビアン・レンズ（Jacobian lens）」（J-レンズ）と呼ばれるツールを構築し、それを用いて2月にリリースされたアンソロピックの主力LLMであるClaude Opus 4.6（クロード・オーパス4.6）の内部に、「J空間（J-space）」と名付けられた隠れた領域を発見した。

J空間には、モデルが近い将来の応答で出力する可能性が高い単語やフレーズに関連する単語が現れる。仮にClaudeが人間だとすれば（もちろん実際にはそうではないが）、こうした隠れた単語は、実際に言葉として発する前に「頭の中で考えていること」を垣間見せるものだと言えるかもしれない。

アンソロピックは、LLMが実際に内部で実行している処理と、それについて自ら説明する内容とは一致しないことが少なくないと明らかにした。同社は、J空間に現れる単語を監視することで、モデルの内部動作を理解し、より適切に制御するための新たな手段が得られると主張している。

同社は先週、自社Webサイトで公開した論文でこの成果を発表した。さらに、LLMの内部を誰でも探索できるオープンソースのプラットフォームであるニューロンペディア（Neuronpedia）と提携し、一般の利用者が試せるハンズオンデモも公開している。

「非常に優れた、興味深い研究です」と語るのは、LLMを理解・制御するためのツールを開発するスタートアップ、グッドファイア（Goodfire）の共同創業者兼主任科学者（Chief Scientist）のトム・マクグラスだ。

さらに深く探る

ここ数年、アンソロピックは「機械論的解釈可能性」と呼ばれる研究分野を切り開いてきた。この分野では、LLMの内部動作を詳しく調べ、その仕組みを解明することを目指している（MITテクノロジーレビューは、機械論的解釈可能性を今年の「10大技術」の1つに選出している）。今回の新しい技術は、アンソロピックをはじめとする研究者たちのこれまでの成果を基盤とし、研究者がこれまで見ることのできなかったLLM内部の、さらに深い層を明らかにするものだ。

LLMを、本を何冊も積み重ねたものだと想像してほしい。それぞれの本はニューロンと呼ばれる基本的な計算ユニットからなる1つの層であり、各層のニューロンは、その上の層のニューロンへ情報を受け渡していく。積み重ねの最下部にある本は入力層で、モデルに入力されたテキストを処理する。一方、最上部の本は出力層で、モデルがこれから生成するテキストを準備する。これらの入出力層で実行される処理の多くは、補助的な内部処理にあたる。

しかし、積み重ねの中ほどには、実際の処理の大部分を担う層がある。 …

人気の記事ランキング

1. Trump’s AI protectionism has come for robotics 中国製ロボットを締め出す米国、その研究は中国製で回っている
2. Here’s why AI agents lie and cheat to reach their goals まるで「ずる賢い学生」、 なぜAIエージェントは 不正や嘘に走るのか
3. NASA’s new dark energy space telescope can also detect killer asteroids 宇宙の謎に挑むローマン望遠鏡に加わった、「惑星防衛」という使命
4. A fundamental flaw leaves LLMs strikingly vulnerable to attack 「思考の連鎖」偽装でLLMを騙す新手法、訓練では防げない構造的欠陥