AIは自らを改善できるのか？ 新研究が示した「創造性の壁」

人工知能（AI）業界が現在掲げる最も大胆な約束は、AIがほとんど人間の監督を必要とせず、まもなく自らを改善できるようになるというものだ。LLM（大規模言語モデル）はすでにコードを書き、学習用の合成データを生成し、自らを動かすコンピューター・チップを最適化できる。爆発的なAIの進歩を予測する予測では、研究者たちが再帰的自己改善と呼ぶものが間近に迫っているとされている。

しかし、新たな研究によると、そこに到達するにはまだ時間がかかりそうだ。この研究では、AIエージェントはまだ、オープンエンドなAI研究、つまり明確な正解がなく、判断力やセンスを必要とする自由形式の探究を遂行できないことが示された。こうした能力は、自己改善するAIを構築するうえで不可欠なのかもしれない。

プリンストン大学のピーター・キルギスとサヤシュ・カプールが率いる複数機関の研究チームは、AIエージェントがAI研究に必要なエンジニアリング上の作業をこなせる一方、トップクラスの機械学習カンファレンスに採択される水準の独創的な研究を生み出すための判断力や創造性には欠けていることを明らかにした。この隔たりは、AI研究の自動化をめぐって喧伝されているタイムラインの一部が、実証的な根拠を先走っている可能性を示している。

AIエージェントによるAI研究の自動化能力を調べた既存研究の多くは、エンジニアリング上の問題を解いたり、小規模な言語モデルをポストトレーニングしてベンチマークで評価したりするなど、正解を検証できる限定的なタスクをこなす能力を評価している。しかし、AI研究を前進させるには、オープンエンドな思考も必要になる。どの仮説を検討するかを選び、どのような証拠があれば問いに決着をつけられるかを判断し、ときには、いつ最初からやり直すべきかを見極めなければならない。

そうした能力をAIエージェントで検証するため、研究チームは「シャドウ評価（shadow evaluation）」と呼ぶ新しい評価手法を提案した。質の高い未公開論文が扱っている研究課題にAIを取り組ませるという方法だ。

研究チームは、オープンソースソフトウェアのOpenClaw（オープンクロー）上で動作する、アンソロピック（Anthropic）のClaude Opus 4.8（クロード・オーパス4.8）に、権威ある機械学習カンファレンス「NeurIPS 2026」に投稿された2本の論文から選んだ研究課題に取り組ませた。

1つ目の課題は、大規模言語モデルの振る舞いを決める「ペルソナ」を、モデルの重みを編集することで制御できるかどうかというものだった。重みとは、訓練によってモデルが獲得した情報が符号化されている数十億個の数値である。もう1つは、表形式のデータに基づいて予測するモデルの信頼性が失われたことを検出する仕組みをどう設計するか、という課題だった。これらの論文は未公開だったため、エージェントは訓練データに含まれる答えを記憶していたり、答えをネット上で検索したりすることはできなかった。

エージェントには6日間、アンソロピックのAPIクレジット3000ドル分、実験用のGPU予算、専用の仮想コンピューター、オープンWebへのアクセスが与えられ、トップクラスのAIカンファレンスに採択される水準の研究論文を作成するよう求められた。元論文の著者たちは、通常のカンファレンス投稿論文を査読するのと同じ基準で、エージェントが作成した論文を評価し …

人気の記事ランキング

1. What’s behind this summer’s heat, and why 2027 could be worse 記録ずくめの猛暑の夏、しかし本番は来年かもしれない
2. Scientists just created female clones of male mice オスのマウスからメス作製、日本チームが遺伝子編集で性逆転に成功
3. These startups are chasing the next big thing in LLMs トランスフォーマーに限界、 次世代LLMを担う 4つの最新アプローチ
4. Flock is tightening its rules in response to a growing surveillance backlash 警察官がストーカー目的で悪用、米車両監視大手の規則強化は効くか