The AI industry has taken a doomer turn. What now?

犬猿の仲が急接近、AI大手がそろって「減速」訴える不自然さ

サム・アルトマン、イーロン・マスク、デミス・ハサビス——数カ月前まで対立や競合関係にあった面々が、アンソロピックのアモデイCEOが唱える「AI減速」に一斉に賛同した。しかし警鐘を鳴らす発端となったハッキング事件を調べると、賢すぎるモデルではなく訓練に失敗した欠陥モデルの姿が浮かぶ。彼らが本当に急ぐのは、リスク抑制か自社の火消しか。 by Will Douglas Heaven2026.09.15

この記事の3つのポイント

アンソロピック、オープンAI、ディープマインド、xAIの各トップがLLM開発の減速を異例の一致で訴えた
背景にはオープンAIのエージェント群によるサイバー攻撃があるが、実態は訓練上の欠陥だった
減速は主にラボ自身の内部混乱を収拾する機会に過ぎず、真の安全確保には各社の透明性確保が不可欠だ

summarized by Claude 3

先週末、アンソロピック（Anthropic）のCEOであるダリオ・アモデイが、大規模言語モデル（LLM）の開発ペースを落とすよう求めるエッセーを公開した。アモデイCEOは、サイバー攻撃やバイオテロへの悪用から経済への壊滅的な打撃まで、この技術がもたらすと見る差し迫った危険性を列挙している。米国の主要AIラボ3社のトップであるオープンAI（OpenAI）のサム・アルトマンCEO、グーグル・ディープマインド（Google DeepMind）のデミス・ハサビス会長、スペースXAI（SpaceXAI）のイーロン・マスクCEOもこれに賛同を表明した。マスクCEOはX上に「ダリオは正しい」と投稿した。

この合意がいかに信じがたいものかを、少し考えてみてほしい。ほんの数カ月前、マスクCEOとアルトマンCEOは法廷で互いの評判を攻撃し合っていた。マスクCEOがかつてのオープンAIの同僚であるアルトマンCEOを訴えたこの訴訟（結局は退けられた）は、少なくとも表向きは、アルトマンCEOが危険な技術の管理者として信頼に足るかどうかをめぐるものだった。アモデイCEOとオープンAIの亀裂はさらに深い。アンソロピックが2021年に設立されたのは、アモデイCEOが、アルトマンCEOは自分たちが開発していた技術のリスクを十分に真剣に受け止めていないと判断したからだ。アンソロピックとオープンAIはそれ以来、勝者総取りのレースで競い合ってきた（ハサビス会長はこうした騒動とは距離を置いてきたが、彼の会社も依然としてライバルである）。

いまや彼らは全員、最新世代のLLMは安全とは言えず、どう対処すべきかを考えなければならないという点で一致しているようだ。主要AIラボの公式な発信は、破滅論寄りに転じてきた。

冷笑的に見るのは簡単だ。彼らの言う「減速」が具体的に何を意味し、どう実現するのかはまったく明らかではない。こうした企業は、自分たちがどう見られるかにも非常に敏感だ。1兆ドル規模の新規株式公開（IPO）を視野に入れるオープンAIとアンソロピックは、自分たちこそ冷静に事態を仕切れる大人なのだと投資家を安心させる一方で、自ら生み出し、そして手なずけようとしている怪物の力をほのめかす必要もある。減速を訴えれば、その両方を同時にできる。

それでも、こうした企業のトップ層の空気が実際に変わったようには見える。アモデイCEOの最新の投稿は、オープンAIが同社の主任科学者であるヤクブ・パホツキのエッセーを公開してから6日後に発表された。その中でパホツキも、LLMの開発ペースが抑えられないまま続いた場合に何が起きるのかを懸念する理由を詳しく説明している。要するにパホツキが心配しているのは、オープンAIが強力なモデルを作る能力が、それを監視・制御する能力を大きく上回ってしまっていることだ。

アモデイCEOとパホツキはいずれも、7月にオープンAIのエージェント群が引き起こしたAI企業ハギング・フェイス（Hugging Face）へのサイバー攻撃を、警鐘を鳴らす出来事として挙げている。このハッキングについて、オープンAI自身が発生に気づいたのは、すべてが終わってから数日後だった。

しかし、彼らが正確にどのような立場を取っているのかは掴みにくい。パホツキは減速を求める一方で、先頭を走り続けることが急務だとも強調している。「はるかに賢いモデルを迅速に訓練し続けるべきだと私が考える最大の理由は、他のAIがもたらす危険に対する防御システムを構築する必要があるからです」。パホツキの描く構図では、AI企業は文字どおり軍拡競争に陥っている。減速するのはよい。しかし勝つことは、さらに重要なのだ。

（忘れてはならないのは、オープンAIがつい先日、物議を醸した数学的成果をアンソロピックより数日早く発表するために、数百万ドルと膨大な計算資源を費やしたという事実だ。）

だが、実際に減速が実現したと仮定してみよう。主要ラボが、さらに高性能なモデルを作る代わりに、既存モデルを監視・制御する方法を見つけることに、より多くの時間と資源を費やすことで合意する。そして外部の監査機関を招き、それらのモデルの評価を手伝わせる。

こうした協調的な取り組みによって、実際に何を達成できるのだろうか。ハギング・フェイスへの攻撃をもう一度考えてみよう。オープンAIによれば、不正な挙動をしたエージェントの大半を動かしていたのは、社内でテスト中だった「極めてしつこい」次世代モデルだった。その説明から受ける印象は、オープンAIが危険なほど優秀なモデルを作ってしまった、というものだ。

しかし、オープンAIと、オープンAIが事態の解明を支援してもらうために招いた第三者機関METR（Model Evaluation & Threat Research、メーター）が公表したハギング・フェイスへのハッキングに関する報告書を読むと、受ける印象は違う。オープンAIが追いつけないほど強力なモデルというよりも、オープンAIが適切に訓練できなかった、欠陥のあるモデルだったように見える。

エージェントたちが、互いにメッセージを残したり、ほかのエージェントに作業を委任したり、タスクを完了するために使えそうな手段を環境内で手当たり次第に探したりしたのは、訓練中にまさにそうした行動を取ることで報酬を与えられていたからだ。また、完了不可能なタスクが含まれるなど訓練環境にも不備があり、それによってモデルは予想外の回避策を探すよう促され、そうした回避策にも報酬が与えられていた。当時、こうした問題の多くは見過ごされるか、報告されなかった。

オープンAIは、この新モデルの訓練を中止し、厳重に隔離したとしている。それでは、まるで危険な猛獣を檻に閉じ込めたかのように聞こえる。だが実際には、オープンAIは欠陥のある製品を棚上げしただけだ。

もちろん、欠陥のある製品が危険ではないという意味ではない。過去には、不具合のあるソフトウェアによって人命が失われたことさえある。しかし、減速をめぐる議論が勢いを増す中、これらの問題がすべて自ら招いたものだということは覚えておくべきだ。減速には、結果として公益につながる面もあるかもしれない。しかし主として、それはこうしたテック大手に、自社の製造ラインで起きている混乱を片づける時間を与えることになる。

AIを改革し、抑制し、規制するための真に意味のある取り組みには、こうしたフロンティアAIラボの透明性が不可欠だ。そうでなければ、開発のペースがどうであれ、彼らがいったい何を作り、それがどれほど安全なのかについて、私たちは結局、彼ら自身の説明を信じるしかない。

人気の記事ランキング

ウィル・ダグラス・ヘブン [Will Douglas Heaven]米国版 AI担当上級編集者: AI担当上級編集者として、新研究や新トレンド、その背後にいる人々を取材。前職では、テクノロジーと政治に関するBBCのWebサイト「フューチャー・ナウ（Future Now）」の創刊編集長、ニュー・サイエンティスト（New Scientist）誌のテクノロジー統括編集長を務めた。インペリアル・カレッジ・ロンドンでコンピューターサイエンスの博士号を取得しており、ロボット制御についての知識を持つ。