AI界の巨人たちはなぜ、
「人類存亡の危機」を
訴え始めたのか？

大きな悪いボットを恐れている人はたくさんいるようだ。多くの著名人が、人工知能（AI）の破滅的な危険性を警告する声明を発表したり、その旨の公開書簡に署名したりするようになった事実は衝撃的だ。

深層学習の開拓者であるジェフリー・ヒントンやヨシュア・ベンジオ、一流AI企業の最高経営責任者（CEO）であるサム・アルトマンやデミス・ハサビスから、カリフォルニア州内の選挙区選出のテッド・リエウ米連邦下院議員、エストニアのケルスティ・カリユライド前大統領に至るまで、何百人もの科学者、ビジネスリーダー、政策立案者が声を挙げている。

先に名前を挙げた全員やその他の人々が署名している、この種のものでは最も赤裸々な主張は、サンフランシスコを拠点とする政策提言型の研究機関であるAI安全センター（Center for AI Safety：CAIS）が2週間前に発表した、英単語で22語から成る声明だ。この声明は次のように宣言している。「AIによる滅亡リスクの軽減は、パンデミックや核戦争などの他の社会規模のリスクについてと同じように世界的な優先事項であるべきです（Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war.）」。

この言葉遣いは意図的なものだ。CAISのディレクターであるダン・ヘンドリクスは、「ロールシャッハテスト風の声明を狙うなら、『存在に関わる危機』と述べたことでしょう。これなら、さまざまな人を対象にさまざまな意味を持たせることができるからです」と語った。だがCAISは、経済的な破滅を意味するわけではないことを明確にしたいと考えたという。「そこで、『滅亡の危機』という言い回しを用いましたが、実際には、私たちの多くは他のさまざまなリスクについても懸念しています」とヘンドリクスは述べる。

こうした状況は以前にもあった。AIの誇張された宣伝にはAIによる破滅論が続く。だが、今回は様相が異なるようだ。オヴァートンの窓（日本版注：多くの人に受け入れられる考え方）は移動した。かつては極端とされた意見が、今では主流の論点になり、メディアの見出しを飾るだけでなく、世界的リーダーの注目も集めている。「AIについて懸念を述べる人々の声が大きくなりすぎて、無視できなくなっただけです」と、テクノロジーの社会的影響について研究する団体、データ・アンド・ソサエティ（Data and Society）のジェナ・バレル調査部長は言う。

一体何が起こっているのだろうか。本当にAIの危険性は増したのだろうか。これまでAIを先導していた人たちが警鐘を鳴らすようになったのはなぜだろうか。

こうした意見がAI業界の分断を招いているのは間違いない。2018年のチューリング賞をヒントン、ベンジオと共同受賞しているメタの主席科学者であるヤン・ルカン（Yann Lecun）は、この破滅論主義を「荒唐無稽」と称した。AI企業コーヒア（Cohere）のエイダン・ゴメスCEOは「時間の無駄遣い」と述べた。

嘲笑を浴びせる者は他にもいる。「現在、AIが存在に関わる危機を突き付けるようになるというエビデンス（科学的根拠）は、1950年当時ほどはありません」と述べるのは、シグナル（Signal）のメレディス・ウィテカー社長だ。同社長は、AIの社会や政策への影響を研究するAIナウ研究所（AI Now Institute）の共同創設者でもある。「怪談は伝染します。怖がるのは、とてもわくわくするし、刺激的なのです」。

「これは現在起こっていることすべてをざっと眺めるという手法でもあります」と、データ・アンド・ソサエティのバレルは言う。「本物の、あるいは重大な被害がまだ見られていないことを示唆しています」。

昔ながらの恐怖

制御不能になった自己改良型機械についての懸念は、アラン・チューリングの時代から存在する。ヴァーナー・ヴィンジやレイ・カーツワイルといった未来学者は、俗に「シンギュラリティ」と呼ばれる概念を用いて、この考えを大衆化した。シンギュラリティとは、AIが人間の知性を追い抜き、機械が支配するようになる仮定の日のことである。

だが、こうした懸念の核心にあるのは、「機械の方が賢くなった場合に、どのようにして人間の方が優位に立ち続けるか」という制御の問題だ。トロント大学でAIの哲学を研究するカリーナ・ヴォルド助教授（CAISの声明に署名している）は、2017年に発表した、「AIはどのように存在に関わる危機を突き付けているか（How Does Artificial Intelligence Pose an Existential Risk?”）」という論文で、この恐怖の背後に潜む基本的な論調を明確に描き出している。

そこには3つの大きな前 …