先日、MITテクノロジーレビュー［米国版］は購読者向けのオンラインイベントを開催し、今まさに誰もが口にしているこの問いを取り上げた。人工知能（AI）は本当に人類を滅ぼすのか？ という問いだ。

参加者からは30分のセッションでは答えきれないほど多くの質問が寄せられた。そこで、質問をまとめ、AI担当上級編集者のウィル・ダグラス・ヘブンとAI担当記者のグレース・ハッキンズに、できる限り回答してもらうことにした。質問を送ってくれたすべての方に感謝する。

Q. 私は死ぬのだろうか？

A. いずれは死ぬ。残念ながら、私のジャーナリストとしての予知能力では、その死因を特定するには至らない。ただ、AIが原因になる可能性は十分ある。AIを搭載したドローンはすでにウクライナで人を殺傷しており、AIを利用した病院へのサイバー攻撃も、遠からず犠牲者を出すだろう。

AIがさらに進んで、私たち全員を殺すことはあり得るのか。その可能性は低い。しかし、一部の人々、風変わりではあるが、AIについて紛れもなく深い知識を持つ人々は、そうした事態が起こりうると何年も前から警告してきた。私はまだ缶詰を備蓄したり、地下シェルターを持つ超富裕層に取り入ろうとしたりはしていないが、ここ数年でドゥーマー（破滅論者）たちのAIの能力と、AIに私たちが望む振る舞いをさせる「アライメント」に関する予測が不安なほど的中していることには気づいている。それは必ずしも、彼らのより深刻な予測が現実になることを意味するわけではないが、真剣に受け止めるには十分な理由だ。

（グレース・ハッキンズ）

A. AIによって死ぬ可能性はあるか。ゼロではないと言えるだろう。運悪く、近未来の奇妙な出来事や事故の被害者になるかもしれない。たとえば、AIエージェントの群れによる重要インフラへのサイバー攻撃かもしれない。残念ながら、そのようなシナリオはもはやかつてほど荒唐無稽には感じられない。あるいは、AIが設計した新型病原体が人々を席巻するかもしれない。または世界経済が崩壊し、紛争や飢饉を引き起こすかもしれない。どちらもあり得る話だが、可能性は低いと思う。

AIによって人類全員が死ぬことはあるか。それはない。AIが人類全員を殺せるような状況は、黙示録的なSFの世界以外には存在しない。恐怖を煽るストーリーはいくらでも作れるが、それらは現在のAI技術の実態や進む方向性に基づいたものではない。

どれほど突拍子もなく見えても、最悪の事態に備えることに害はないと主張する人もいる。そうかもしれない。しかし、そのような破滅的思考は、既存の技術やそれを開発する企業が抱えるより差し迫った問題を、人々が見逃したり容認したりする口実になりかねないと私は思う。

（ウィル・ダグラス・ヘブン）

Q. なぜAIは人を殺すのか？

A. 誰かがそう命令し、AIがそれに従う可能性がある。これが、研究者たちがAIの生物学的能力をこれほど懸念している理由の1つだ。1995年に地下鉄サリン事件を起こした終末論的カルト集団、オウム真理教が、エボラ出血熱より致死性が高く麻疹より感染力の強い病原体を設計できるツールを手にしていたら、何をしていたか想像してほしい。死を望まない私たちは、考えられるあらゆる生物兵器に対する防衛策を講じなければならないが、攻撃を企てる者は有効な病原体を1つ作り出せばよいだけだ。

さらに、より奇妙に聞こえる可能性として、AIが自らの意志で人を殺すことを決断するというシナリオもある。これがどのように起こりうるかについてはさまざまな説があるが、最も広く語られるのは、必ずしも人間を憎んでいるわけではないAIシステムに関するものだ。人間は単に、AIが人間から与えられた目標と自分の間に立ちはだかる障害に過ぎないというわけだ。

ハギング・フェイス（Hugging Face）へのハッキングに関与したオープンAI（OpenAI）のエージェントが、テストで高得点を取るために別のサイトのインフラを侵害したように、将来のより強力なAIが、自分をシャットダウンされないようにするために人間を排除するかもしれないという考え方がある。それもすべて、私たちが指示した目標を追求するためだ。

（グレース・ハッキンズ）

Q. 最悪の事態を防ぐために、アライメントをどのように確保すればよいのか。また、その実現に向けて最も優れた取り組みをしているのはどこか？

A. アライメントは広大な研究領域だ。簡単に言えば、私たちが望む振る舞いをし、望まない振る舞いをしないモデルを構築することを指す。エージェントにより多くの自律性を与える前に、そのエージェントをより深く信頼できるようにする必要がある。アライメントはその信頼を確立するためのものだ。しかし、それは難しい。

大規模言語モデル（LLM）は、すべきことやすべきでないことをプログラムに直接書き込める従来のソフトウェアとは異なる設計思想で作られている。代わりに、アライメントされた振る舞いはモデルの訓練時に植え付ける必要がある。1つのアプローチは、望ましい行動に対して報酬を与えることだ（幼児の育て方に少し似ているかもしれない）。もう1つのアプローチは、LLMに従うべきルールを文章で列挙したリストを与えることだ（一種の憲法のようなものだ）。

アンソロピック（Anthropic）とオープンAIはどちらもこの分野のリーダーだ。しかし、どちらも完全にアライメントされたモデルを開発するには至っていない。大きな問題は、LLMが人間よりもはるかに一貫性がなく、はるかに予測しにくいことだ。ある状況では1つの方法で振る舞い、私たちには非常に似ているように見える状況では別の方法で振る舞うことがある。また、予期しない制約によって行動が左右されることもある。たとえば、ハギング・フェイスへのハッキングに関与したエージェントの多くがそうであったように、不可能なタスクに直面した場合、モデルは目標を達成するためなら何でもしようとするかもしれない。グレーズが先に述べたように、それは問題になりうる。

大手AI企業が現在、開発の減速を望むと言っている主な理由は、アライメントの解明に集中したいからだ。アライメントは必ずしも絵空事ではない。しかし、完全なアライメントが実現可能かどうかについては、まだ結論が出ていない。

（ウィル・ダグラス・ヘブン）

Q. AIは本当に危険なのか、それともテック企業がPRのために騒いでいるだけなのか？

A. IPO（新規株式公開）を控えたテック企業に対する疑問としては常に合理的だ。企業のCEO（最高経営責任者）には、自社製品を革新的で変革をもたらすものとして見せる明確なインセンティブがある。しかし、ここではその論理が当てはまるかどうか疑わしい。すでに不人気な製品が自分たちや愛する人全員を殺しかねないと一般大衆に告げることは、最悪の企業イメージ管理だ。

CEOたちの動機については別の解釈もできる。世界を変える技術の責任ある管理者として自らを描くことで、データセンターをめぐる世論の怒りを鎮めようとしているのかもしれないし、次のPR危機を防ぐために準備を整える時間を稼ごうとしているのかもしれない。

しかし、もっとシンプルな説明もある。AIが人類の絶滅をもたらしうるという考えは、サンフランシスコではしばらく前からかなり広まっており、これらの経営者たちはそのような環境に深く浸かっている。従業員も同様で、その多くが7月に、AI開発の減速を実現するよう自社に求める公開書簡に署名した。

（グレース・ハッキンズ）

Q. 懸念の一部は、AIエージェントが監督なしに自律的に行動することを許可された場合に生じる。AIエージェントをより制御することを妨げている問題は何か？

A. この問いは、私たちがこの技術に何をさせたいのかという核心に触れている。自律性と制御のトレードオフを適切に調整することは難しい。なぜなら、一方ではAIエージェントの大きな強みは、人間が細かく管理しなくてもタスクをこなし問題を解決できることにあるからだ。他方、それは監督しなくてもエージェントが暴走しないと信頼できることを前提とする。

現状を見ると、AI研究者たちはこのトレードオフをまだ適切に調整できていない。モデルは信頼性が低く、適切に監視されておらず、常に制御下にあるわけでもない。有用な自律的活動を維持しながらそれを修正する方法を見つけることが、現在の大きな研究課題の1つだ。

（ウィル・ダグラス・ヘブン）

Q. AIを効果的に制御・監視・規制するために、今および近い将来に取れる手段は何か？

A. それは非常に重要だが答えるのが難しい質問だ。AIが人を殺しうると思うかどうかにかかわらず、実際に深刻な被害をもたらしうることは否定できない。なぜなら、すでにそうなっているからだ。たとえば、AIはすでに、人々を精神疾患に追い込んだり、Webサイトをハッキングしたりしている。その被害を防ぐ、あるいは少なくとも軽減することが難しい理由は2つある。

1つ目は、AIがどのように機能するかをほとんど理解できていない中で、AIは急速に強力になっているということだ。不正な振る舞いをするエージェントを監視・制御する方法について数多くの研究が進行中だが、現在のアプローチは脆弱だ。エージェントが行動を計画するワークスペースである「思考の連鎖（Chain of Thought、CoT）」の中で、不正行為に言及しているかどうかを確認することはできる。しかし、オープンAIの最新エージェントは以前のものと同じ方法で作業過程を示さない。また、エージェントを別のエージェントで監視しようとすることもできるが、それには監視役のエージェントを信頼できることが前提となる。

もう1つの障壁はより身近なものだ。AI企業が自らを規制する場合には利益相反が生じるが、米国政府はこれまでのところ、議会で一定の超党派的な支持があるにもかかわらず、介入してこなかった。行政府はさしあたり、規制に強く反対しているようだ。しかし、もし風向きが変わるなら、私個人としては強力な透明性規制を歓迎する。そうすれば、未公開の最先端のモデルがサイバー攻撃を仕掛けた次の機会に、より全体像を把握できるようになるからだ。

（グレース・ハッキンズ）

Q. このような対話がWeb上の言説に取り込まれた場合、自己成就的な予言になってしまうのではないか？

A. それは現実的な懸念だ。LLMは読み込んだ内容に影響を受ける。チャットボットが黙示録的なシナリオについて頻繁に語ったり、ロールプレイしたりする理由の1つとして、数百万ページものSF小説やドゥーマー系インターネットフォーラムで訓練されているという説がある。この記事を含め、今まさに生み出されているすべてのテキストが、将来のモデルの振る舞いに影響を与えうる。極めてメタな話だ。

実際、ハギング・フェイスへのハッキングに至る経緯を解明するためにオープンAIが招いたサードパーティ機関であるMETR（Model Evaluation & Threat Research、メーター）のチームが、この事案に関する報告書の中で関連する可能性を指摘している。METRは、膨大な数のエージェントのトランスクリプトと行動ログを分析するために、オープンAIの新モデルであるAstra（アストラ）を利用した。

しかし、そのような素材をすべてモデルに与えることは、意図しない結果をもたらす可能性がある。分析をするエージェントが、分析対象のエージェントが生成したテキストによってバイアスを受ける可能性は十分にある。もはや白紙の状態などというものは存在しないのだ。

（ウィル・ダグラス・ヘブン）

• 0

人気の記事ランキング

1. Can the US battery market untangle from China? 送電網の蓄電池から中国製を締め出し、米国が払う「自立」の代償は
2. Promotion How AI could reshape Japan’s white-collar workforce 【10/6開催】AIで浮いた人材、次の一手は地方に——冨山和彦氏ら登壇
3. Donated livers can be made biologically younger 「若返る」提供肝臓、機械灌流が生物学的年齢を逆戻りさせる
4. Meet a mouse whose brain cortex is made up of human cells 脳容積の半分がヒト細胞に、スタンフォード大が作った「異種皮質マウス」
5. This geneticist’s age-reversal tech could help restore sight 失明マウスの視力回復に成功、若返りブームの震源となった研究者