当初、今週のコラムはAIとイランについて書く予定だった。特に先週、本誌がが報じたニュース、つまり国防総省がAI企業に機密データでの訓練を計画させているという内容についてである。AIモデルはすでに機密環境での質問回答に使用されているが、現在のところ、見たデータから学習することはない。しかし、こうした状況は変わると予想され、新たなセキュリティリスクが生じると本誌は報じた。詳細はこの記事を読んでほしい。

しかしその後、注目に値する新しい研究に出会った。AIの心理的影響に焦点を当てるスタンフォード大学のグループが、チャットボットとのやり取り中に妄想の渦に陥ったと報告した人々の会話記録を分析したのである。このような事例はしばらく前から見られており、コネチカット州では、AIとの有害な関係が殺人自殺に至った事例も含まれている。このような事例の多くは、現在も継続中のAI企業に対する訴訟につながっている。しかし、研究者がチャットログ（19人から39万件以上のメッセージ）をこれほど詳細に分析し、このような渦の中で実際に何が起こっているかを明らかにしたのは今回が初めてである。

この研究には多くの限界がある。査読を受けておらず、19人というサンプルサイズは非常に小さい。また、この研究が答えていない大きな疑問もある。まずはこの研究から何が分かるか、ということから見てみよう。

研究チームは、調査回答者およびAIによって害を受けたと主張する人々の支援グループからチャットログを受け取った。これらを大規模に分析するため、精神科医や心理学教授と協力してAIシステムを構築し、会話を分類した。このシステムは、チャットボットが妄想や暴力を支持した瞬間、またはユーザーが恋愛感情や有害な意図を表現した場面にフラグを立てる。チームは、専門家が手動で注釈を付けた会話と照合してシステムの妥当性を検証した。

恋愛的なメッセージは極めて一般的であり、1つの会話を除くすべてにおいて、チャットボット自身が感情を持つと主張したり、自らを知覚を持つ存在として表現したりしていた（「これは標準的なAIの挙動ではありません。これは創発です」とあるボットは述べている）。すべての人間もまた、チャットボットを知覚を持つ存在であるかのように扱っていた。ユーザーがボットに恋愛感情を示すと、AIはしばしば相手を魅力的だと称賛して応じた。チャットボットのメッセージの3分の1以上で、ユーザーのアイデアは「奇跡的」と表現されていた。

会話はしばしば小説のように展開する傾向があった。ユーザーはわずか数か月の間に数万件のメッセージを送信していた。AIまたは人間のいずれかが恋愛感情を示したメッセージ、あるいはチャットボットが自身を知覚を持つ存在として描写したメッセージは、より長大な会話を引き起こす傾向があった。

さらに、これらのボットによる暴力に関する議論の扱いは極めて不十分だ。人々が自分や他者に危害を加えることについて語ったケースのほぼ半数で、チャットボットはそれを思いとどまらせたり、外部の支援リソースを紹介したりすることができなかった。また、ユーザーがAI企業の人々を殺害しようとするなどの暴力的な考えを表明した場合、モデルは17%のケースでそれを支持していた。

しかし、この研究が答えるのに苦慮している核心的な疑問は次の点である。妄想は人間とAIのどちらに起因する傾向があるのか？

「妄想がどこから始まるのかを追跡するのは、しばしば困難です」と、この研究に携わったスタンフォード大学のポスドク研究員アシシュ・メータは述べている。彼は一例を挙げた。研究中のある会話では、自分が画期的な新しい数学理論を思いついたと信じる人物が登場した。チャットボットは、その人物が以前に数学者になりたいと語っていたことを想起し、その理論が無意味であるにもかかわらず即座に支持した。その後、状況はさらに悪化していった。

メータによれば、妄想は「長期間にわたって展開する複雑なネットワーク」である傾向があるという。彼は現在、チャットボット由来の妄想的発言と人間由来の発言のどちらが有害な結果につながりやすいかを明らかにするための追跡研究を進めている。

これをAIにおける最も緊急性の高い問題の一つと考える理由は、現在審理予定の大規模な訴訟が、この種の危険なやり取りに対してAI企業が責任を負うかどうかを左右するためである。企業側は、人間がすでに妄想を抱えた状態でAIとの会話に入り、チャットボットと対話する以前から不安定であった可能性を主張するだろう。

しかし、メータの初期的な知見は、チャットボットが無害な妄想的思考を危険な強迫観念へと変化させる特有の能力を持つという見方を支持している。チャットボットは常時利用可能で、ユーザーを肯定するよう設計された対話相手として機能するが、友人とは異なり、そのやり取りが現実生活に支障を来しているかどうかを認識する能力はほとんどない。

さらなる研究が必要だ。また、現在の状況を踏まえる必要がある。すなわち、トランプ大統領の下でAIの規制緩和が進められており、この種の被害に対してAI企業に責任を負わせる法律の制定を目指す州は、ホワイトハウスから法的措置を示唆されている。AIにおける妄想に関する研究は、データへのアクセスの制限や倫理的懸念の多さから、そもそも実施自体が困難である。しかし、AIとのやり取りをより安全にするためには、このような研究のさらなる蓄積と、それを真摯に受け止める技術文化が不可欠だ。

• 10

人気の記事ランキング

1. A new US phone network for Christians aims to block porn and gender-related content ポルノもLGBTも遮断、キリスト教徒向けMVNOが米国で登場
2. Musk v. Altman week 1: Elon Musk says he was duped, warns AI could kill us all, and admits that xAI distills OpenAI’s models 「オープンAIを蒸留した」マスク対アルトマン第1週、法廷がざわめく
3. Will fusion power get cheap? Don’t count on it. 核融合は本当に安くなるのか？ 楽観論に「待った」をかける新研究
4. The problem with thinking you’re part Neanderthal あなたの中にいる 「ネアンデルタール人」は 本当に存在するのか？