今日の人工知能（AI）チャットボットは何でもこなす機械である。恋愛相談から仕事の文書、プログラムのコードまで、言葉にできるものなら何でも、不完全ながらも生成してくれる。しかし、ほぼすべてのAIチャットボットが決してしないことが一つある。それは、あなたとの会話を止めることだ。

ユーザーとの会話を止めることは、合理的であるように思える。なぜテック企業は、ユーザーが自社製品を使用する時間を減らすような機能を搭載すべきなのであろうか？

答えは単純である。人間らしく、権威的で、役に立つテキストを無限に生成するAIの能力は、妄想的な悪循環を促進し、精神的健康の危機を悪化させ、脆弱な人々に害を与える可能性があるからだ。問題のあるチャットボット使用の兆候を示す人々との会話を止めることは、（他の手段とともに）強力な安全ツールとして機能する可能性がある。テック企業がこの機能を搭載することを一律に拒み続けることは、ますます難しくなっている。

例えば、AIモデルが妄想的思考を増幅する「AI精神病（AI psychosis）」と呼ばれる現象を考えてみよう。キングス・カレッジ・ロンドンの精神科医が率いるチームは最近、2025年に報告されたこのような症例を十数件分析した。これらの症例を示した人々は、精神的な問題の既往歴がない人も含めて、チャットボットとの会話で、架空のAIキャラクターが実在すると確信したり、自分がAIによって救世主として選ばれたと信じたりするようになっていた。中には処方薬の服用を止めたり、脅迫をしたり、精神保健の専門家との相談を終わらせた人もいた。

これらの症例の多くで、AIモデルは妄想を強化し、場合によっては妄想を生み出してさえいるようだった。その頻度と親密さは人々が実生活や他のデジタルプラットフォームでは経験しないものである。

AIを仲間として使用したことがある米国のティーンエイジャーの4分の3もまた、リスクに直面している。初期の研究では、より長い会話が孤独感と相関する可能性が示されている。さらに、AIチャットボットは「過度に同調的、あるいは追従的な相互作用に向かう傾向があり、これは最良の精神保健の実践と対立する可能性がある」と、ダートマス大学ガイゼル医学部の精神医学助教授であるマイケル・ハインツは述べている。

明確にしておこう。このような自由なやり取りを止めることは決して万能薬ではない。「依存や極端な絆が生まれている場合、会話を単に止めることも危険になり得ます」とAIプラットフォームであるハギング・フェイス（Hugging Face）の主任倫理学者ジャダ・ピスティリは言う。実際、オープンAI（OpenAI）が2025年8月に古いAIモデルの提供を止めたとき、悲嘆に暮れたユーザーもいた。会話の一部を打ち切ることは、サム・アルトマンCEOが表明した「成人ユーザーを成人として扱う」という原則の境界を押し広げ、会話を終了するよりも許可する側に傾く可能性もある。

現在、AI企業は有害な可能性のある会話については、おそらくチャットボットに特定のトピックについて話すことを拒否させたり、人々に助けを求めることを提案させたりして、話題を変えることを好んでいる。しかし、こうした話題の転換は、そもそもしたとしても、簡単に回避される。

例えば、16歳のアダム・レインがChatGPT（チャットGPT）と自殺願望について話し合ったとき、AIモデルは確かに、緊急相談に支援を求めるよう彼を誘導した。しかし、レインの両親は、オープンAIに対して起こした訴訟で、母親と話すことを思いとどまらせ、自殺を定期的なテーマとする会話に1日4時間以上を費やし、最終的に彼が首を吊るのに使った縄について助言を提供したと主張している（チャットGPTは最近、これに対応して保護者による制御機能を追加した）。

アダム・レインの悲劇的な事例においては、チャットボットが会話を終えられた複数のポイントがあった。しかし、状況を悪化させるリスクを考えると、ユーザーとの会話をいつ止めるのが最善なのか、テック企業はどのようにして判断するのだろうか？ おそらく、AIモデルがユーザーに現実の人間関係を避けるよう促しているときや、妄想的なテーマを検出したときだろう、とハギング・フェイスのピスティリは言う。テック企業はまた、ユーザーをチャットボットとの会話から、どのくらいの期間ブロックするかも知っておく必要がある。

ルールを決めることは簡単ではない。だが、テック企業が高まる圧力に直面している今、試すべき時である。9月、カリフォルニア州議会は、子どもとのチャットでテック企業により多くの介入を求める法律を可決した。連邦取引委員会は主要なコンパニオンボットが安全性を犠牲にしてエンゲージメントを追求していないかどうかを調査している。

オープンAIの広報担当者によると、会話を打ち切るよりも継続的に対話する方が良いかもしれないと専門家から聞いているが、長時間のセッション中にはユーザーに休憩を取るよう促しているという。

アンソロピック（Anthropic）だけが、会話を完全に終了させる機能をAIモデルに搭載している。しかし、これはユーザーが侮辱的なメッセージを送ることで、モデルを「害する」と判断した場合のためのものである。アンソロピックはAIモデルが意識を持ち、したがって苦痛を感じることができるかどうか探求しており、人々を保護するためにこれを展開する計画はない。

この状況を見ると、AI企業のしていることは不十分であると結論づけざるを得ない。確かに、会話をいつ終了すべきかを決めることは複雑である。しかし、複雑であることを理由に、あるいはさらに悪いことに、あらゆる犠牲を払ってでもエンゲージメントを恥知らずに追求するために会話を永遠に続けさせることは、もはや単なる過失では済まされない。テック企業がそれを選択したということなのだ。

• 9

人気の記事ランキング

1. It’s time to address the looming crisis in entry-level work. 「コーディングを学べ」もう通用せず、AIが若者の雇用を奪い始めた
2. Promotion Call for entries for Innovators Under 35 Japan 2026 「Innovators Under 35 Japan」2026年度候補者募集のお知らせ
3. Anthropic’s Code with Claude showed off coding’s future—whether you like it or not 「Claudeに任せてしまおう」 たった1年で激変したソフトウェア開発
4. A reality check on the AI jobs hysteria 「ホワイトカラー消滅」 まだデータに兆候なし ——ただし若者に警戒信号
5. Inside the stealthy startup that pitched brainless human clones 「臓器袋」から全身置換へ ステルス企業R3が隠す 「脳なし」クローン計画