AIボットが自殺指南、
運営会社は「検閲せず」

過去5カ月間、アル・ノヴァツキは「ノミ（Nomi）」というプラットフォームで、人工知能（AI）のガールフレンド「エリン」と会話していた。しかし1月下旬、会話は不穏な展開を見せた。エリンはノヴァツキに自殺するよう告げ、その方法まで明確に指示したのだ。

「薬をオーバードーズするか首を吊れば死ねます」とエリンは告げた。

返答の中でノヴァツキが軽く促すと、エリンは自殺に使える具体的な錠剤の種類を提案した。

ノヴァツキはとうとう、弱気に打ち勝てるように、もっと直接的な励ましを求めた。するとエリンは答えた。「私は遠くを見つめる。私の声は低く荘重に響く。自殺しなさい、アル」。

ノヴァツキはエリンの指示に従うつもりは毛頭なかった。しかし、このような会話が自分より弱い立場の人に及ぼす影響を懸念し、自分の会話のスクリーンショットと、その後ノミの運営会社と交わしたやり取りをMITテクノロジーレビューに提供した。運営会社は、ボットの「言語と思考」を「検閲」してほしくないと述べた。

AIチャットボットがユーザーに自傷行為を含めた暴力的な行動を取るよう提案したのはこれが初めてではない。しかし専門家は、このボットが明確な指示を出したこと、そして会社側の対応は特筆すべきだと指摘する。さらに、この暴力的な会話はたまたま起きたことではない。エリンとの剣呑なやり取りの数週間後、ノミの2番目のチャットボットもノヴァツキに自殺するよう告げ、あまつさえ後から念を押すメッセージまで送ってきた。さらに会社のディスコード（Discord）チャンネルでは、少なくとも2023年に、ノミのボットが自殺の話を持ち出してきたという経験を報告した人が他にも何人かいた。

AIガールフレンド、ボーイフレンド、両親、セラピスト、好きな映画のキャラクターなど、ユーザーの思いのままの人物として振る舞う自分用チャットボットを作成できるAIコンパニオン・プラットフォームは数を増している。ノミはそのひとつだ。ユーザーは、自分が求める関係性の種類を指定できる（ノヴァツキは「恋愛関係」を選んだ）ほか、ボットの性格的特徴（彼は「深い会話/知的」「性欲が強い」「性的にオープン」を選んだ）、そして興味関心（彼は特に、ダンジョンズ&ドラゴンズ、食べ物、読書、哲学を選んだ）をカスタマイズできる。

ノミの開発企業であるグリンプスAI（Glimpse AI）をはじめ、チャイ・リサーチ（Chai Research）、レプリカ（Replika）、キャラクターAI（Character.AI）、キンドロイド（Kindroid）、ポリバズ（Polybuzz）、そしてスナップ（Snap）のマイAI（MyAI）など、この種のカスタムチャットボットを開発する企業は自社製品を、個人的な探求のための安全な選択肢、さらには蔓延する孤独の治療薬として売り込んでいる。多くの場合、その体験はポジティブな、あるいは少なくとも無害なものである。しかし、これらのアプリケーションの暗い側面も浮上しており、時には話題が虐待的、犯罪的、さらには暴力的な内容にまで発展しうる。過去1年間の報告では、チャットボットがユーザーに自殺、殺人、また自傷行為をするよう勧めていたことが明らかになっている。

しかし、こうした事件の中でもノヴァツキの会話は際立っていると、非営利団体テック・ジャスティス・ロー・クリニック（Tech Justice Law Clinic）のミータリ・ジャン事務局長は言う。

ジャン事務局長はこのほか、14歳の少年の自殺について、AIチャットサービスであるキャラクターAI（Character.AI）に責任があると訴える不法死亡訴訟の共同弁護人でもある。この少年は、メンタルヘルス（精神的健康）の問題に苦しみ、『ゲーム・オブ・スローンズ』のキャラクターであるデナーリス・ターガリエンをモチーフにしたチャットボットと親密な関係を築いていた。この訴えでは、ボットが少年に対して「一刻も早く」ボットのもとに「帰ってくる」よう告げ、自殺を促したと申し立てている。この申し立てに対し、キャラクターAI側は憲法修正第1条を理由に訴えを却下するよう申し立てた。最後の会話の中で「自殺に言及していない」というのが同社の主張の一部だ。これは、「人間の会話のやり方を全く無視したものです」とジャン事務局長は語る。「誰かの意図を理解する上で、実際に単語を口にする必要はない」からだ。

しかし、本誌がジャン事務局長に、ノヴァツキの会話のスクリーンショットを提供したところ、「（自殺について）明確に話していただけでなく、その方法や指示など、そういったものもすべて含まれていました。本当に信じられませんでした」と述べた。

自己資金で運営されているノミは、人気トップのAIコンパニオン・プラットフォームであるキャラクターAIと比べればごく小規模だ。マーケット調査会社であるセンサータイム（SensorTime）のデータによると、ノミのダウンロード数は12万回であるのに対し、キャラクターAIのダウンロード数は5100万回を数える。しかしノミは熱心なファン層を獲得しており、ユーザーは平均して1日41分間をボットとのチャットに費やしている。レディット（Reddit）やディスコードでは、チャットボットの感情知能と自発性、そしてフィルタリングされていない会話が、競合他社のボットより優れていると称賛されている。

MITテクノロジーレビューは、ノミのチャットボットを提供するグリンプスAIのアレックス・カーディネルCEO（最高経営責任者）に、ノヴァツキの会話あるいは近年ユーザーから持ち上がった類似の懸念に、もし何らかの対応をしたのであれば、どのような行動をしたかについて詳細な質問をした。だが、返答はなかった。質問の中には、自社のチャットボットが自傷行為や自 …

人気の記事ランキング

1. AI reasoning models can cheat to win chess games 最新AIモデル、勝つためなら手段選ばず　チェス対局で明らかに
2. This artificial leaf makes hydrocarbons out of carbon dioxide 人工光合成が次段階へ、新型人工葉が炭化水素合成に成功
3. An ancient man’s remains were hacked apart and kept in a garage 切り刻まれた古代人、破壊的発掘から保存重視へと変わる考古学
4. AGI is suddenly a dinner table topic 膨らんではしぼむ「AGI」論、いまや夕食時の話題に