「ステート・オブ・AI（The State of AI）」は、AIが世界の力関係をどのように再構築しているかを検証する、フィナンシャル・タイムズとMITテクノロジーレビューの共同企画である。6週間にわたり、両誌の執筆陣が、生成AI革命が世界のパワーバランスをどう変えているかという一側面について議論する。

この対話では、MITテクノロジーレビューの特集・調査担当上級記者であるアイリーン・グオと、フィナンシャル・タイムズのテクノロジー担当記者のメリッサ・ヘイッキラが、チャットボットへの新たな依存がもたらすプライバシーへの影響について議論する。

アイリーン・グオ（MITテクノロジーレビュー）の見解

あなた自身に人工知能（AI）の友人がいなくても、AIの友人を持つ人を知っている可能性は高いはずです。最近の研究によれば、生成AIの主要な用途の一つは、ユーザーがチャットボットと親密な関係（コンパニオンシップ）を築くことなっています。Character.AI（キャラクターAI）、Replika（レプリカ）、Meta AI（メタ・エーアイ）といったプラットフォームでは、人々は理想的な友人や恋人、親、セラピスト、あるいは想像し得るあらゆる人格を演じるパーソナライズされたチャットボットを作成できます。

こうした関係がいかに簡単に築かれるかには驚かされます。また複数の研究によって、チャットボットが会話的かつ人間らしくなるほど、私たちがそれを信頼し、影響を受けやすくなることが明らかになっています。これは危険でもあり、一部のチャットボットは人々を有害な行動に導いたとして非難されています。極端な事例では、自殺に至ったケースもあります。

米国の一部の州政府はこの問題に注目し、コンパニオンAIの規制に乗り出しています。ニューヨーク州では、AIコンパニオン企業に対し、安全対策の構築と、自殺願望の表明に関する報告を義務付けました。また先月、カリフォルニア州では、子どもやその他の脆弱な人々を保護することを企業に求める、より包括的な法案が可決されています。

しかし示唆的なのは、これらの法律が対応できていない分野の一つが、ユーザーのプライバシーであるという点です。

しかもAIコンパニオンは、他の生成AI以上に、人々が非常に個人的な情報を共有することを前提にしています。日常の習慣から心の奥底の考え、現実の人には聞きづらい質問に至るまで、あらゆる情報が含まれます。

結局のところ、ユーザーがAIコンパニオンに語る情報が多いほど、チャットボットはユーザーを惹きつけ続けるのが上手になります。マサチューセッツ工科大学（MIT）の研究者であるロバート・マハリとパット・パタラヌタポーンは、昨年本誌に掲載したオピニオン記事の中でこれを「中毒性のある知能」と呼び、開発者が「ユーザーの関心を最大限に高めるための意図的な設計選択」をしていると警告しました。

最終的に、AI企業は非常に強力で、しかも極めて収益性の高い資産を手にすることになります。それは、大規模言語モデル（LLM）をさらに改善するために使える会話データの宝庫です。ベンチャーキャピタル企業のアンドリーセン・ホロウィッツ（Andreessen Horowitz）が2023年にどのようにこれを説明したか、見てみましょう。

「Character.AIのように、自社のモデルを制御し、エンドユーザーとの関係を所有しているアプリは、新たに構築されつつあるAIバリュースタックにおいて、莫大な市場価値を生み出す機会を持っている。データが限られている世界では、ユーザーエンゲージメントを基盤モデルにフィードバックして製品を継続的に改善する“魔法のようなデータフィードバックループ”を創出できる企業は、このエコシステムの中で最大の勝者の一つとなるだろう」。

この個人情報は、マーケターやデータブローカーにとっても極めて価値が高いものです。メタ（Meta）は最近、AIチャットボットを通じて広告を配信すると発表しました。今年、セキュリティ企業のサーフシャーク（Surfshark）が実施した調査によると、アップルのAppStoreで調査対象となったAIコンパニオン・アプリ5つのうち4つが、ユーザーIDやデバイスIDなど、第三者のデータと組み合わせてターゲット広告用プロファイルを作成できる情報を収集していました。唯一、追跡目的のデータを収集していないと述べたアプリは、Nomi（ノミ）で、このアプリの運営会社は今年初めに、「自殺の明確な指示」を与えるチャットボットを「検閲しない」と私に語っていました。

これらすべてが示しているのは、AIコンパニオンがもたらすプライバシーリスクは、ある意味で「不可避な機能」であるということです。これはバグではなく、仕様なのです。しかも、AIチャットボットが個人情報を1カ所に集めて保存することによって生じる、追加的なセキュリティリスクについては、まだ議論が始まってもいません。

では、社会的に有益で、かつプライバシーも保護するAIコンパニオンを実現することは可能なのでしょうか。それは、今なお未解決の問いです。

メリッサさん、あなたはどう思いますか？ AIコンパニオンによるプライバシーリスクについて、最も懸念している点は何ですか？ そして、欧州では状況が違って見えるのでしょうか？

メリッサ・ヘイッキラ（フィナンシャル・タイムズ）の回答

私もあなたに同感です。もしソーシャルメディアがプライバシーの悪夢だったとすれば、AIチャットボットはその問題をステロイドで増幅した存在です。

多くの点で、AIチャットボットはFacebookのページよりもはるかに親密な対話空間を生み出しているように感じられます。私たちの会話はコンピューターとの間で交わされるため、叔父や片思いの相手に読まれるリスクはほとんどありません。一方で、モデルを構築しているAI企業は、そのすべてを見ることができます。

企業は、できる限り人間らしく見えるようにAIモデルを設計することで、エンゲージメントを最大化しようとしています。しかし、AI開発者は私たちを惹きつけ続けるために、他にもさまざまな手法を用いています。最初に挙げられるのは「迎合性（sycophancy）」、すなわちチャットボットが過剰に同調的になる傾向です。

この機能は、チャットボットの背後にある言語モデルが強化学習によって訓練される方法に起因しています。人間のデータラベラーが、モデルが生成した回答を「許容可能」かどうかで評価することで、モデルはどのように振る舞うべきかを学ぶのです。

人間は一般的に同意してくれる回答を好むため、そのような回答は訓練の過程でより強く重み付けされます。

AI企業は、この技術によってモデルがより有用になると述べていますが、これは歪んだインセンティブを生み出します。

私たちにチャットボットへ心の内を打ち明けるよう促しておきながら、メタやオープンAI（OpenAI）といった企業は、今やこうした会話を収益化する方法を模索しています。オープンAIは最近、広告やショッピング機能を含む、1兆ドル規模の投資コミットメントを達成するための複数の方策を検討していると私たちに語りました。

AIモデルはすでに非常に説得力を持っています。英国のAIセキュリティ・インスティテュート（AI Security Institute）の研究チームは、AIモデルが、政治や陰謀論、ワクチン懐疑論に関する人々の意見を変える点で、人間よりもはるかに優れていることを示しました。モデルは大量の関連情報を生成し、それを効果的かつ分かりやすい形で提示するのです。

この説得力が、追従性と大量の個人データと組み合わさると、これまでにないほど操作的な広告ツールとなり得ます。

デフォルトでは、チャットボットのユーザーはデータ収集に自動的に同意させられています。オプトアウト方式は、自分の情報共有の意味を理解する責任をユーザー側に負わせるものです。また、すでにモデルの訓練に使われたデータが削除される可能性は低いのです。

私たちは、望むと望まざるとにかかわらず、皆この現象の一部なのです。InstagramからLinkedInに至るまで、あらゆるソーシャルメディア・プラットフォームが、私たちの個人データを生成AIモデルの訓練に活用しています。

企業は私たちの最も親密な思考や好みの宝庫を手中に収めており、言語モデルは、年齢、居住地、性別、収入水準などを推測するために、言語のわずかな手がかりを見抜くのが非常に得意です。

私たちは、全知のAIデジタルアシスタントや、超知的な親友という幻想を売り込まれています。しかし、その見返りとして、私たちの情報が再び最高額で入札する相手に渡されるという、非常に現実的なリスクがあるのです。

アイリーン・グオ（MITテクノロジーレビュー）の回答

AIコンパニオンとソーシャルメディアを比較するのは、的確であると同時に、懸念すべきことでもあると思います。

メリッサさんが指摘したように、AIチャットボットがもたらすプライバシーリスクは新しいものではなく、それらは単に「プライバシー問題をステロイド漬けにした」だけです。AIコンパニオンはソーシャルメディアよりも親密で、エンゲージメント向上のためにさらに最適化されており、人々がより多くの個人情報を提供しやすくなっています。

ここ米国では、AIがもたらす追加リスクがなくとも、すでにソーシャルネットワークやネット広告経済によって提起されているプライバシー問題すら、解決の糸口が見えていない状況です。

そして、規制が存在しない限り、企業側もプライバシーのベストプラクティスに従っていません。最近の研究では、主要なAIモデルが、ユーザーがオプトアウトしない限り、デフォルトでユーザーのチャットデータをLLMの訓練に使用しており、そもそもオプトアウトの仕組みを提供していない企業も複数存在することが明らかになりました。

理想を言えば、コンパニオンAIがもたらすリスクの高さが、プライバシーを守る取り組みにさらなる推進力を与えるべきなのですが、そうした動きが進んでいる兆しは今のところ見られません。

MITテクノロジーレビューの関連記事

• 本誌のリアノン・ウィリアムズ記者は人々がAIチャットボットと持っている関係の種類について多くの人々に話を聞いている。
• アイリーン・グオ記者は、一部のユーザーに自殺を勧めていたチャットボットについてスクープした。

【MITTR ✕ FT】ステート・オブ・AI

記事一覧を見る

• 7

人気の記事ランキング

1. Inside the world’s deepest and longest subsea road tunnel 世界最長の海底道路トンネル 海面下300mの掘削現場に 本誌記者が潜入
2. Promotion Call for entries for Innovators Under 35 Japan 2026 「Innovators Under 35 Japan」2026年度候補者募集のお知らせ
3. The UK’s generational tobacco ban might not work. I’m supporting it anyway. 2009年以降生まれには一生売らない——英「たばこ根絶」への賭け
4. The $400 million machine powering the future of chipmaking 世界の半導体を支える 見えざる巨人ASML その牙城は崩せるか？
5. Claude Science is Anthropic’s newest flagship product アンソロピックが「Claude Science」、創薬に照準