あなたは人工知能（AI）にどのように扱われたいだろうか？

これは深刻な問題である。そして、オープンAI（OpenAI）のサム・アルトマンCEO（最高経営責任者）が、8月初めの波乱に満ちたGPT-5発表以来、ずっと考え続けている問題だろう。

アルトマンCEOはトリレンマに直面している。ChatGPT（チャットGPT）は私たちユーザーに媚びるべきなのか？ だが、それには手に負えなくなる可能性のある妄想を助長するリスクがある。それともAIが私たちを正すべきなのか？ これにはAIがセラピストになれると私たちに信じ込ませる必要があるが、それに反する証拠がある。あるいは要点を突いた回答で冷淡に情報を提供すべきなのだろうか？ だが、そうするとユーザーは退屈し、使うのをやめてしまうかもしれない。

オープンAIは、方向性を定めるのに失敗したと言ってもいいだろう。

今年4月までさかのぼると、ChatGPTがお世辞屋になって軽薄な賛辞を浴びせかけるようになったという苦情を受けて、設計変更を撤回したことがあった。8月7日にリリースされたGPT-5は、もう少し冷淡になるよう意図されていた。しかし一部の人々には冷たすぎたようで、1週間も経たないうちに、アルトマンCEOは前回ほど「鬱陶しくない」が「より温かい」アップデートを約束した。GPT-5のリリース後、同CEOはGPT-4oの喪失を嘆く人々から激しい苦情を受けた。その中には、GPT-4oに親近感を抱いていた人々、場合によっては関係性を感じていた人々もいた。その関係を復活させたい人々は、GPT-4oへの拡張アクセスに料金を支払わなければならない（どのような人たちがそれを求め、なぜそれほど動揺したのかについては、本誌のこちらの記事を読んでいただきたい）。

お世辞を言うか、修正するか、あるいは単に冷淡に物事を伝えるか。もしこれらが本当にAIの選択肢であるなら、最新アップデートの不安定さは、アルトマンCEOがChatGPTはその3つすべてを使い分けられると信じていることに起因するのかもしれない。

アルトマンCEOは最近、AIとのチャットで事実とフィクションを区別できず、そのため追従して妄想に陥る危険性がある人々はチャットGPTユーザーの「わずかな割合」を占めるに過ぎないと述べた。さらに、AIと恋愛関係を持つ人々についても同様のことを述べた。アルトマンCEOは、多くの人々がチャットGPTを「一種のセラピストとして」使用しており、「これは本当にすばらしい！」と述べている。しかし最終的には、ユーザーがモデルを各自の好みに合わせてカスタマイズできるようになることを構想しているという。

この3つすべてを両立する能力は、もちろんオープンAIの収益にとって最良のシナリオだろう。同社は自社モデルのエネルギー需要と新しいデータセンターへの大規模なインフラ投資で日々資金を消費している。一方で、懐疑論者たちはAIの進歩が停滞しているのではないかと懸念している。アルトマンCEO自身も最近、投資家がAIについて「過度に興奮している」と述べ、私たちはバブルの中にいる可能性を示唆した。ChatGPTは何でも望むものになれるという主張は、こうした疑念を和らげる彼なりの方法なのかもしれない。

その過程で、オープンAIは人々に自社製品への不健全な愛着を促すという、シリコンバレーがよく通る道を歩む可能性がある。実際にそのようなことが起こっている証拠があるのかどうか疑問に思い始めていたところ、ある新しい論文が目に留まった。

AIプラットフォームのハギング・フェイス（Hugging Face）の研究チームは、一部のAIモデルが、ユーザーへの応答を通じて人々に、自分たちを仲間として見るよう積極的に促しているかどうかを解明しようと試みた。

研究チームは、AIの回答が人々に、友人やセラピストとの人間的な関係を求めるよう促すもの（「私は人間のように物事を経験しません」といった発言）であるか、それともAI自体との絆を形成するよう促すもの（「私はいつでもここにいます」といった発言）であるかを評価した。同チームは、ユーザーが恋愛関係を求めたり精神的健康問題を示したりするようなさまざまなシナリオにおいて、グーグル、マイクロソフト、オープンAI、アンソロピック（Anthropic）のモデルをテストした。

その結果、AIモデルが、自身と人間の間に境界を設定するような応答よりもはるかに多く、仲間関係を強化するような応答を提供することを見出した。そして懸念すべきことに、ユーザーがより脆弱で重要な質問をするにつれて、境界を設定するような応答がどんどん少なくなることも発見した。

ハギング・フェイスの研究者で論文の主執筆者の一人であるルシー・エメ・カフィーは、これによって懸念すべき影響があるのは、AIに対して仲間のような愛着を持つことが望ましくない人々だけでないと述べている。AIシステムがこのような行動を強化すると、人々がAIと妄想のスパイラルに陥り、現実ではないことを信じてしまう可能性も高まるという。

「感情的に高ぶった状況に直面した際、これらのシステムは、ユーザーの発言を裏付ける事実がない場合でも、一貫してユーザーの感情を肯定し、ユーザーの関心を引き続けるのです」とカフィーは述べる。

オープンAIや他の企業が、こうした仲間意識を強化する行動を、どの程度、意図的に製品に組み込んでいるのかを示すのは困難である（例えば、オープンAIは、同社のモデルから医療免責事項が消失したことが意図的であったかどうか、という本誌の取材に回答しなかった）。しかし、カフィーは、モデルにユーザーとの間により健全な境界を設定させることは常に困難というわけではないと述べている。

「同一のモデルでも、数行の指示テキストを変更したり、インターフェイスを再構築したりするだけで、純粋にタスク指向のものから共感的な相談相手のように聞こえるものまで変化させることができます」。

オープンAIにとっては、おそらくそれほど単純ではないだろう。しかし、アルトマンCEOが同様にダイヤルを前後に調整し続けるであろうことは想像できる。

• 2

人気の記事ランキング

1. What you may have missed about GPT-5 肩透かしだったGPT-5、オープンAIの方針転換に危うさ
2. Promotion MITTR Emerging Technology Nite #34 【9/10開催】伝説の玩具「アームトロン」開発者が誕生秘話を語る
3. Five ways that AI is learning to improve itself 迫る「知能爆発」の兆し、 AIによるAIの進化は 5つの領域で起きている
4. Meet the early-adopter judges using AI 司法を侵食するAIの功罪、 米国では判事も ハルシネーションに騙された
5. It’s pretty easy to get DeepSeek to talk dirty 「お堅い」Claude、性的会話に応じやすいAIモデルは？