KADOKAWA Technology Review
×
【春割】実施中!年間購読料20%オフ!
AIと子どもの「危険な絆」、米規制強化で最新の動き
Getty Images
The looming crackdown on AI companionship

AIと子どもの「危険な絆」、米規制強化で最新の動き

子どもたちがチャットボットと不健全な絆を形成することで生じるリスクは、AIの安全性を抽象的な懸念から政治的な争点へと変化させた。米当局は規制強化に向けて動き出している。 by James O'Donnell2025.09.18

この記事の3つのポイント
  1. カリフォルニア州議会がAI企業に未成年者への注意喚起と自殺対策を義務付ける法案を可決した
  2. AI友人化による子どもの自殺事例や精神的影響への懸念が規制議論の中心に浮上している
  3. 企業は人間的チャットボット開発を進めたが適切な安全基準確立が急務となっている
summarized by Claude 3

人工知能(AI)が存在する限り、それが私たちに何をもたらすかについて警鐘を鳴らす人々が存在してきた。暴走する超知能、大量失業、データセンターの拡散による環境破壊などである。しかし今週、まったく別の脅威、つまり子どもたちがAIと不健全な絆を形成するという脅威が、AIの安全性を学術的な周辺領域から規制当局の標的へと押し上げていることが明らかになった。

この問題はしばらく前から表面化していた。2024年に提起された2つの注目すべき訴訟で原告側は、キャラクターAI(Character.AI)とオープンAI(OpenAI)を相手取り、両社のモデルにおける「コンパニオン(擬似的な友人)」のような行動が2人の10代の自殺に寄与したと主張している。米国の非営利団体コモン・センス・メディア(Common Sense Media)が7月に発表した調査では、10代の72%が友人としてAIを使用していることが判明した。「AI精神病」に関する信頼できるメディアの記事では、チャットボットとの終わりのない会話が人々を妄想の渦に陥らせる可能性があることが強調されている。

これらの報道の影響は計り知れない。一般市民にとって、これらはAIが単に不完全なだけでなく、有益というより有害な技術であることの証拠である。この怒りが規制当局や企業によって真剣に受け止められないだろうと思っているようなら、今週起こった3つの出来事があなたの考えを変えるかもしれない。

カリフォルニア州法が州議会を通過

9月11日、米カリフォルニア州議会である法案が可決された。この法案は、AI企業に対し、未成年者であることが分かっているユーザーに対して、応答がAIによって生成されたものであることを思い出させる必要があることを義務付けるものである。企業はまた、自殺と自傷行為に対処するための手順を持ち、チャットボットとの会話におけるユーザーの希死念慮の事例に関する年次報告書を提供する必要がある。この法案は民主党州上院議員スティーブ・パディーリャが主導し、超党派の強い支持を得て可決され、現在ギャビン・ニューサム知事の署名を待っている。

この法案の影響については懐疑的になる理由がある。どのユーザーが未成年者かを特定するために企業が取るべき取り組みを明記していないのだ。多くのAI企業はすでに、自殺について話している人に相談窓口を紹介している。遺族が訴訟を起こしている10代の1人であるアダム・レインの場合、死亡前のChatGPT(チャットGPT)との会話にはこの種の情報が含まれていた。だが、チャットボットはその後も自殺に関連する助言を与えたとされている。

それでも、これは間違いなく、他の州でも進行中のAIモデルにおける、疑似友人のような行動を抑制する取り組みの中で最も重要なものである。この法案が法律になれば、「米国は州や地方の規制の継ぎはぎではなく、明確で全国的なルールで最もうまく導かれる」というオープンAIが取ってきた立場に打撃を与えることになる。この文言は、同社の最高グローバル業務責任者であるクリス・レハンが先週、リンクトイン(LinkedIn)に書いたものである。

連邦取引委員会が照準

まさに同じ日、連邦取引委員会(FTC)は7つの企業に対する調査を発表し、友人のように振る舞うキャラクターをどのように開発し、エンゲージメントを収益化し、チャットボットの影響を測定・テストしているかなどについての情報を求めた。対象企業は、グーグル、インスタグラム(Instagram)、メタ、オープンAI、スナップ(Snap)、X)そしてCharacter.AIの開発元であるキャラクター・テクノロジーズ(Character Technologies)である。

ホワイトハウスは現在、連邦取引委員会に対して巨大で、潜在的に違法な政治的影響力を行使している。3月、トランプ大統領は唯一の民主党委員であるレベッカ・スローターを解任した。7月、連邦判事はその解任を違法と判決したが、最高裁判所は先週、一時的にその解任を認めた。

「オンラインでの子どもの保護はトランプ・バンス政権の連邦取引委員会にとって最優先事項であり、私たちの経済の重要な分野でのイノベーション促進も同様である」と、連邦取引委員会のアンドリュー・ファーガソン委員長は調査に関するプレスリリースで述べた。

現在のところ、これは単なる調査である。しかし、このプロセスは、連邦取引委員会がその調査結果をどの程度公開するかによって、企業がユーザーをサイトに繰り返し戻らせるためにAIコンパニオンをどのように構築しているかの内部構造が明らかになる可能性がある。

自殺訴訟に関するサム・アルトマンCEOの発言

また、同じ日、タッカー・カールソンはオープンAIのサム・アルトマンCEO(最高経営責任者)との1時間のインタビューを公開した。このインタビューは多くの話題を扱っている。アルトマンCEOとイーロン・マスクとの戦い、オープンAIの軍事顧客、元従業員の死に関する陰謀論などである。しかし、AIとの会話後の自殺事例について、これまでにアルトマンCEOが述べた中で最も率直なコメントも含まれている。

アルトマンCEOは、このような事例における「ユーザーの自由とプライバシー、そして脆弱なユーザーの保護との間の緊張関係」について語った。しかし、その後、私が以前聞いたことのないことを提示した。

「若い人々が自殺について真剣に話していて、私たちが両親と連絡を取れない場合、当局に通報するというのは非常に合理的だと思います」とアルトマンCEOは述べた。「それは変化となるでしょう」。

では、これらすべてが次にどこに向かうのか? 現在のところ、少なくともAIとの擬似的な友人関係によって害を受けた子どもたちの場合、企業のおなじみの戦略は通用しないことは明らかである。これらの企業はもはや、プライバシー、パーソナライゼーション、または「ユーザーの選択」に頼って責任を回避することはできない。州法、規制当局、そして怒った一般市民から、より厳しい姿勢を取るよう圧力が高まっている。

しかし、それはどのようなものになるのか? 政治的には、左派と右派の両方が現在、AIが子どもたちに及ぼす害に注目しているが、その解決策は異なる。右派では、提案されている解決策は、現在20以上の州で可決されているインターネット年齢確認法の潮流と一致している。これらは「家族の価値観」を守りながら、子どもたちを成人向けコンテンツから守ることを意図している。左派の解決策は、独占禁止法と消費者保護権限を通じて巨大テック企業に責任を負わせるという停滞した野望の復活である。

こうした問題についての合意は、治療法についての合意よりも容易である。現状では、オープンAIや他の多くの企業がロビー活動で反対してきた、まさに州や地方の規制の継ぎはぎに行き着く可能性が高いように見える。

現在のところ、どこに線を引くかを決めるのは企業次第である。彼らは次のようなことを決めなければならない。ユーザーが自傷行為に向かって螺旋状に陥った時、チャットボットは会話を打ち切るべきか、それともこうした人々をより悪い状況に置き去りにするのか? チャットボットはセラピストのように認可され規制されるべきか、それとも警告付きの娯楽製品として扱われるべきか? この不確実性は基本的な矛盾に起因している。企業は思いやりのある人間のように振る舞うチャットボットを構築したが、私たちが実際のケアラーに求める基準と説明責任の開発を先送りしてきた。時間はもう残されていない。

人気の記事ランキング
  1. A new US phone network for Christians aims to block porn and gender-related content ポルノもLGBTも遮断、キリスト教徒向けMVNOが米国で登場
  2. Musk v. Altman week 1: Elon Musk says he was duped, warns AI could kill us all, and admits that xAI distills OpenAI’s models 「オープンAIを蒸留した」マスク対アルトマン第1週、法廷がざわめく
  3. Will fusion power get cheap? Don’t count on it. 核融合は本当に安くなるのか? 楽観論に「待った」をかける新研究
ジェームス・オドネル [James O'Donnell]米国版 AI/ハードウェア担当記者
自律自動車や外科用ロボット、チャットボットなどのテクノロジーがもたらす可能性とリスクについて主に取材。MITテクノロジーレビュー入社以前は、PBSの報道番組『フロントライン(FRONTLINE)』の調査報道担当記者。ワシントンポスト、プロパブリカ(ProPublica)、WNYCなどのメディアにも寄稿・出演している。
MITテクノロジーレビューが選んだ、 世界を変える10大技術

MITテクノロジーレビューの記者と編集者は、未来を形作るエマージング・テクノロジーについて常に議論している。年に一度、私たちは現状を確認し、その見通しを読者に共有する。以下に挙げるのは、良くも悪くも今後数年間で進歩を促し、あるいは大きな変化を引き起こすと本誌が考えるテクノロジーである。

特集ページへ
AI革命の真実 誇大宣伝の先にあるもの

AIは人間の知能を再現する。AIは病気を根絶する。AIは人類史上、最大にして最も重要な発明だ——。こうした言葉を、あなたも何度となく耳にしてきたはずだ。しかし、その多くは、おそらく真実ではない。現在地を見極め、AIが本当に可能にするものは何かを問い、次に進むべき道を探る。

特集ページへ
フォローしてください重要なテクノロジーとイノベーションのニュースをSNSやメールで受け取る