KADOKAWA Technology Review
×
日本発・世界を変える「U35 イノベーター」募集中!
AI生成の虐待画像をAIで見抜け 米捜査当局がツール導入
Stephanie Arnett/MIT Technology Review | Adobe Stock, Getty Images
US investigators are using AI to detect child abuse images made by AI

AI生成の虐待画像をAIで見抜け 米捜査当局がツール導入

AIが生成した児童虐待画像が急増しており、実際の被害を識別するのが困難となっている。米国の捜査当局は、虐待画像がAIによって生成されたものかどうかを識別するために、ハイブAIが開発した検出ツールを使用する契約を結んだことを明らかにした。 by James O'Donnell2025.10.01

この記事の3つのポイント
  1. 米国土安全保障省がハイブAIと15万ドルの契約を締結し、AI生成児童性的虐待画像の識別実験を開始
  2. 2024年に生成AI関与事件が1325%急増し、捜査官が実在被害者の特定に困難を抱えている現状
  3. AI検出技術で実被害者事件への資源集中を図るが、CSAM特化訓練の必要性など技術的課題が残存
summarized by Claude 3

生成AIで作られた児童性的虐待画像が急激に増加している。米国政府の新たな文書によると、現在、米国における児童搾取の主要捜査機関が、人工知能(AI)が生成した画像と実際の被害者を描いた画像を、AIを用いて区別する実験をしている。

国際的な児童搾取を捜査する国土安全保障省サイバー犯罪センターは、サンフランシスコを拠点とするハイブAI(Hive AI)に対し、コンテンツがAI生成かどうかを識別できる同社のソフトウェアに15万ドルの契約を発注した。

9月19日に投稿された文書は大部分が黒塗りされている。ハイブの共同創設者兼CEOのケビン・グオはMITテクノロジーレビューに対し、契約の詳細については話せないと述べたが、児童性的虐待素材(CSAM)に対する同社のAI検出アルゴリズムの使用が含まれることを認めた。

この文書は、行方不明・搾取児童全国センターのデータを引用しており、2024年に生成AIが関与する事件が1325%増加したと報告している。「オンラインで流通するデジタルコンテンツの膨大な量により、データを効率的に処理・分析するための自動化ツールの使用が必要不可欠である」と文書には記されている。

児童搾取捜査官の最優先事項は、現在進行中の虐待を発見して阻止することである。だが、AIが生成したCSAMの氾濫により、捜査官は、その画像が、現在危険にさらされている実在する被害者のものであるかどうかを判断するのが困難になっている。現実の被害者を正確に特定できるツールがあれば、事件の優先順位を決める際に大きな助けとなるだろう。

AI生成画像を識別することで、「実際の被害者が関与する事件に捜査資源が集中されることを保証し、プログラムの影響を最大化し、脆弱な個人を保護する」と文書には記されている。

ハイブAIは動画や画像を作成するAIツールのほか、暴力、スパム、性的素材にフラグを立てるツール、さらには有名人を識別できる幅広いコンテンツモデレーションツールを提供している。昨年12月、MITテクノロジーレビューは同社が米軍にディープフェイク検出技術を販売していると報じた

CSAM検出に関してハイブ AIは、児童安全非営利団体のソーン(Thorn)と共同で作成したツールを提供している。企業がプラットフォームに統合できるこのツールは、「ハッシュ化」システムを使用し、捜査官がCSAMであることを確認したコンテンツに固有のIDを割り当て、その素材のアップロードをブロックする。このツールや類似のツールは、テクノロジー企業にとって標準的な防御手段となっている。

しかし、これらのツールは単にコンテンツをCSAMとして識別するだけで、それがAIによって生成されたかどうかは検出しない。ハイブAIは、一般的な画像がAI生成かどうかを判定する別のツールを開発した。グオCEOによると、このツールはCSAMに特化して訓練されていないが、その必要はないという。

「AIが生成した画像には、それを識別できるピクセルの根本的な組み合わせがあります。そしてそれは汎用化できます」。

サイバー犯罪センターはこのツールを使用してCSAMを評価するとグオCEOは述べる。さらに、同社は顧客が想定する特定の使用事例ごとに検出ツールのベンチマーク試験を実施しているとも付け加える。

CSAM拡散阻止の取り組みに参加している行方不明・搾取児童全国センター(National Center for Missing and Exploited Children)に、このような検出モデルの有効性に関するコメントを求めたが、記事の公開時までに回答はなかった。

政府は文書の中で、競争入札プロセスを経ずにハイブAIに契約を発注することを正当化している。この正当化の一部は黒塗りされているが、主にハイブAIのプレゼンテーションスライドにも記載されている2つの点を参照している。1つはシカゴ大学の2024年の研究で、AI生成アートの識別において、ハイブAIのAI検出ツールがほかの4つの検出ツールを上回るとわかったこと。もう1つは、ディープフェイク識別に関する国防総省と同社の契約だ。試験期間は3カ月間である。

人気の記事ランキング
  1. Promotion Call for entries for Innovators Under 35 Japan 2026 「Innovators Under 35 Japan」2026年度候補者募集のお知らせ
  2. The UK’s generational tobacco ban might not work. I’m supporting it anyway. 2009年以降生まれには一生売らない——英「たばこ根絶」への賭け
  3. AI agents are not your “coworkers” AIエージェントの「従業員化」、作業ミスの見逃しを招く
  4. IBM has unveiled chip technology that could help extend Moore’s Law another decade 微細化の限界を超え、IBMがムーアの法則を10年伸ばす積層チップ
ジェームス・オドネル [James O'Donnell]米国版 AI/ハードウェア担当記者
自律自動車や外科用ロボット、チャットボットなどのテクノロジーがもたらす可能性とリスクについて主に取材。MITテクノロジーレビュー入社以前は、PBSの報道番組『フロントライン(FRONTLINE)』の調査報道担当記者。ワシントンポスト、プロパブリカ(ProPublica)、WNYCなどのメディアにも寄稿・出演している。
MITテクノロジーレビューが選んだ、AIの10大潮流 [2026年版]

AIをめぐる喧騒の中で、本当に目を向けるべきものは何か。この問いに対する答えとして、MITテクノロジーレビューはAIの重要なアイデア、潮流、新たな進展を整理したリストを発表する。

特集ページへ
MITテクノロジーレビューが選んだ、 世界を変える10大技術

MITテクノロジーレビューの記者と編集者は、未来を形作るエマージング・テクノロジーについて常に議論している。年に一度、私たちは現状を確認し、その見通しを読者に共有する。以下に挙げるのは、良くも悪くも今後数年間で進歩を促し、あるいは大きな変化を引き起こすと本誌が考えるテクノロジーである。

特集ページへ
フォローしてください重要なテクノロジーとイノベーションのニュースをSNSやメールで受け取る