KADOKAWA Technology Review
×
【4/24開催】生成AIで自動運転はどう変わるか?イベント参加受付中
AI生成テキストの透かし、改ざんは簡単 新研究で実証
Stephanie Arnett/MITTR | ImageFX, Envato
It’s easy to tamper with watermarks from AI-generated text

AI生成テキストの透かし、改ざんは簡単 新研究で実証

AI生成テキストへの電子透かしの挿入は、誤情報や盗作を防ぐ上で重要な役割を果たしている。だが、新研究によって、その改ざんが驚くほど容易であることが明らかになった。 by Melissa Heikkilä2024.04.03

AI生成テキストであることを示す電子透かしは、簡単に除去でき、テキストの盗用や複製が容易であることが研究で明らかになった。この種の攻撃は電子透かしの信用性を低下させ、信用すべきでないテキストを信用させてしまう恐れがあると研究チームは指摘している。

電子透かしは、AI生成テキストに隠されたパターンを挿入することで、コンピューターがAI生成テキストであると検知できるようにするものだ。AI生成テキスト用の電子透かしは比較的新しい発明だが、AIが生成した誤情報や盗作に対抗する方法としてすでに普及している。例えば、5月に施行される欧州連合(EU)の「AI法」は、AI生成コンテンツに電子透かしを入れるよう開発者に義務付けている。しかし、新たな研究によって最先端の透かしテクノロジーは規制当局の要件を満たしていないことが示された、と研究チームのメンバーであるチューリッヒ工科大学の博士課程生、ロビン・スターブは言う。この研究はまだ査読を受けていない。

AI言語モデルは、文中で次に使われそうな単語を予測し、その予測に基づいて一度に1つの単語を生成することで機能する。テキスト用の電子透かしのアルゴリズムは、言語モデルの語彙を「グリーン・リスト」と「レッド・リスト」の単語に分け、AIモデルにグリーン・リストの単語を選択させることで構成される。従って、文中にグリーン・リストの単語が多ければ多いほど、そのテキストがコンピューターによって生成された可能性は高くなる。人間はもっとランダムに単語が混ざった文章を書く傾向があるためだ。

研究者はこれを利用し、5種類の電子透かしを改ざんした。「電子透かしを用いているAIモデルにAPIでアクセスし、何度もプロンプトを送信することで電子透かしのリバースエンジニアリングに成功しました」とスターブは言う。攻撃者は、この回答を利用して電子透かしの類似モデルを構築すれば、電子透かしを「盗む」ことができる。これはAIの出力を分析し、通常のテキストと比較することで可能となる。

透かしの入った単語の見当がつけば、研究者は2種類の攻撃を実行できる。1つ目は「スプーフィング(なりすまし)攻撃」と呼ばれるものだ。悪意ある者が電子透かしを盗むと、その情報を利用して、透かし入りに見せかけたテキストを作成できる。2つ目の攻撃は、ハッカーがAI生成テキストを透かしから削除することで、人間が書いたテキストであるかのように見せるという方法だ。

研究チームは、電子透かしのスプーフィングで約80%、AI生成テキストから電子透かしを削除する方法で85%の成功を得た。

チューリッヒ工科大学研究チームとは別の研究者、例えばメリーランド大学のソヘイル・フェイジ准教授(リアイアブルAI研究所=Reliable AI Labの所長らも、電子透かしは信頼性に欠け、なりすまし攻撃に弱いことを発見している。

「チューリッヒ工科大学の研究結果から、このような電子透かしの問題は依然として存在し、現在使用される中で最も高度なチャットボットや大規模言語モデルでも問題が見られることが確認されました」とフェイジ准教授は話す。

この研究は「このような検出メカニズムを大規模に導入する際は、慎重さが求められることを示しています」ともフェイジ准教授は言う。

しかし、今回の研究結果にもかかわらず、電子透かしがAI作成コンテンツを検出する最も有望な方法であることに変わりはない、とチューリッヒ工科大学の博士課程学生であり、この研究に携わったニコラ・ヨヴァノヴィッチは言う。

ただし、電子透かしを大規模に導入できるようにするには、さらなる研究が必要だとヨヴァノヴィッチは付け加えた。それまでは、電子透かしの信頼性と有用性に対する期待値を管理する必要がある。「何もしないよりはましです。電子透かしはそれでもまだ役に立っています」(ヨヴァノヴィッチ)。

人気の記事ランキング
  1. Promotion MITTR Emerging Technology Nite #28 「自動運転2.0  生成AIで実現する次世代自律車両」開催のご案内
  2. Why it’s so hard for China’s chip industry to become self-sufficient 中国テック事情:チップ国産化推進で、打倒「味の素」の動き
  3. How thermal batteries are heating up energy storage レンガにエネルギーを蓄える「熱電池」に熱視線が注がれる理由
メリッサ・ヘイッキラ [Melissa Heikkilä]米国版 AI担当上級記者
MITテクノロジーレビューの上級記者として、人工知能とそれがどのように社会を変えていくかを取材している。MITテクノロジーレビュー入社以前は『ポリティコ(POLITICO)』でAI政策や政治関連の記事を執筆していた。英エコノミスト誌での勤務、ニュースキャスターとしての経験も持つ。2020年にフォーブス誌の「30 Under 30」(欧州メディア部門)に選出された。
10 Breakthrough Technologies 2024

MITテクノロジーレビューは毎年、世界に真のインパクトを与える有望なテクノロジーを探している。本誌がいま最も重要だと考える進歩を紹介しよう。

記事一覧を見る
人気の記事ランキング
  1. Promotion MITTR Emerging Technology Nite #28 「自動運転2.0  生成AIで実現する次世代自律車両」開催のご案内
  2. Why it’s so hard for China’s chip industry to become self-sufficient 中国テック事情:チップ国産化推進で、打倒「味の素」の動き
  3. How thermal batteries are heating up energy storage レンガにエネルギーを蓄える「熱電池」に熱視線が注がれる理由
気候テック企業15 2023

MITテクノロジーレビューの「気候テック企業15」は、温室効果ガスの排出量を大幅に削減する、あるいは地球温暖化の脅威に対処できる可能性が高い有望な「気候テック企業」の年次リストである。

記事一覧を見る
フォローしてください重要なテクノロジーとイノベーションのニュースをSNSやメールで受け取る