KADOKAWA Technology Review
×
12/16開催 「再考ゲーミフィケーション」イベント参加受付中!

ニューズラインエマージング・テクノロジーの最新情報をお届け。

ちょっとした「言い換え」でAIはだませる、MITが敵対的攻撃を実証
Jon Fife | Flickr
Software that swaps out words can now fool the AI behind Alexa and Siri

ちょっとした「言い換え」でAIはだませる、MITが敵対的攻撃を実証

「テキストフーラー(TextFooler)」は、文中の特定の単語を同義語で置き換えるだけで自然言語処理(NLP)システムをだまして文章を誤解させることができるソフトウェアだ。同ソフトウェアを使った試験では、3つの最新のNLPシステムの正確度が大幅に低下した。たとえばグーグルのBERT(バート)の場合、イェルプ(Yelp)のレビューのネガポジ判定が5〜7倍も悪化した。

ニュースの内容判別やフェイクニュースの検出、感情の分析といったタスクの訓練済みのNLPシステムを攻撃すると、すべてのケースで人工知能(AI)は著しく成績を落とした

マサチューセッツ工科大学(MIT)のチームが開発したこのソフトウェアは、NLP分類器にとって最も重要な単語を文中から探し出し、人間が自然と感じる同義語に置き換えるものだ。たとえば、「ありえないほど人為的な状況に配置された登場人物は、現実から完全に隔絶されている」という文を、「ありえないほど作り込まれた環境に配置された登場人物は、現実から十分に隔絶されている」に変えても、私たちが読むぶんには大して意味は違わない。だがこの加工で、AIによる文の解釈は完全に別のものになった。

このような敵対的攻撃の例はこれまで数多くあったが、多くは画像認識システムに関わるもので、入力画像に些細な改変を加えてAIを戸惑わせ、画像を誤分類させるものだった。テキストフーラーは、同様の敵対的攻撃によって、NLPも破られることを示すものだ。NLPは、シリ(Siri)やアレクサ(Alexa)、グーグル・ホームといったバーチャルアシスタント、スパムフィルターやヘイトスピーチ検出器のような言語分類器を裏で支えているAIだ。テキストフーラーのようなツールによってNLPの弱点をさらけ出すことで、より堅固なNLPシステムを作るのに役立つと研究チームは述べている。

douglas.heaven [Douglas Heaven] 2020.02.17, 12:06
日本発「世界を変える」U35イノベーター

MITテクノロジーレビューが20年以上にわたって開催しているグローバル・アワード「Innovators Under 35 」。2024年受賞者決定!授賞式を11/20に開催します。チケット販売中。 世界的な課題解決に取り組み、向こう数十年間の未来を形作る若きイノベーターの発掘を目的とするアワードの日本版の最新情報を随時発信中。

特集ページへ
MITテクノロジーレビューは有料会員制サイトです
有料会員になると、毎月150本以上更新されるオリジナル記事が読み放題!
フォローしてください重要なテクノロジーとイノベーションのニュースをSNSやメールで受け取る