KADOKAWA Technology Review
×

ニューズラインエマージング・テクノロジーの最新情報をお届け。

ちょっとした「言い換え」でAIはだませる、MITが敵対的攻撃を実証
Jon Fife | Flickr
Software that swaps out words can now fool the AI behind Alexa and Siri

ちょっとした「言い換え」でAIはだませる、MITが敵対的攻撃を実証

「テキストフーラー(TextFooler)」は、文中の特定の単語を同義語で置き換えるだけで自然言語処理(NLP)システムをだまして文章を誤解させることができるソフトウェアだ。同ソフトウェアを使った試験では、3つの最新のNLPシステムの正確度が大幅に低下した。たとえばグーグルのBERT(バート)の場合、イェルプ(Yelp)のレビューのネガポジ判定が5〜7倍も悪化した。

ニュースの内容判別やフェイクニュースの検出、感情の分析といったタスクの訓練済みのNLPシステムを攻撃すると、すべてのケースで人工知能(AI)は著しく成績を落とした

マサチューセッツ工科大学(MIT)のチームが開発したこのソフトウェアは、NLP分類器にとって最も重要な単語を文中から探し出し、人間が自然と感じる同義語に置き換えるものだ。たとえば、「ありえないほど人為的な状況に配置された登場人物は、現実から完全に隔絶されている」という文を、「ありえないほど作り込まれた環境に配置された登場人物は、現実から十分に隔絶されている」に変えても、私たちが読むぶんには大して意味は違わない。だがこの加工で、AIによる文の解釈は完全に別のものになった。

このような敵対的攻撃の例はこれまで数多くあったが、多くは画像認識システムに関わるもので、入力画像に些細な改変を加えてAIを戸惑わせ、画像を誤分類させるものだった。テキストフーラーは、同様の敵対的攻撃によって、NLPも破られることを示すものだ。NLPは、シリ(Siri)やアレクサ(Alexa)、グーグル・ホームといったバーチャルアシスタント、スパムフィルターやヘイトスピーチ検出器のような言語分類器を裏で支えているAIだ。テキストフーラーのようなツールによってNLPの弱点をさらけ出すことで、より堅固なNLPシステムを作るのに役立つと研究チームは述べている。

douglas.heaven [Douglas Heaven] 2020.02.17, 12:06
コロナウイルス感染症(COVID-19)

新型コロナウイルス「SARS-CoV-2」を原因とする新型コロナウイルス感染症「COVID-19」が猛威を振るっている。パンデミックによって世界はどう変わるのか? 治療薬やワクチンの開発動向から、各国の政策、経済への影響まで、MITテクノロジーレビューならではの多角的な視点で最新情報をお届けする。

記事一覧を見る
MITテクノロジーレビューは有料会員制サイトです
有料会員になると、毎月150本以上更新されるオリジナル記事が読み放題!
フォローしてください重要なテクノロジーとイノベーションのニュースをSNSやメールで受け取る