KADOKAWA Technology Review
×
How Long Before AI Systems Are Hacked in Creative New Ways?

人工知能の弱点は本物の知性ではないので騙しやすいことだ

人工知能の研究者は、機械学習プログラムを騙し、余計なことをさせる手口があることを指摘している。 by Will Knight2016.12.16

最新の人工知能の手法を企業は凄まじい勢いで取り入れている。ハッカーがそうしたシステムを詳細に調べ始めるのは時間の問題であり、そうなれば架空データで人工知能システムを欺き、さまざまな問題が起きるだろう。

最近、オープンAIのイアン・グッドフェロー研究員(誰よりも先に機械学習システムを欺く研究をした人物だ)はバルセロナ(スペイン)で開かれたAI学会で、人工知能システムの攻撃は簡単だと述べた。

「機械学習モデルにできそうなあらゆる悪さは、ほぼ想像どおり、すぐに実行できます。そして、防御するのは本当にとても困難です」

ここ数年間、研究者は、機械学習プログラムがデータのパターンを見つける性質を利用して、騙す方法がいくつもあることを実証してきた。機械学習プログラムが攻撃に弱いのは、ある意味、本物の知能がないからだ。たとえば、自律自動車の視覚システムは屋外看板に騙されて、実際にはないモノをあると認識する。人間には聞こえない音声信号を聞いた音声制御式支援システムは、たとえばWebサイトを訪問してマルウェアをダウンロードするような、ユーザ-が望まないことをしてしまう。

グッドフェロー研究員は、対策の開発に取り組んでいる。機械学習システムを訓練すれば、問題が起きそうな例を見分け、無視するようにはできる。しかし、あらゆる攻撃に備えるのは難しい。

機械学習システムを騙す方法の研究は、研究の段階を超えつつある。この問題を研究するペンシルバニア州立大学のパトリック・マクダニエル教授は「まさにそのとおりです」という。

「機械学習システムは、敵がカネに換えられる類いのさまざまな処理に関わっています。高度な技術のある組織的なハッカーなら、機械を騙す攻撃に飛びつくでしょう」

マクダニエル教授によれば、ハッカーはもう何年も機械学習システムを騙し続けているという。たとえば、スパムとはギリギリみなされないメールを学習アルゴリズムに何通も送りつけた後、本来送信したいスパムメールを送りつける手法がある。マクダニエル教授は、まもなくさらに高度な攻撃が始まるという。

「ごく近いうちに最初の攻撃がオンライン分類システムに仕掛けられるでしょう」とマクダニエル教授はいう。最初の攻撃対象は、最先端のスパムフィルターと違法な素材や著作物を検出するよう設計されたシステム、高度な機械学習に基づくコンピューター・セキュリティシステムだ。

マクダニエル教授の新しい論文によれば、被害範囲は従来の想定より広い可能性がある。論文によれば、ある種の騙し技が、さまざまな機械学習システムに繰り返し使われる可能性がある。攻撃対象は、ハッカーには事前知識がない大規模な「ブラックボックス」システム(ハッカーが詳細を知らないシステムのこと)にまで広がる可能性もある。

人気のある機械学習ツールに潜むバグもシステムが狙われるきっかけになりうる。この分野は進歩が早く、いくつもの新しい機械学習ツールが急ピッチで開発されており、多くの場合、画像認識ツールや自然言語解析ツールなどは、無料のオンライン版がリリースされた後、正式版サービスに組み込まれる。

スペインの同じ学会で講演したメリーランド大学のオクタビアン・スチュー研究員(博士課程)は、そうした人気のあるツールに潜むぜい弱性を調査した。プログラムのソースコードを分析したところ、操作可能であることがわかった。いくつかのツールには情報をメモリーに格納する方法に問題があり、非常に大きなデータを学習データとして読み込ませることでプログラムを上書きし、動作を変えられることがわかったのだ。

スチュー研究員は、こうした手法は機械の判断を操作する格好の手口であり、たとえば、株式予測ツールを騙し、市場を麻痺させる手段として使えるという。「株価予測モデルが上昇を予測したとき、予測内容を変え、株価が下がる、と伝えられるのです」とスチュー研究員はいう。

人気の記事ランキング
  1. Singapore’s police now have access to contact tracing data シンガポールの接触追跡アプリが方針転換、犯罪捜査でも利用可に
  2. The winners of Innovators under 35 Japan 2020 have been announced MITTRが選ぶ、日本発の35歳未満のイノベーターを発表
  3. Don’t panic about the latest coronavirus mutations, say drug companies 新型コロナ「変異種」を過度に恐れる必要がないこれだけの理由
  4. Don’t worry, the earth is doomed 人類を滅亡に導く、15の破壊的リスク
  5. The kitchen of the future is here, it’s just not evenly distributed 電子レンジ、真空調理器超える「キッチン・テクノロジー」の未来
ウィル ナイト [Will Knight]米国版 AI担当上級編集者
MITテクノロジーレビューのAI担当上級編集者です。知性を宿す機械やロボット、自動化について扱うことが多いですが、コンピューティングのほぼすべての側面に関心があります。南ロンドン育ちで、当時最強のシンクレアZX Spectrumで初めてのプログラムコード(無限ループにハマった)を書きました。MITテクノロジーレビュー以前は、ニューサイエンティスト誌のオンライン版編集者でした。もし質問などがあれば、メールを送ってください。
Innovators Under 35 Japan 2020

MITテクノロジーレビューが主催するグローバル・アワード「Innovators Under 35」が2020年、日本に上陸する。特定の分野や業界だけでなく、世界全体にとって重要かつ独創的なイノベーターを発信していく取り組みを紹介しよう。

記事一覧を見る
人気の記事ランキング
  1. Singapore’s police now have access to contact tracing data シンガポールの接触追跡アプリが方針転換、犯罪捜査でも利用可に
  2. The winners of Innovators under 35 Japan 2020 have been announced MITTRが選ぶ、日本発の35歳未満のイノベーターを発表
  3. Don’t panic about the latest coronavirus mutations, say drug companies 新型コロナ「変異種」を過度に恐れる必要がないこれだけの理由
  4. Don’t worry, the earth is doomed 人類を滅亡に導く、15の破壊的リスク
  5. The kitchen of the future is here, it’s just not evenly distributed 電子レンジ、真空調理器超える「キッチン・テクノロジー」の未来
MITテクノロジーレビュー[日本版] Vol.2/Winter 2020
MITテクノロジーレビュー[日本版] Vol.2/Winter 2020SDGs Issue

今、世界中の企業や機関の技術者・研究者たちが各地で抱える社会課題を解決し、持続可能な世界の実現へ向けて取り組んでいる「SDGs(持続可能な開発目標)」。
気候変動や貧困といった地球規模の課題の解決策としての先端テクノロジーに焦点を当て、解決に挑む人々の活動や、日本企業がSDGsを経営にどう取り入れ、取り組むべきか、日本が国際社会から期待される役割について、専門家の提言を紹介します。

詳細を見る
フォローしてください重要なテクノロジーとイノベーションのニュースをSNSやメールで受け取る