KADOKAWA Technology Review
×
How Long Before AI Systems Are Hacked in Creative New Ways?

人工知能の弱点は本物の知性ではないので騙しやすいことだ

人工知能の研究者は、機械学習プログラムを騙し、余計なことをさせる手口があることを指摘している。 by Will Knight2016.12.16

最新の人工知能の手法を企業は凄まじい勢いで取り入れている。ハッカーがそうしたシステムを詳細に調べ始めるのは時間の問題であり、そうなれば架空データで人工知能システムを欺き、さまざまな問題が起きるだろう。

最近、オープンAIのイアン・グッドフェロー研究員(誰よりも先に機械学習システムを欺く研究をした人物だ)はバルセロナ(スペイン)で開かれたAI学会で、人工知能システムの攻撃は簡単だと述べた。

「機械学習モデルにできそうなあらゆる悪さは、ほぼ想像どおり、すぐに実行できます。そして、防御するのは本当にとても困難です」

ここ数年間、研究者は、機械学習プログラムがデータのパターンを見つける性質を利用して、騙す方法がいくつもあることを実証してきた。機械学習プログラムが攻撃に弱いのは、ある意味、本物の知能がないからだ。たとえば、自律自動車の視覚システムは屋外看板に騙されて、実際にはないモノをあると認識する。人間には聞こえない音声信号を聞いた音声制御式支援システムは、たとえばWebサイトを訪問してマルウェアをダウンロードするような、ユーザ-が望まないことをしてしまう。

グッドフェロー研究員は、対策の開発に取り組んでいる。機械学習システムを訓練すれば、問題が起きそうな例を見分け、無視するようにはできる。しかし、あらゆる攻撃に備えるのは難しい。

機械学習システムを騙す方法の研究は、研究の段階を超えつつある。この問題を研究するペンシルバニア州立大学のパトリック・マクダニエル教授は「まさにそのとおりです」という。

「機械学習システムは、敵がカネに換えられる類いのさまざまな処理に関わっています。高度な技術のある組織的なハッカーなら、機械を騙す攻撃に飛びつくでしょう」

マクダニエル教授によれば、ハッカーはもう何年も機械学習システムを騙し続けているという。たとえば、スパムとはギリギリみなされないメールを学習アルゴリズムに何通も送りつけた後、本来送信したいスパムメールを送りつける手法がある。マクダニエル教授は、まもなくさらに高度な攻撃が始まるという。

「ごく近いうちに最初の攻撃がオンライン分類システムに仕掛けられるでしょう」とマクダニエル教授はいう。最初の攻撃対象は、最先端のスパムフィルターと違法な素材や著作物を検出するよう設計されたシステム、高度な機械学習に基づくコンピューター・セキュリティシステムだ。

マクダニエル教授の新しい論文によれば、被害範囲は従来の想定より広い可能性がある。論文によれば、ある種の騙し技が、さまざまな機械学習システムに繰り返し使われる可能性がある。攻撃対象は、ハッカーには事前知識がない大規模な「ブラックボックス」システム(ハッカーが詳細を知らないシステムのこと)にまで広がる可能性もある。

人気のある機械学習ツールに潜むバグもシステムが狙われるきっかけになりうる。この分野は進歩が早く、いくつもの新しい機械学習ツールが急ピッチで開発されており、多くの場合、画像認識ツールや自然言語解析ツールなどは、無料のオンライン版がリリースされた後、正式版サービスに組み込まれる。

スペインの同じ学会で講演したメリーランド大学のオクタビアン・スチュー研究員(博士課程)は、そうした人気のあるツールに潜むぜい弱性を調査した。プログラムのソースコードを分析したところ、操作可能であることがわかった。いくつかのツールには情報をメモリーに格納する方法に問題があり、非常に大きなデータを学習データとして読み込ませることでプログラムを上書きし、動作を変えられることがわかったのだ。

スチュー研究員は、こうした手法は機械の判断を操作する格好の手口であり、たとえば、株式予測ツールを騙し、市場を麻痺させる手段として使えるという。「株価予測モデルが上昇を予測したとき、予測内容を変え、株価が下がる、と伝えられるのです」とスチュー研究員はいう。

人気の記事ランキング
  1. OSIRIS-REx collected too much asteroid material and now some is floating away NASA探査機、小惑星のサンプル採取に成功も多過ぎて蓋が閉まらず
  2. There might be even more underground reservoirs of liquid water on Mars 火星の南極に新たな地下湖、生命体が見つかる可能性も
  3. Satellite mega-constellations risk ruining astronomy forever 増え続ける人工衛星群で天体観測が台無し、解決策はあるか?
  4. Room-temperature superconductivity has been achieved for the first time 世界初、15°C「室温超伝導」達成 夢の新技術へ突破口
  5. Astronauts on the ISS are hunting for the source of another mystery air leak ISSで再び原因不明の空気漏れ、乗組員が発生場所を調査中
ウィル ナイト [Will Knight]米国版 AI担当上級編集者
MITテクノロジーレビューのAI担当上級編集者です。知性を宿す機械やロボット、自動化について扱うことが多いですが、コンピューティングのほぼすべての側面に関心があります。南ロンドン育ちで、当時最強のシンクレアZX Spectrumで初めてのプログラムコード(無限ループにハマった)を書きました。MITテクノロジーレビュー以前は、ニューサイエンティスト誌のオンライン版編集者でした。もし質問などがあれば、メールを送ってください。
Innovators Under 35 Japan 2020

MITテクノロジーレビューが主催するグローバル・アワード「Innovators Under 35」が2020年、日本に上陸する。特定の分野や業界だけでなく、世界全体にとって重要かつ独創的なイノベーターを発信していく取り組みを紹介しよう。

記事一覧を見る
人気の記事ランキング
  1. OSIRIS-REx collected too much asteroid material and now some is floating away NASA探査機、小惑星のサンプル採取に成功も多過ぎて蓋が閉まらず
  2. There might be even more underground reservoirs of liquid water on Mars 火星の南極に新たな地下湖、生命体が見つかる可能性も
  3. Satellite mega-constellations risk ruining astronomy forever 増え続ける人工衛星群で天体観測が台無し、解決策はあるか?
  4. Room-temperature superconductivity has been achieved for the first time 世界初、15°C「室温超伝導」達成 夢の新技術へ突破口
  5. Astronauts on the ISS are hunting for the source of another mystery air leak ISSで再び原因不明の空気漏れ、乗組員が発生場所を調査中
MITテクノロジーレビュー[日本版] Vol.1/Autumn 2020
MITテクノロジーレビュー[日本版] Vol.1/Autumn 2020AI Issue

技術動向から社会実装の先進事例、倫理・ガバナンスまで、
AI戦略の2020年代のあたらしい指針。

詳細を見る
フォローしてください重要なテクノロジーとイノベーションのニュースをSNSやメールで受け取る