最新の人工知能の手法を企業は凄まじい勢いで取り入れている。ハッカーがそうしたシステムを詳細に調べ始めるのは時間の問題であり、そうなれば架空データで人工知能システムを欺き、さまざまな問題が起きるだろう。
最近、オープンAIのイアン・グッドフェロー研究員（誰よりも先に機械学習システムを欺く研究をした人物だ）はバルセロナ（スペイン）で開かれたAI学会で、人工知能システムの攻撃は簡単だと述べた。
「機械学習モデルにできそうなあらゆる悪さは、ほぼ想像どおり、すぐに実行できます。そして、防御するのは本当にとても困難です」
ここ数年間、研究者は、機械学習プログラムがデータのパターンを見つける性質を利用して、騙す方法がいくつもあることを実証してきた。機械学習プログラムが攻撃に弱いのは、ある意味、本物の知能がないからだ。たとえば、自律自動車の視覚システムは屋外看板に騙されて、実際にはないモノをあると認識する。人間には聞こえない音声信号を聞いた音声制御式支援システムは、たとえばWebサイトを訪問してマルウェアをダウンロードするような、ユーザ－が望まないことをしてしまう。
グッドフェロー研究員は、対策の開発に取り組んでいる。機械学習システムを訓練すれば、問題が起きそうな例を見分け、無視するようにはできる。しかし、あらゆる攻撃に備えるのは難しい。
機械学習システムを騙す方法の研究は、研究の段階を超えつつある。この問題を研究するペンシルバニア州立大学のパトリック・マクダニエル教授は「まさにそのとおりです」という。
「機械学習システムは、敵がカネに換えられる類いのさまざまな処理に関わっています。高度な技術のある組織的なハッカーなら、機械を騙す攻撃に飛びつくでしょう」
マクダニエル教授によれば、ハッカーはもう何年も機械学習システムを騙し続けているという。たとえば、スパムとはギリギリみなされないメールを学習アルゴリズムに何通も送りつけた後、本来送信したいスパムメールを送りつける手法がある。マクダニエル教授は、まもなくさらに高度な攻撃が始まるという。
「ごく近いうちに最初の攻撃がオンライン分類システムに仕掛けられるでしょう」とマクダニエル教授はいう。最初の攻撃対象は、最先端のスパムフィルターと違法な素材や著作物を検出するよう設計されたシステム、高度な機械学習に基づくコンピューター・セキュリティシステムだ。
マクダニエル教授の新しい論文によれば、被害範囲は従来の想定より広い可能性がある。論文によれば、ある種の騙し技が、さまざまな機械学習システムに繰り返し使われる可能性がある。攻撃対象は、ハッカーには事前知識がない大規模な「ブラックボックス」システム（ハッカーが詳細を知らないシステムのこと）にまで広がる可能性もある。
人気のある機械学習ツールに潜むバグもシステムが狙われるきっかけになりうる。この分野は進歩が早く、いくつもの新しい機械学習ツールが急ピッチで開発されており、多くの場合、画像認識ツールや自然言語解析ツールなどは、無料のオンライン版がリリースされた後、正式版サービスに組み込まれる。
スペインの同じ学会で講演したメリーランド大学のオクタビアン・スチュー研究員（博士課程）は、そうした人気のあるツールに潜むぜい弱性を調査した。プログラムのソースコードを分析したところ、操作可能であることがわかった。いくつかのツールには情報をメモリーに格納する方法に問題があり、非常に大きなデータを学習データとして読み込ませることでプログラムを上書きし、動作を変えられることがわかったのだ。
スチュー研究員は、こうした手法は機械の判断を操作する格好の手口であり、たとえば、株式予測ツールを騙し、市場を麻痺させる手段として使えるという。「株価予測モデルが上昇を予測したとき、予測内容を変え、株価が下がる、と伝えられるのです」とスチュー研究員はいう。