グーグルの画像認識APIを騙すことに成功、MIT学生チーム
人工知能（AI）による画像認識は、驚くほど進化している。だが、新たな研究によると、画像認識システムは今でも人間なら決して騙されないような例でも騙されてしまうという。
以前、グーグルが開発した画像分類器を騙して3Dプリントしたカメをライフルだと誤認識させることに成功したマサチューセッツ工科大学（MIT）の学生グループ・ラボシックス（Labsix）が、12月20日、新たな論文を発表した。より簡単にシステムを騙す別の手法が詳しく説明されている。
今回の研究では、画像認識の具体的な手法が公開されていない「ブラック・ボックス」なシステムを騙すことに成功した。
新しいアルゴリズムは、別のシステムを騙すために使いたい画像（例では犬の画像）のピクセルを、元画像（例ではスキーヤー）のように見えるように少しずつ改変していく。それがうまくいくと、「敵対的」なアルゴリズムは、人間がスキーヤーだと認識する領域へと素早く切り替わる画像のバージョンを画像認識システムに読み込ませる（記事冒頭のGIFアニメを見てほしい）。アルゴリズムはこの間、画像認識システムに画像が犬だと思わせておくために、破壊されたピクセルの正しい組み合わせを維持しておく。
ラボシックスの研究者はこの手法を、グーグルのクラウド・ビジョンAPI（Cloud Vision API）で試した。クラウド・ビジョンAPIは画像認識の仕組みや、画像を分類するために使用するラベルが公開されておらず、今回の試験に適しているからだ。ラボシックスの研究者の話では、現時点ではグーグルのシステムでしか試していないが、他の画像認識システムにも同様に効果があるはずだという。
このような敵対的な攻撃からの防御に取り組む研究者は多くいる。しかし、自律型移動手段のような安全性が非常に重要な用途に関しては、敵対的な攻撃が不可能になるか、少なくとも極めて困難にならない限り、AIが信頼されるようになるのは難しいだろう。
