Inioluwa Deborah Raji イニオルワ・デボラ・ラジ (24)

所属: AIナウ研究所（AI NOW INSTITUTE）

顔認識システムの訓練に使われるデータの人種的なバイアスを研究。ラジの研究は企業に変革を迫っている。

イニオルワ・デボラ・ラジを人工知能（AI）研究の道へ駆り立てたのは、「恐ろしい」記憶に残る出来事を目の当たりにしたことがきっかけだった。

ラジは大学3年の時、機械学習のスタートアップ企業、クラリファイ（Clarifai）でインターンをしていた。ラジがそこで取り組んでいたのは、クライアントが不適切な画像に「NSFW（not safe for work：職場での閲覧不適切）」フラグを立てるのに役立つコンピュータービジョン・モデルの開発だった。問題となったのは、このモデルが白人よりもはるかに高い割合で有色人種の写真に対し、NSFWフラグを立ててしまうことだった。ラジは結果の偏りは、訓練データに起因することを発見した。このモデルは、ポルノ画像からNSFW画像を、ストック画像から安全な画像を認識するように訓練されていた。しかし、ポルノ画像のデータはストック写真よりはるかに人種的に多様であることが判明。人種的な多様性が、黒人とわいせつなコンテンツをモデルが自動的に関連づける原因となっていたのだ。

ラジはクラリファイに問題を伝えたが、同社はこのモデルを使い続けた。「当時は、この問題について取り組んでもらうのは非常に難しいことでした」とラジは振り返る。「その頃は『データを得ること自体が難しいのに、データの多様性まで考えてはいられない』といった状況でした」。

ラジはこの出来事をきっかけとしてさらに調査を進め、コンピューター・ビジョンの訓練用として主流となっていたデータセットを調べた。その結果、ラジは何度も何度も、人口統計学的な不均衡を目にすることになった。例えば、顔のデータセットの多くには黒人が含まれておらず、顔認識システムは黒人の顔を正確に区別できなかった。警察や法執行機関は容疑者の特定に役立つと信じて、こうした欠陥があるシステムを使っていた。

「実際に、多くの機械学習モデルが利用されています（中略）しかし、説明責任を負うという感覚はありませんでした」

「それがこの業界で、私が最初に衝撃を受けたことでした。実際に、多くの機械学習モデルが使用されており、何百万人もの人々に影響を与えています」とラジは言う。「しかし、説明責任を負うという感覚はありませんでした」。

ナイジェリアのポート・ハーコートで生まれたラジは、4歳の時にカナダのオンタリオ州ミシサガに移り住んだ。政情不安な国から逃れ、ラジと彼女の兄弟によりよい生活を送らせたいと家族が考えたという移住の理由以外に、彼女がナイジェリアについて覚えていることはほとんどない。ラジたちの移住は困難を極めた。最初の2年間、ラジの父親はナイジェリアで仕事を続け、2つの大陸を行き来した。ラジはカナダでの最初の5年間で、合計7つの学校に通った。

やがてラジの一家はオタワに引っ越し、生活が安定し始めた。大学進学を考え始めた頃、ラジは自身が医学部進学過程で学ぶことにもっとも関心を抱いていると確信していた。「もしあなたが女の子で、科学の成績が優れていたら、周りの人々は医者になるように勧めるはずです」とラジは語る。神経科学専攻としてマギル大学に合格した後、思いつきと父親の勧めもあってトロント大学を訪れた際、ラジはある教授と出会う。教授はラジに工学を学ぶように説得した。「『物理学を使いたいなら、数学を使って実際に世の中に影響を与えるものを作りたいなら、ここへ来なさい。ここならそれができます。』と言われました」とラジは振り返る。「私はその言葉に強く惹かれて、一晩で考えが変わったのです」。

ラジが初めてコーディングの授業を受けたのは大学生になってからだ。すぐにハッカソンの世界に夢中になった。自分のアイデアをすばやくソフトウェアに変え、問題解決やシステム変更に役立てることに大きな魅力を感じたのだ。3年生になる頃には、ソフトウェアのスタートアップ企業で働き、現実世界で同じような経験をしたいと考えていた。そして、クラリファイでのインターンを始めて数カ月後、ラジは自身が発見した問題を解決する方法を探していた。社内でのサポートを得ようとしたが失敗し、彼女が知るコンピューター・ビジョンのバイアスとの戦いに取り組んでいる唯一の研究者に連絡を取ることにした。

2016年、MIT（マサチューセッツ工科大学）の研究者であるジョイ・ブォロムウィニは、商用顔認識システムが、白いマスクをつけない限り彼女の顔を認識できなかったことについてTEDxで講演した（ブォロムウィニは2018年度の35歳未満のイノベーターの1人）。ラジにとって、ブォロムウィニは完璧な模範だった。自分と同じ黒人女性研究者で、自分が発見した同様の問題をうまく表現していた。ラジはコードと分析結果をまとめ、ブォロムウィニに一方的にメールを送った。2人はすぐに共同研究を開始することになった。

当時、ブォロムウィニはすでに修士論文のためのプロジェクト「ジェンダー・シェイズ（Gender Shades）」に取り組んでいた。このプロジェクトのアイデアは、シンプルだが革新的なものだった。商用顔認識システムのジェンダーや人種のバイアスを評価するために使える、データセットを作成するというものだ。顔認識システムを販売している企業に、内部監査プロセスがなかったわけではなく、その企業が使用したテスト・データは、システムが学習した訓練データと同様に人種の偏りのあるものだったのだ。その結果、システムは監査時には95%以上の正確度で動作するが、実用段階ではマイノリティ・グループに対して60%の正確度でしか動作しなかった。対照的に、ブォロムウィニのデータセットは肌の色とジェンダーが均等に分布した顔の画像であるため、システムが異なる人種の人々をどの程度の精度で認識しているかを、より包括的に評価できた。

ラジは技術的な作業を担い、ブォロムウィニが監査に使用するデータを準備した。その結果は、衝撃的なものだった。テストしたマイクロソフト、IBM、メグビー（Megvii：「フェイス・プラス・プラス（Face++）」のメーカー）といった企業の中で、最悪のケースでは、黒人女性のジェンダー識別の正確度が白人男性に比べて34.4%も低かったのだ。他の2社の結果でも大きな違いはなかった。この調査結果はニューヨーク・タイムズ紙の見出しを飾り、企業は自社のシステムに存在するバイアスについて対処せざるを得なくなった。

ジェンダー・シェイズのプロジェクトを通して、ラジは監査が企業に変化を起こさせる強力なツールになり得ることを知った。そこで2018年の夏、ラジはクラリファイを離れ、MITメディア・ラボでブォロムウィニと新しいプロジェクトを始動することにした。このプロジェクトは結果として、2019年1月に新聞の見出しを飾ることとなる。今回はラジが研究を主導した。ラジは彼女たちが監査した3つの企業へのインタビューを通じて、ジェンダー・シェイズによってこれらの企業がより多様な顔に対応するためにシステムの訓練方法を変えることになったと知った。また、ラジは再び監査を実施し、2つの企業を新しく加えて調査した。アマゾンとカイロス（Kairos）だ。その結果、アマゾンとカイロスは人種グループ間の認識精度にひどいばらつきがあったのに対し、2度目の監査となった3社では、システムの正確度が劇的に改善されていることが判明した。

この発見は、AI研究に根本的な貢献をした。その年の後半には、米国立標準技術研究所（National Institute of Standards and Technology）も顔認識アルゴリズムの年次監査内容を更新し、人種のバイアスに対するテストを取り入れている。

ラジはそれ以来、アルゴリズムの説明責任の基準を設定するいくつかのプロジェクトに携わってきた。MITメディア・ラボでの研究の後、リサーチ・メンティー（指導を受ける研究者）としてグーグルに入社し、同社がAI開発プロセスをより透明性の高いものにするために働いた。これまでソフトウェア・エンジニアは製品を作る際の意思決定を文書化する習慣が確立されていたが、当時の機械学習エンジニアにはその習慣がなかった。そのため、開発途中でエラーやバイアスが発生しやすく、そのようなミスをさかのぼって検証するのが難しかった。

ラジはマーガレット・ミッチェル上級研究科学者が率いるチームとともに、機械学習チームが使用する文書化のフレームワークを作成した。クラリファイでの経験を活かし、遵守しやすいルールになるように工夫した。グーグルは2019年にこのフレームワークを公開し、クライアントが利用できるようグーグル・クラウドに取り入れた。それ以来、オープンAI（OpenAI）や自然言語処理企業のハギング・フェイス（Hugging Face）など、多くの企業が同様の手法を採用している。

また、ラジはグーグルで独自のプロジェクトを共同で立ち上げ、同社に内部監査の慣習（プラクティス）を導入している。AI製品を開発の各段階でチェックをすることで、その製品が世に出る前に問題を発見して対処できるようにするアイデアで、ラジがMITメディア・ラボで外部監査を補完するものとして実施していたものだ。フレームワークには、上級管理職のサポートを得る方法についてのアドバイスも含まれており、製品が監査に合格しなければ、その製品の発売は実際に延期されることになる。

ラジはすべてのプロジェクトにおいて、AI倫理をより簡単に実践できるようにしたいという願いを中心に動いている。「同じ会社の一員として話し合いたい高レベルな倫理的理想を、具体的な行動、リソース、フレームワークに変換したいと思っています」とラジは言う。

常に簡単に仕事を進められたわけではなかった。グーグルでは、物事のやり方を変えるのにどれだけの時間と労力が必要なのかを思い知らされた。ラジは、AIバイアスのような問題に対処するための金銭的なコストが原因で、企業が行動に移せないことを懸念している。それが、彼女が産業界から離れ、自身の研究を続けるために非営利の研究機関であるAIナウ（AI Now）に所属している理由の1つだ。外部による監査は、内部監査ではできない方法で企業に説明責任を課すことができるとラジは考えている。

しかし、ラジは希望を持ち続けている。彼女は、今日のAI研究者は、かつてないほど熱心に自身の仕事に倫理観と責任感を持って臨んでいると考えている。「AIは大きな影響力を持つテクノロジーです」とラジは言う。「顔認識のようなシステムをどのように構築するかについて、機械学習分野全体としてさらに考えていく必要があると思います。それは重要なことであり、人々に影響を与えるからです」。

写真：David Vintiner

人気の記事ランキング

タグ	Innovators Under 35 Innovators Under 35 2020
クレジット	David Vintiner
著者	MIT Technology Review編集部 [MIT Technology Review Editors]