人工知能は数学的処理でも
アルゴリズムの偏向は不可避
アルゴリズムは公平で、開発者である人間よりも客観的だと考えがちだが、研究者は、偏見や差別があることを証明した。 by Nanette Byrnes2016.06.25
アルゴリズムと人工知能で動作するテクノロジーは、すでに生活に溶け込んでいる。こうなると、面倒な疑問がわいてくる。プログラムの動作は公平なのだろうか? それとも、人間の偏見をある程度は受け継いでいるのだろうか?
Facebookの「トレンドトピック」の選び方にリベラル的偏向が疑われた米国の論争は、この問題の核心を突いている。米上院はフェイスブックに公式の説明を要請し、今週シェリル・サンドバーグCOOは、社員が自身の政治的傾向を把握し、自重できるような社員教育を始めるとを発表した。
しかし、こうした現象はキックスターターのフレッド・ベネンソン元データ主任が「数学的洗浄(mathwashing)」と呼ぶ風潮のひとつに過ぎない。システムの根幹が数学(マス)的に基づいて洗浄(ウォッシング)されているのだから、Facebookなどのプログラムは完全に客観的だと思い込んでしまうのだ。
プログラムが潜在的に偏向している理由は、開発者の多く(特に機械学習の専門家)が、事実として男性だからだ。マイクロソフトのマーガレット・ミッチェル研究員が、「男だらけ」の危険性について、まさにこの種のプログラム開発について嘆いているのをブルームバーグの記事も紹介している。
この問題への懸念が広がっているのは、中立的とみなさなれきたオンライン広告や求人、価格戦略の決定アルゴリズムに、研究者が偏向の証拠が発見したからだ。
たとえば、ハーバード大学ラターニャ・スウィーニー教授の研究では、白人の赤ちゃんに多い名前(ジェフリー、ジル、エマなど)と黒人の赤ちゃんに多い名前(デショーン、ダーネル、ジャーメインなど)で検索したときに表示されるグーグルAdSense広告の違いに着目した。80%以上の「黒人」の名前の横には「arrest(逮捕)」を含む広告が表示されたのに対し、「白人」の名前では30%以下だったのだ。
スウィーニー教授は、グーグルの広告テクノロジーが人種偏向を固定化することで、コンテストの募集であれデートであれ仕事であれ、黒人が競争に参加するチャンスが奪われかねないと憂慮している。融資やクレジットカードの申し込みなど、米国で以前から人種差別が横行してきた分野では、特に注意が必要だ。
オンライン融資会社ゼストファイナンスは、機械学習プログラムで何万人という単位でデータを処理すれば、信用力があるとみなせる人を増やせる、という構想のもとに設立された。ゼストは、融資が差別的になる危険性に対処するため、与信結果を検査するツールを構築した。
しかし、人間が認知できない偏向がアルゴリズム内だけでなく、流入するデータに紛れ込めば、誰も気付かないうちに差別的プログラムになる危険がある。また、消費者は複雑なプログラムの中身が開示されない以上は、公平に扱われていると確認する方法がない。
Technical.ly Brooklyn(都市別の企業と起業家のコミュニティ)のイベントで、ベネンソン元データ主任は「アルゴリズムとデータドリブン型のサービスや製品は、当然、開発者の設計思想が反映されます。そうでないと考えるのは、無責任です」と述べた。
(関連記事:Wall Street Journal, Technical.ly Brooklyn, Bloomberg, “人工知能、離陸”)
- 人気の記事ランキング
![](https://cdn.technologyreview.jp/wp-content/uploads/sites/2/2016/07/11012944/nanette_byrnes-150x150.png)
- ナネット バーンズ [Nanette Byrnes]米国版 ビジネス担当上級編集者
- ビジネス担当上級編集者として、テクノロジーが産業に与えるインパクトや私たちの働き方に関する記事作りを目指しています。イノベーションがどう育まれ、投資されるか、人々がテクノロジーとどう関わるか、社会的にどんな影響を与えるのか、といった領域にも関心があります。取材と記事の執筆に加えて、有能な部下やフリーライターが書いた記事や、気付きを得られて深く、重要なテーマを扱うデータ重視のコンテンツも編集します。MIT Technology Reviewへの参画し、エマージングテクノロジーの世界に飛び込む以前は、記者編集者としてビジネスウィーク誌やロイター通信、スマートマネーに所属して、役員会議室のもめ事から金融市場の崩壊まで取材していました。よい取材ネタは大歓迎です。nanette.byrnes@technologyreview.comまで知らせてください。