KADOKAWA Technology Review
×
始めるならこの春から!年間サブスク20%オフのお得な【春割】実施中
ブラックボックスなAIに潜む「偏見」を暴く最新研究が発表
Siobhan Gallagher
New Research Aims to Solve the Problem of AI Bias in “Black Box” Algorithms

ブラックボックスなAIに潜む「偏見」を暴く最新研究が発表

意思決定の場面に人工知能(AI)システムが使われることが多くなるにつれて、ブラックボックスの中で一体どのようなアルゴリズムが動作しているのかを知ることが、ますます重要になっている。しかし、処理が複雑すぎたり、アルゴリズムが公開されていなかったりして、動作を調べるのが困難である場合がほとんどだ。 by Jackie Snow2017.11.10

株の銘柄選びからX線画像の判読まで、以前なら人間に任されていた意思決定の分野に人工知能(AI)がどんどん利用されるようになってきた。だがAIは、訓練に使われたデータ以上に良いものにはならない。多くの場合、あまりにも人間らしい偏見をアルゴリズムに織り込んでしまうのが落ちで、人々の生活に大きな影響を与える可能性がある。

第三者による検証が困難なアルゴリズム、いわゆる「ブラックボックス」システムの問題を緩和する方法に関する論文が、アーカイブ(arXiv)に公開された

システムに偏見があると特に厄介になるのが、たとえば、ある人が保釈されたり、融資を認められたりするのを決める際のリスク評価モデリングの分野だ。こうした場合に、人種のような要因を考慮に入れることは一般的に違法だ。しかし、ある人の教育水準や出身地が他の人口統計学情報と関連している可能性があるという事実を、アルゴリズムが認識して学習してしまうかもしれない。そうなればアルゴリズムに人種などの偏見を植え付けることになる。

問題をいっそう面倒にしているのは、そのような決定に使われるAIシステムの多くが、容易に理解できないほど複雑であったり、あるいはアルゴリズムが特許で守られていて企業が説明を拒んでいたりして、ブラックボックスであるということだ。研究者はアルゴリズムの内部で何が起こっているかを調べるツールの開発に取り組んできたが、問題は広くまん延し、拡大している(「『人間はアルゴリズムを信頼しすぎ』グーグルの研究者らが警鐘」を参照)。

ここで紹介する論文は、サラ・タン(研究当時はマイクロソフトに勤務、現在はコーネル大学の博士課程に在学中)と同僚たちが開発した手法を、2つのブラックボックス・リスク評価モデルに試した結果についての報告だ。1つはピアツーピアの融資会社レンディング・クラブ(LendingClub)の融資と貸し倒れ率についてのリスク評価モデル、もう1つは全米の裁判所にアルゴリズムに基づくサービスを提供するノースポイント(Northpointe)による被告の再犯リスク予測モデルだ。

偏見を含んでいるかもしれないアルゴリズムがどのように動作するのかを明らかにするため、タンたちは2つの観点からアプローチした。まず、研究対象とするブラックボックス・アルゴリズムを模倣するモデルを作った。レンディング・クラブやノースポイントがしているのと同じように、初期データセットに基づいてリスクを評価して得点を求めるモデルだ。さらに、現実世界の結果を用いて訓練した2番目のモデルを作り、これを使って初期データセットのどの変数が最終結果にとって重要だったかを決定した。

レンディング・クラブのケースでは、2007〜2011年における多数の支払期限が来たローンのデータを分析した。レンディング・クラブのデータベースには様々なデータ欄があったが、タンたちが見い出したのは、この会社のモデルが申込者の年収とローン用途をおそらく両方とも無視していたことだった。収入を無視するのは理にかなっているかもしれない。自己申告で嘘を書くかもしれないからだ。だがローンの用途はリスクと強く関連している。小規模な企業に融資することは、たとえば結婚式の資金に融資するよりもずっとリスクが高い。したがってレンディング・クラブは重要な変数を無視しているようだった。

ノースポイントは、被告人の再犯可能性を予測するシステム「コンパス(COMPAS)」のアルゴリズムは、量刑を提案するとき人種を変数には含まないという。しかし、米国の非営利・独立系の報道機関であるプロパブリカ(ProPublica)の調査によると、コンパスの評価に基づいて判決を受けた被告の人種情報をジャーナリストが集めたところ、人種による偏見が存在する証拠があったという。タンたちの模倣モデルでは、プロパブリカが集めたデータのほかに、被告の年齢、性別、罪の階級、前科の数、以前の懲役期間についての情報も使った。タンたちの手法による結果はプロパブリカの知見と一致し、コンパスはある年齢と人種集団に偏見を持っている可能性があることを示した。

調査で使ったアルゴリズムは正確な複製ではないうえ、タンたちはやむを得ないにせよ、経験に基づく推測をしていると批判する者もいるかもしれない。だが、アルゴリズムを作成した企業がシステムの動作について情報を公開するつもりがないのなら、この研究で使ったような近似モデルは問題を見抜くのに妥当な方法だと、自然言語処理における偏見についての論文を発表したマサチューセッツ大学アマースト校のブレンダン・オコナー助教授は言う。

「私たちはこういうことが起こっていることに気付く必要があります。目をふさいで、何も起こっていないかのように振る舞うべきではありません」。

人気の記事ランキング
  1. Promotion MITTR Emerging Technology Nite #32 Plus 中国AIをテーマに、MITTR「生成AI革命4」開催のご案内
  2. AI companions are the final stage of digital addiction, and lawmakers are taking aim SNS超える中毒性、「AIコンパニオン」に安全対策求める声
  3. What is vibe coding, exactly? バイブコーディングとは何か? AIに「委ねる」プログラミング新手法
  4. Tariffs are bad news for batteries トランプ関税で米電池産業に大打撃、主要部品の大半は中国製
▼Promotion
MITTRが選んだ 世界を変える10大技術 2025年版

本当に長期的に重要となるものは何か?これは、毎年このリストを作成する際に私たちが取り組む問いである。未来を完全に見通すことはできないが、これらの技術が今後何十年にもわたって世界に大きな影響を与えると私たちは予測している。

特集ページへ
日本発「世界を変える」U35イノベーター

MITテクノロジーレビューが20年以上にわたって開催しているグローバル・アワード「Innovators Under 35 」。世界的な課題解決に取り組み、向こう数十年間の未来を形作る若きイノベーターの発掘を目的とするアワードの日本版の最新情報を発信する。

特集ページへ
フォローしてください重要なテクノロジーとイノベーションのニュースをSNSやメールで受け取る