英内務省が、人種的なバイアスがあると批判されているアルゴリズムを用いたビザ申請の審査を中止すると発表した。どの申請を迅速に手続きするかをアルゴリズムが国籍に基づいて決めることで、「裕福な白人の国出身の人が『迅速に搭乗』でき、より貧しい有色人種が列の後ろに押しやられる」システムになっていると批判を受けてきた。
英内務省はシステムに人種的なバイアスがあることを否定しており、訴訟は今も続いている。一方で同省はアルゴリズムの使用を中止することに同意し、無意識のバイアスを探す全面的な見直しを実施した後、再設計したバージョンを年内に再び立ち上げる計画だ。その間は、国籍を使用しない暫定版のシステムを導入する。
英国は2015年以来、赤、黄、青のリスクレベルを各申請者に割り当てる信号機のシステムでビザ申請をフィルターにかけていた。赤信号のリスクレベルが割り当てられた人は、より高い確率でビザを拒否されていた。
アルゴリズムは、制度的なバイアス、特に人種的なバイアスを強めてしまうことで知られている。それにもかかわらず、信用調査からビザ申請、公判前審問、警察活動に至るまで、さまざまな重要な決断を下すのにアルゴリズムを使うことがますます増えている。米国の移民制度にも人種的なバイアスがあるとの批判がある。だが、たいていの場合、このようなアルゴリズムの正確な仕組みを明らかにし、バイアスがある証拠を明示するのは困難だ。多くのアルゴリズムが独自のものであり、その使用が公に監視されることはほとんどないからだ。
それでも、批判は高まっている。米国では、いくつかの警察署が物議を醸した犯罪予測アルゴリズムの使用を中止しており、テック企業はバイアスを含む顔認識テクノロジーの供給を停止している。2月には、オランダの裁判所が、ある人物が福祉詐欺や税金詐欺を働く可能性を予測するシステムは、マイノリティを不当に標的にするものだとして、違法判決を下した。英内務省が裁判所の判決を待たずにシステムを見直す決断をしたことは、大きな節目となる可能性がある。