ヨルダンでどの世帯が経済援助を受けるべきかを決定する目的で、世界銀行が資金提供して構築されたアルゴリズムは、受給資格を得るべき人々を除外している可能性が高いようだ。人権団体のヒューマン・ライツ・ウォッチ（Human Rights Watch）が6月13日に発表した調査結果で明らかになった。
ヨルダン政府が利用している「タカフル（Takaful）」と呼ばれる現金給付プログラムは、57項目の社会経済指標を重み付けする非公開の数式を使用して、援助を申請する世帯の貧困度合いをランク付けする。しかし申請者によると、この数式は現実を反映しておらず、国民の経済状況を過度に単純化しており、ときに不正確または不公平であるという。タカフルには10億ドル超が費やされており、世界銀行はヨルダン以外の中東とアフリカの8カ国でも、同様のプロジェクトに資金を提供している。
ヒューマン・ライツ・ウォッチは、タカフルでバイアスと不正確さにつながる根本的な問題を複数特定した。たとえば申請者は、ランキングシステムに入力される指標として、水と電気の消費量という2つの項目を尋ねられる。今回の報告書の著者は、貧困度合いを判定するうえで、これらは必ずしも信頼できる指標ではないと結論付けている。インタビューを受けた世帯の中には、車を所有しているという事実が、たとえその車が古いもので通勤に必要であったとしても、ランキングに影響すると考える人もいた。
報告書には、「こうしたうわべだけの統計的客観性は、より複雑な現実を覆い隠してしまう。人々が耐えている経済的圧力や、どれほど懸命に生活しているかは、アルゴリズムではわからないことが多い」と書かれている。
報告書によると、2児の父であり、月収250ディナール（353ドル）で毎月のやりくりに苦労するアブデルハマドは「尋ねられた質問は私たちの現実を反映していない」と話しているという。
タカフルはまた、性差別的な法規範に依存することで、既存のジェンダーに基づく差別をより顕著にしている。現金による援助はヨルダン国民にのみ提供され、援助の有無を決めるアルゴリズムは世帯の規模を指標の1つとして考慮する。ヨルダン国民でない女性と結婚したヨルダン人男性は、配偶者にもヨルダン国民としての身分を与えられるが、ヨルダン人女性はそれができない。このような女性は報告する世帯人数が少なくなり、援助を受けられる可能性が低くなる。
今回の報告書は、過去2年間にヒューマン・ライツ・ウォッチが実施した70件のインタビューに基づいており、定量的な評価はしていない。世界銀行とヨルダン政府が、57項目の指標のリストと重み付けの内訳、あるいはアルゴリズムの決定に関する包括的なデータを公表していないからだ。世界銀行はMITテクノロジーレビューからのコメント要請にまだ返答していない。
ヒューマン・ライツ・ウォッチの人工知能（AI）および人権の研究者で、この報告書の著者であるエイモス・トーは、今回の調査結果は、アルゴリズムによって意思決定をする政府プログラムの透明性を高める必要性を示していると話す。インタビューを受けた世帯の多くは、ランキングの方法について不信感と困惑を表明した。「ヨルダン政府は透明性を提供する責任があります」とトーは言う。
AI倫理や公平性に関する研究者らは、福祉システムにおけるアルゴリズムの利用増加をめぐって、よりしっかりした精査を呼びかけている。ニューヨーク大学の准教授で、『More than a Glitch：Confronting Race, Gender, and Ability Bias in Tech（軽微な誤作動では片付けられないもの：テクノロジーにおける人種、ジェンダー、および障がいの有無に基づくバイアスに立ち向かう）』（未邦訳）の著者であるメレディス・ブルサードは、「福祉制度の利用を監視するという特定の目的のためにアルゴリズムを構築し始めると、援助を必要とする人々が除外されるということが常に起こります」と話す。
「ヨルダン政府が利用しているアルゴリズムもまた、援助を最も必要とする人々への資金提供を実際には制限することになる、粗悪な設計になっているようです」とブルサード准教授は言う。
世界銀行はこのプログラムに資金を提供し、プログラム自体は、政府の社会保護機関であるヨルダン国民援助基金が管理している。今回の報告書に対応して世界銀行は、タカフル・プログラムに関する追加情報を2023年7月に発表する予定であると述べるとともに、「普遍的な社会的保護の実施を推進し、すべての人の社会的保護へのアクセスを確保するという自らの取り組み」を改めて表明した。
世界銀行は、タカフルなどの現金給付プログラムにおけるデータ・テクノロジーの利用を奨励しており、それが費用対効果と分配の公平性の向上を促進すると主張している。福祉詐欺を防ぐためにAIシステムを活用している国はほかにもある。オランダ政府が不正の可能性が高い給付金申請を見つけるために利用しているアルゴリズムに関して5月に実施された調査では、人種とジェンダーをめぐる構造的差別の存在が明らかになった。