2025年2月のことだ。私はアムステルダム市が最近実施したある重大な実験について報道するため、現地へ飛んだ。その実験とは、「スマートチェック（SmartCheck）」と呼ばれるシステムのパイロットプログラムである。効果的で衡平かつ公正平な予測アルゴリズムを作成して、福祉詐欺を発見しようとする試みだ。しかし、同市はその高い目標を達成できなかった。そこで私は、『ライトハウス・レポーツ（Lighthouse Reports）』、オランダの『トロウ（Trouw）』紙の記者たちとともに、その理由の核心に迫ろうととした。詳細は、先に公開された本誌の特集記事をお読みいただきたい。

米国人記者にとって、この時期に欧州の進歩的な都市で「責任ある人工知能（AI）」に関する記事を書くことは興味深い体験だった。最近の米国においては、少なくとも国家レベルでは、AIの導入における倫理的配慮が失われつつあるように見える。

たとえば、私が出張する数週間前、トランプ政権はAIの安全性に関するバイデン前大統領の大統領令を撤回し、政府効率化省（DOGE）は削減すべき連邦プログラムをAIに頼って決め始めていた。さらに最近では、米国各州のAIを規制する能力を10年間停止する法案が下院共和党によって可決された（ただし、上院ではまだ可決されていない）。

これらすべてが指し示しているのは、「責任あるAI」がもはや優先事項ではなくなっているという米国の新たな現実である（かつては本当に優先事項だったとすればの話だが）。

しかし、このことはまた私にとって、人間の生命に直接影響するような状況にAIを導入することの重大さや、成功とはそもそもどのようなものなのかということについて、より深く考えるきっかけにもなった。 

アムステルダムの福祉部門は、スマートチェックへと発展するアルゴリズムの開発に着手する際、責任あるAIのプレイブックにある実質すべての推奨事項に従った。外部の専門家への相談や、バイアステストの実施、技術的な安全保護措置の導入、利害関係者の意見募集などだ。それらの結果として導入されたアルゴリズムが、10年近くにわたり差別的なAIによってもたらされてきた最悪の種類の害を引き起こさないことを、市当局は望んでいた。

このプロジェクトに関わった多くの人々や、その影響を受ける可能性のある人々、そしてこのプロジェクトには携わらなかった何人かの専門家たちと話をした結果、「公正性」あるいは「バイアス」さえも一般的に合意された定義がないのに、果たしてアムステルダム市はその目標において成功したのかどうか、疑問に思わないわけにはいかない。同市はそれらの問題を、社会全体が取り組まなければならない政治的・哲学的な問題というよりも、数字やデータの重み付けを調整することによって答えを出せる技術的な問題として扱っていた。

アムステルダムに到着した日の午後、私はアンケ・ファン・デル・フリートと面会した。ファン・デル・フリートは福祉給付金受給者の長年の擁護者であり、受給者とその擁護者の代表者15人から成る市民団体「参加評議会（Participation Council）」のメンバーである。

アムステルダム市はスマートチェックの開発中に同評議会と協議していたが、ファン・デル・フリートはこの計画に対する評議会の批判を率直に語ってくれた。評議会のメンバーたちは、単純にはこのプログラムを望んでいなかった。不正行為は申請全体のわずか3％しか見つかっていないことを考えると、差別や過度の影響が起こるのではないかという、正当な懸念があったのだ。

アムステルダム市が評議会の懸念の一部に対応してアルゴリズムの設計に変更を加えたことは、称賛に値する。たとえば、含めることで差別的な影響力を持つ可能性のある年齢などの情報は、考慮対象のファクターから除外された。しかしアムステルダム市は、参加評議会の主要な意見は無視した。評議会は開発全体を中止することを提言していたのだ。

ファン・デル・フリートや、アムステルダム福祉組合の代表者など私が今回の出張で面会した他の福祉擁護者たちは、同市の約3万5000人の受給者が直面している多くの課題と見なしていることについて説明してくれた。それは、給付金の必要性を何度も繰り返し証明しなければならない屈辱や、受給額に反映されない生活費の上昇、受給者と政府との間に広がる一般的な不信感だった。

福祉詐欺の取り締まりを担当するアムステルダム市の政策顧問、ハリー・ボダールが話してくれたように、市の福祉当局者自身も「輪ゴムとホッチキスでかろうじてつながっている」ようなこのシステムの欠陥を認識している。「制度の最下層にいる人々こそ、真っ先にその隙間からこぼれ落ちるのです」。

そのため、ボダールや同じ部署の職員たちがスマートチェックによってシステムが修正されることを期待していたにもかかわらず、参加評議会はその導入をまったく望んでいなかった。これは、「厄介な問題（wicked problem）」の典型的な例である。つまり、明確な答えが1つもなく、潜在的な多くの影響を抱える、社会的あるいは文化的な問題なのだ。

この記事が公開された後、私は、バイデンのAI権利章典（現在はトランプによって撤回された）を共同執筆したホワイトハウス科学技術政策室の元技術顧問、スレーシュ・ヴェンカタスブラマニアンから話を聞いた。「早い段階でコミュニティからの参加が必要です」と、ヴェンカタスブラマニアンは話した。しかし、コミュニティからの意見に対して当局が何をするか、そして「人々が実際に望んでいることに基づいて介入の枠組みを見直す意思」があるかどうかも重要であると付け加えた。

もしアムステルダム市が別の問題、つまり人々が実際に望んでいることから始めていたら、ひょっとするとまったく別のアルゴリズムを開発していたかもしれない。オランダのデジタル権利擁護者ハンス・デ・ズワートが説明してくれたように、「私たちは、“間違った問題に対する技術的解決策”に誘惑されています。なぜ自治体は、社会的支援を受ける権利があるのに申請していない人を探すためのアルゴリズムを作らないのでしょうか？」

そのような疑問は、AI開発者たちの考慮が必要になる種類の基本的な問題である。そのような問題が考慮されなければ、同じ過ちを何度も繰り返す（あるいは無視する）リスクを犯すことになる。

ヴェンカタスブラマニアンは私たちの記事について、「そのようなシステムの運用を担う人々」に「そもそもそれを使うべきかどうかということをはじめ、厳しい疑問を投げかける」必要性を強調している点で、「肯定的である」と感じられると話してくれた。

しかし、「謙虚な気持ちにもさせられます」と話した。「たとえ善意があり、責任あるAIに関するすべての研究から恩恵を受けたいという思いがあったとしても、システム構築の細部をはるかに超える理由から、根本的に欠陥のあるシステムが構築される可能性があります」。

この議論をより深く理解するには、ここで記事の全文を読んでほしい。私たちがアムステルダム市から「スマートチェック」アルゴリズムへアクセスする前例のない許可を得た後、どのように独自のバイアステストを実施したかということについてもっと詳しく知りたい場合は、ライトハウスでその方法をご確認いただきたい（オランダ語圏の方はトロウで対応する記事を読むことができる）。私たちの報道に対するピューリッツァー・センターの支援に感謝する。

• 5

人気の記事ランキング

1. It’s time to address the looming crisis in entry-level work. 「コーディングを学べ」もう通用せず、AIが若者の雇用を奪い始めた
2. Promotion Call for entries for Innovators Under 35 Japan 2026 「Innovators Under 35 Japan」2026年度候補者募集のお知らせ
3. Anthropic’s Code with Claude showed off coding’s future—whether you like it or not 「Claudeに任せてしまおう」 たった1年で激変したソフトウェア開発
4. A reality check on the AI jobs hysteria 「ホワイトカラー消滅」 まだデータに兆候なし ——ただし若者に警戒信号
5. Inside the stealthy startup that pitched brainless human clones 「臓器袋」から全身置換へ ステルス企業R3が隠す 「脳なし」クローン計画