機械学習を使った将来予測は正確か？社会学者が指摘する問題点

政策立案者はしばしば、ある政策が雇用率や犯罪率などの社会的結果にどう影響するかを予測するよう、社会科学者に要請する。さまざまな要因が人生の道筋をどう変えるのかが分かれば、最良の成果ををもたらす介入手段を提案できると考えているからだ。

近年、従来をはるかに上回る大量のデータを処理することで、より正確な予測を実現できると謳う機械学習がさまざまな場面で利用されている。たとえば、被告人が再犯で逮捕される確率や、児童が家庭内で虐待や育児放棄の危険にさらされる確率を予測するためにも、機械学習が活用されている。ベースとなっているのは、ある状況に関する十分な量のデータをアルゴリズムに与えれば、人間や、より基礎的な統計分析に頼るよりも正確な予測が立てられる、という仮説だ。

だが、米国科学アカデミー紀要に発表された新たな論文が、このアプローチの実質的な有効性に疑問を投げかけている。プリンストン大学の3人の社会学者は、数百人の研究者に対し、4000以上の家族の1万3000件近くのデータポイントを使って、子ども、親、家族に関する6項目の結果を予測するよう依頼した。研究者らが立てた予測はどれも、妥当といえる正確さのレベルにかすりもしなかった。予測に用いた手法が、シンプルな統計であるか、最先端の機械学習であるかに関わらずだ。

非営利団体のパートナーシップ・オン・AI（Partnership on AI）で、公平性・説明責任に関する研究を率いるアリス・シャンは、「この調査結果には、結局のところ機械学習ツールは魔法ではない、ということが明確に表れています」と語る。

科学者たちが利用したのは、15年間に渡って実施された社会学研究「脆弱家族と児童福祉に関する調査（Fragile Families and Child Wellbeing Study）」のデータだ。この研究は、社会学と公共問題の専門家であり、今回の論文の共同執筆者でもあ …