Artificial intelligence is infiltrating health care. We shouldn’t let it make all the decisions.

医療AIの落とし穴、医師が「信じすぎる」問題に解決策は？

医療の現場に人工知能（AI）がますます導入されるにつれ、医師がAIの診断を信用するあまり、「AIパターナリズム」に陥る可能性がでてきた。私たちはAIの判断をどこまで受け入れればよいのだろうか。 by Jessica Hamzelou2023.05.18

この記事は米国版ニュースレターを一部再編集したものです。

人工知能（AI）が生成した医療アドバイスを信用できるだろうか？ AI技術によってさまざまな病気を診断できると主張する見出しがますます増えていくのを見ながら、私はこの1週間、この問いについて考えてみた。つまり、AIシステムはしばしば、医療訓練を受けた専門家よりも優れており、より速く、より費用が抑えられる、ということについてだ。

多くのAI技術には、周知の問題がある。 限られたデータや偏ったデータに基づいて訓練され、女性や有色人種に対しては、白人男性ほどうまく機能しないことが多いのだ。それだけでなく、これらのシステムの訓練データの中には、明らかに間違っているものもある。

もう1つ問題がある。こうしたテクノロジーが医療現場に浸透し始めると、いわゆるAIパターナリズム（父権主義）が台頭してくると研究者らは指摘する。医療におけるパターナリズムは、医療という業種の黎明期から問題視されてきた。しかし今や医師が、患者が感じる症状や医者自身の臨床判断を無視してまで、AIを信用する傾向があるかもしれない。

AIはすでに医療に活用されている。一部の病院では、患者のトリアージを補佐するためにAIを使用している。診断の補助や、治療計画の立案に使っているところもある。しかし、AI導入の本当の範囲は不明だと、英国オックスフォード大学でテクノロジーと規制について研究しているサンドラ・ワチテル教授は言う。

「どのようなシステムが使われているのか、実際にはわからないことも時々あります」とワチテル教授は言う。しかし、技術が向上し、医療機関がコスト削減の方法を模索する中で、システムの導入が進む可能性があることは確かだと付け加える。

研究結果を見ると、医師らがすでにAI技術に大いに信頼を寄せていることが伺える。数年前に発表された研究では、腫瘍医に対し、自身の皮膚がんの診断とAIシステムの診断をと比較するように求めた。その結果、多くの医師が、自分たちの臨床的見解と矛盾する場合でも、AIの診断を受け入れたのだ。

このようなテクノロジーに、私たちが必要以上に依存するようになるリスクは、非常に高い。そして、ここにパターナリズムが入り込む可能性があるのだ。

「パターナリズムという概念は、『医者が一番よく知っている（the doctor knows best）』ということわざが良く言い表している」と、最近科学雑誌に掲載された論文で述べているのは、カナダのオンタリオ州にあるホスピタル・フォー・シックチルドレンに務めるメリッサ・マクラデン医師とロクサーヌ・カーシュ医師だ。このことわざの意味するところは、医学的な訓練を受けている医師は、治療を受けている人の感情、信念、文化、その他私たちの選択に影響を与える可能性のあるあらゆるものに関係なく、患者のために決断するのに最適な人物であるというものだ。

「AIが最高のエビデンスとして位置づけられ、全知全能の医師が全知全能のAIに置き換わるとき、パターナリズムは再構成され得ます」と両医師は続ける。2人は、「アルゴリズム・パターナリズムが増加傾向」にあると言う。これは、さまざまな理由から問題があると言えるだろう。

まず前述したように、AIは間違えることもある。AIは過去のデータセットに基づいて訓練されたものであり、データ自体に欠陥が存在する場合もある。「アルゴリズムを医学部に送り、人体や病気について学ぶ方法を教えているわけではありません」とワチテル教授は言う。

つまり、「AIには理解することはできず、予測することしかできません」とマクラデン医師とカーシュ医師は述べる。例えば、過去のデータを見て、皮膚細胞生検のどのパターンが癌の診断と関連していたかを学習するよう、AIを訓練することは可能だ。しかし、過去に診断をしてデータを収集した医師は、より高い確率で有色人種における症例を見逃していたかもしれない。

また、過去の傾向を把握するだけでは、医師が患者の治療をどう継続すればいいのかということに関する、必要な情報をすべて得られるとは限らない。今は、医師と患者が協力して治療方針を決定することが望ましい。AIの活用が進んでも、患者の主体性が損なわれるようなことがあってはならない。

では、どうすればアルゴリズム・パターナリズムを防ぐことができるのか？ 考えられる解決策の1つは、より良いデータに基づいて訓練された新しい技術を設計することだ。例えば、さまざまなコミュニティの信条や希望に関する情報や、多様な生物学的データに基づいてアルゴリズムを訓練することができる。しかしそのためには、実際にデータを収集する必要がある。この作業には多額の費用がかかるため、AIを利用してコスト削減を図ろうとする人たちにとって魅力的には映らないだろうとワチテル教授は言う。

AIシステムの設計者は、AIによって評価される人々のニーズを注意深く考慮する必要がある。そして、ある集団に有効な技術が、生物学的な理由によるものであれ、信念によるものであれ、他の集団に有効であるとは限らないことを念頭に置く必要がある。「人間は身体のすべてが同じというわけではありません」とワチテル教授は言う。

最善のアプローチは、AI技術を、すでに確立された技術と同じように使うことかもしれない。レントゲンや核磁気共鳴画像法（MRI）は、他の診療情報とともに、診断の参考とするために使われる。スキャンを受けるかどうか、そして診断結果を受けてどうしたいかは、患者が選択できるようにすべきだ。私たちはAIに主導権を渡すことなく、AIを活用することができるのだ。

MITテクノロジーレビューの関連記事

「デクター・デス」の異名を持つフィリップ・ニチキは、人々の自殺をサポートするAIを開発している。MITテクノロジーレビューのウィル・ダグラス・ヘブン編集者は、この記事で、AIに生死に関わる決断をさせることの複雑な倫理の問題を追求した。

2020年には、新型コロナウイルス感染症（COVID-19）の診断を補助したり、特定の症例がどの程度重症化するかを予測するために、多数のAIツールが開発された。だが、ダグラス・ヘブン編集者が以前報告したように、どれもうまく機能しなかった。

ダグラス・ヘブン編集者はまた、研究室では非常にうまく機能するAIが、現実世界では機能しないこともあることについても触れた。

本誌のメリッサ・ヘイッキラ記者は、AIシステムにタバコの箱のような健康警告が必要かどうかを最近の記事で検討した。

◆ 医学・生物工学関連の注目ニュース

科学者チームが画像処理技術を使い、長い間謎に包まれていた、古代エジプトの密封された6基の動物用棺の中身を解き明かした。砕けた骨やトカゲの頭蓋骨、布の切れ端などが見つかった。（サイエンティフィック・レポート (Scientific Reports)）

遺伝子解析により、大腸がん患者に対する標的治療の提案が可能になる。しかしアフリカ系の祖先を持つ人々は、ヨーロッパ系の祖先を持つ人々よりも、標的治療から恩恵を得られる可能性が低くなる変異を有している。この発見は、研究者が多様な集団からのデータを使用することがいかに重要であるかを浮き彫りにしている。（米国がん学会）

スリランカは中国の民間企業に、固有種の猿10万匹を輸出することを検討している。内閣の報道官は、猿は中国の動物園に送られると述べているが、自然保護活動家は、動物が研究所に行き着くことを危惧している。（ロイター通信）

認知症の治療に効果があるとしたら、自分の脳に電極を挿入したいと思うだろうか？ある小規模の研究によると、発症のリスクが判明している人の多くは、その可能性に肯定的であるようだ。（ブレイン・シティミュレーション）

少年らの筋肉に影響を及ぼす致死的な病気に対する遺伝子治療が、今後、数週間のうちに下される決定をもって承認される可能性がある 。臨床試験が終了していないにもかかわらずだ。（スタット）

人気の記事ランキング

ジェシカ・ヘンゼロー [Jessica Hamzelou]米国版生物医学担当上級記者: 生物医学と生物工学を担当する上級記者。MITテクノロジーレビュー入社以前は、ニューサイエンティスト（New Scientist）誌で健康・医療科学担当記者を務めた。