眼病を94.5％の精度で見つけられる人工知能（AI）がすばらしいのは、診断根拠を説明できることだ。
長い間、AIで課題となっているのがブラック・ボックス問題だ。 ブラックボックス問題とは、何を基にしたのかを説明せずに、結果を吐き出すというアルゴリズムの傾向を指す。そのため、偏見の排除が難しい可能性がある。
ネイチャー・メディシン誌に掲載された論文では、ディープマインド（DeepMind）の研究者が、50種類以上の病気を特定し、専門医に助言するAIシステムについて書いている。もっとも重要なことは、医用スキャンのどの部分が診断結果につながったを示すことだ。
今後、医学分野におけるAI利用を促進するのであれば、「説明できること」は必要不可欠だ。「医師や患者は、ブラック・ボックスが示す単なる病名が聞きたいのではなく、診断の根拠を知りたいのです」とマサチューセッツ工科大学（MIT）ラメシュ・ラスカー准教授はスタットに語っている。「専門家が適切だと認め広く使われている治療法、標準治療というものがあります。AI技術が標準治療に沿っていなければ、医師や患者は不快に感じるでしょう」。