ニューラル・ネットワークは、写真に関する質問に答え、画像に注釈をつけて根拠を示せる。
研究チームが開発したのは「Pointing and Justification Explanation（根拠の説明と指示：PJ-X）」と呼ぶモデルである。このモデルを試すために、研究チームは似通ったシーンを示す写真をペアで集めた。たとえば、異なる料理を組み合せたランチのような写真だ。次にPJ-Xに、それぞれの写真について、 「これは健康的な食事ですか？」といった明確な答えが出る質問をした。
十分なデータで訓練したのち、PJ-Xは「いいえ、これはトッピングがたっぷり載ったホットドッグです」と、質問に対して文章で回答できるようになった。そして回答の根拠となる、ホットドッグとたくさんのトッピングの写真の上にヒートマップを重ねて強調することに成功した。
一般的に人工知能（AI）はブラックボックスだ。物事を識別することは得意だが、そのアルゴリズムのロジックは人間にとっては不透明だ。だが、たとえば病気を診断するシステムのように、AIの多くの用途では、どのようにしてAIがその結論に達したかを明らかにすることが求められている。