アリババとMSの人工知能、読解力テストで人間を凌ぐ

AI Beats Humans at a Reading Comprehension, But It Still Doesn’t Truly Comprehend Language アリババとMSの人工知能、読解力テストで人間を凌ぐ

アリババ(Alibaba)とマイクロソフトが開発した 人工知能(AI)は読解力テストで人間よりも優れた結果を出した。だが、自然言語処理にはまだ難しい課題が残っている。 by Jamie Condliffe2018.01.16

アリババ(Alibaba)とマイクロソフトが開発した 人工知能(AI)は読解力テストで人間よりも優れた結果を出した。だが、自然言語処理にはまだ難しい課題が残っている。

スタンフォード大学のクイズ(SQuAD=質問と回答のペアで構成されたデータセット)は、500件のウィキペディア(Wikipedia)の記事に基づき作られた、単語と文章の読解力をテストするものだ。たとえば、「第50回スーパーボウルのハーフ・タイム・ショーで、どのグループが主役だったか?」といった問題が出題される。

クイズの結果、人間のスコアは82.304点、アリババのAIは82.44点、マイクロソフトのAIは82.650点だった。

アリババのルオ・シー主任科学者によると、「雨が降る原因は何か」のような客観的な問題には、機械は高精度な回答を出せるようになったという。アリババは今後、この技術をカスタマー・サービスのような実践的なアプリケーションに使う予定だ。

とはいうものの、AIは人間が考えるような方法で理解しているわけではない。読み取った問題を本当に理解しているわけではないのだ。たとえば、先に挙げたスーパーボウルの問題であれば、AIは「英国のコールドプレイというロック・グループ」という問題の直接的な回答以外に、本当に何も知らない。それどころが、まだまだ機械が人間に劣る、もっと難しい言葉の問題も残っている。