AIはまだ文の意味を理解していない——NLPの欠陥が突きつける課題
米オーバーン大学の研究者らは、言語理解能力を測定するテストで高得点の自然言語システムが、文中の単語の順序の入れ替えに気づかないことを発見した。こうしたシステムは、文中のいくつかのキーワードを拾い上げてテストの課題を処理しているだけであり、人間のように文の意味を理解しているわけではない。 by Will Douglas Heaven2021.01.22
言語を理解しているように見える人工知能（AI）の多くは、一般的な言語理解の課題において人間より高い得点を出している。ところが、文中の単語が並べ替えられても、そのことに気づくことができない。つまり、AIは実際にはまったく言語を理解していないのだ。問題の原因は、自然言語処理（NLP）システムが訓練される方法にある。この問題はまた、どのようにして自然言語処理システムを改善すればよいかを指し示している。
アラバマ州オーバーン大学とアドビ・リサーチ（Adobe Research）の研究者らがこの欠陥を発見したのは、自然言語処理システムに自身の挙動についての説明（例えば、異なる文が同じ意味を持つと主張する理由）を生成させようとしたときだった。研究者らはこのアプローチをテストしたところ、文中の単語の順序を入れ替えても、説明が変わらないことに気がついた。プロジェクトを主導したオーバーン大学のアン・グエン助教授は、「これは全ての自然言語処理モデルに共通の問題です」と言う。
グエン助教授らの研究チームは、「バート（BERT）」をベースとする最新の自然言語処理システムに着目した。バートは、グーグルが開発した言語モデルであり、「GPT-3」といった最新のシステムの基盤となっている。バートを基盤とするシステムは全て、「グルー（GLUE：General Language Understanding Evaluation）」のテストにおいて人間より高い得点を出している。グルーは、言い換えであるかどうかの判断、文がポジティブまたはネガテイブな感情を表しているかどうかの判断、言語的推論などの言語理解能力を測定するために設計された課題を含む標準的なテストだ。
グエン助教授らの研究チームは、文中の単語の順序が入れ替えら …
- 人気の記事ランキング
-
- The balcony solar boom is coming to the US 安全性は大丈夫？ 米国で「バルコニー発電」がブーム
- Three things in AI to watch, according to a Nobel-winning economist AIによる雇用破壊、ノーベル賞経済学者の答えはまだ「ノー」
- The era of AI malaise AI閉塞感の時代、私たちはまだ何も分かっていない
- Here’s what you need to know about the cruise ship hantavirus outbreak クルーズ船のハンタウイルス感染、パンデミックを心配すべきか？
