AIはまだ文の意味を理解していない——NLPの欠陥が突きつける課題

米オーバーン大学の研究者らは、言語理解能力を測定するテストで高得点の自然言語システムが、文中の単語の順序の入れ替えに気づかないことを発見した。こうしたシステムは、文中のいくつかのキーワードを拾い上げてテストの課題を処理しているだけであり、人間のように文の意味を理解しているわけではない。 by Will Douglas Heaven2021.01.22

言語を理解しているように見える人工知能（AI）の多くは、一般的な言語理解の課題において人間より高い得点を出している。ところが、文中の単語が並べ替えられても、そのことに気づくことができない。つまり、AIは実際にはまったく言語を理解していないのだ。問題の原因は、自然言語処理（NLP）システムが訓練される方法にある。この問題はまた、どのようにして自然言語処理システムを改善すればよいかを指し示している。

アラバマ州オーバーン大学とアドビ・リサーチ（Adobe Research）の研究者らがこの欠陥を発見したのは、自然言語処理システムに自身の挙動についての説明（例えば、異なる文が同じ意味を持つと主張する理由）を生成させようとしたときだった。研究者らはこのアプローチをテストしたところ、文中の単語の順序を入れ替えても、説明が変わらないことに気がついた。プロジェクトを主導したオーバーン大学のアン・グエン助教授は、「これは全ての自然言語処理モデルに共通の問題です」と言う。

グエン助教授らの研究チームは、「バート（BERT）」をベースとする最新の自然言語処理システムに着目した。バートは、グーグルが開発した言語モデルであり、「GPT-3」といった最新のシステムの基盤となっている。バートを基盤とするシステムは全て、「グルー（GLUE：General Language Understanding Evaluation）」のテストにおいて人間より高い得点を出している。グルーは、言い換えであるかどうかの判断、文がポジティブまたはネガテイブな感情を表しているかどうかの判断、言語的推論などの言語理解能力を測定するために設計された課題を含む標準的なテストだ。

グエン助教授らの研究チームは、文中の単語の順序が入れ替えら …

こちらは会員限定の記事です。 メールアドレスの登録で続きを読めます。

有料会員にはメリットがいっぱい！

毎月120本以上更新されるオリジナル記事で、人工知能から遺伝子療法まで、先端テクノロジーの最新動向がわかる。
オリジナル記事をテーマ別に再構成したPDFファイル「eムック」を毎月配信。
重要テーマが押さえられる。
各分野のキーパーソンを招いたトークイベント、関連セミナーに優待価格でご招待。

【夏割】実施中！年間購読料20%オフ！

人気の記事ランキング