AIはまだ文の意味を理解していない——NLPの欠陥が突きつける課題

言語を理解しているように見える人工知能（AI）の多くは、一般的な言語理解の課題において人間より高い得点を出している。ところが、文中の単語が並べ替えられても、そのことに気づくことができない。つまり、AIは実際にはまったく言語を理解していないのだ。問題の原因は、自然言語処理（NLP）システムが訓練される方法にある。この問題はまた、どのようにして自然言語処理システムを改善すればよいかを指し示している。

アラバマ州オーバーン大学とアドビ・リサーチ（Adobe Research）の研究者らがこの欠陥を発見したのは、自然言語処理システムに自身の挙動についての説明（例えば、異なる文が同じ意味を持つと主張する理由）を生成させようとしたときだった。研究者らはこのアプローチをテストしたところ、文中の単語の順序を入れ替えても、説明が変わらないことに気がついた。プロジェクトを主導したオーバーン大学のアン・グエン助教授は、「これは全ての自然言語処理モデルに共通の問題です」と言う。

グエン助教授らの研究チームは、「バート（BERT）」をベースとする最新の自然言語処理システムに着目した。バートは、グーグルが開発した言語モデルであり、「GPT-3」といった最新のシステムの基盤となっている。バートを基盤とするシステムは全て、「グルー（GLUE：General Language Understanding Evaluation）」のテストにおいて人間より高い得点を出している。グルーは、言い換えであるかどうかの判断、文がポジティブまたはネガテイブな感情を表しているかどうかの判断、言語的推論などの言語理解能力を測定するために設計された課題を含む標準的なテストだ。

グエン助教授らの研究チームは、文中の単語の順序が入れ替えら …

人気の記事ランキング

1. We finally have a definition for open-source AI 「オープンソースAI」問題ついに決着、OSIが定義を発表
2. Here’s how people are actually using AI カネにならない生成AIブーム、LLMはどう使われているか？
3. The US physics community is not done working on trust 物理学界で繰り返される研究不正、再発防止には何が必要か
4. Maybe you will be able to live past 122 人は何歳まで生きられるのか？ 寿命の限界を探る人類の試み