AIはまだ文の意味を理解していない——NLPの欠陥が突きつける課題

言語を理解しているように見える人工知能（AI）の多くは、一般的な言語理解の課題において人間より高い得点を出している。ところが、文中の単語が並べ替えられても、そのことに気づくことができない。つまり、AIは実際にはまったく言語を理解していないのだ。問題の原因は、自然言語処理（NLP）システムが訓練される方法にある。この問題はまた、どのようにして自然言語処理システムを改善すればよいかを指し示している。

アラバマ州オーバーン大学とアドビ・リサーチ（Adobe Research）の研究者らがこの欠陥を発見したのは、自然言語処理システムに自身の挙動についての説明（例えば、異なる文が同じ意味を持つと主張する理由）を生成させようとしたときだった。研究者らはこのアプローチをテストしたところ、文中の単語の順序を入れ替えても、説明が変わらないことに気がついた。プロジェクトを主導したオーバーン大学のアン・グエン助教授は、「これは全ての自然言語処理モデルに共通の問題です」と言う。

グエン助教授らの研究チームは、「バート（BERT）」をベースとする最新の自然言語処理システムに着目した。バートは、グーグルが開発した言語モデルであり、「GPT-3」といった最新のシステムの基盤となっている。バートを基盤とするシステムは全て、「グルー（GLUE：General Language Understanding Evaluation）」のテストにおいて人間より高い得点を出している。グルーは、言い換えであるかどうかの判断、文がポジティブまたはネガテイブな感情を表しているかどうかの判断、言語的推論などの言語理解能力を測定するために設計された課題を含む標準的なテストだ。

グエン助教授らの研究チームは、文中の単語の順序が入れ替えら …

人気の記事ランキング

1. Young organs may not be a fountain of youth for recipients 若い心臓は体に合わせて老いる——プーチンには残念な研究結果
2. Promotion How AI could reshape Japan’s white-collar workforce 【10/6開催】AIで浮いた人材、次の一手は地方に——冨山和彦氏ら登壇
3. The specter of AI-enabled bioweapons is a wake-up call for biotech AIが生物兵器を生む日——6時間で毒性分子4万個の衝撃
4. When can we say AI made a scientific discovery? AIを「発見の主体」に据えるAI企業、科学の営みとのずれ
5. How ideas of a vast censorship network moved from the online fringe to Trump policy 陰謀論は国をどう動かしたか 「検閲産業複合体」説を 追った9カ月調査