GPT-3とそれを取り巻く周辺、パラダイムと限界

オープンAI（OpenAI）のGPT-3が人工知能（AI）の世界で話題をさらってからもう1年が経つ。筆者の手元にもようやくGPT-3へのアクセス権が届いたのでさっそく試してみたが、これがなかなか一筋縄ではいかないもののようだ。

この記事はマガジン「10 Breakthrough Technologies」に収録されています。 マガジンの紹介

GPT-3は、Generative Pretrained Transformerの略で、強引に訳せば、「生成的事前学習済みトランスフォーマー」の第三世代ということになる。「トランスフォーマー」というのは、AIの構造を意味する言葉である。第二世代のGPT-2でも「あまりにも危険」と喧伝する性能を持つとされていたが、GPT-3はGPT-2よりもさらに大規模なパラメーター数を持つため、その学習にも利用にも膨大なエネルギー（そして費用）を消費する。オープンAIのGPT-3は一定回数までは無料で使えるが、ベータ版とはいえ、その一定回数を超えると費用が発生することになる。それだけの電力を消費するのだから当然と言えば当然だ。むしろGPT-3の開発とメンテナンスに投入されている金額や労力のことを思えば、利用料金はちょっと安いくらいではないかという印象を受けた。

GPT-3はその誇大広告気味な宣伝によって期待値は膨らんだが、実際に触ってみると「やっぱりな」という諦観すべき場面も少なくない。長文を書かせると矛盾しだしたり、まったく別の話を展開したりする。

筆者が経営するギリアで開発中の会話エンジン「GheliaM（ギリアM）」にGPT-3を実験的に載せてみて会話をしてみると、最初はテンポよく会話が進むのだが、話をしているうちにだんだんおかしくなってくる。会話の方向性がつかめず、最後は延々と英語で何か話し始めた。まさに「壊れたラジオ」としか言いようのない勢いで、何かを懸命に訴えるのだが、意味をなしていない。

GPT-3に明るい未来はあるのか

GPT-3の明らかな問題点は3つある。1つ目は、巨大すぎること。巨大であるということは維持にコストがかかるだけでなく、大量に使うことができないことを意味する。2つ目は、コントロールが難しいこと。GPT-3は基本的に何を言い出すのかまったく予想がつかない。その意味では企業などが使うにはかなり危険な存在であるとも言える。そして3つ目は、果たしてこの技術の先に明るい未来が開けているかどうか確証が持てないということだ。

GPT-3が巨大すぎるという問題については、AI特有の方法で解決できる可能性もある。AIは、大きくて重いAIから、小さくて軽いAIへ能力を「蒸留」することができる。GPT-3そのものを動かすほど巨大なマシンがなくても、GPT-3の能力を蒸留するのに十分な数のデータセットがあれば、GPT-3の能力をそのままに蒸留できる可能性がなくはない。

また、ギリアでは遺伝的アルゴリズムによってニューラルネットワークの構造そのものを設計する技術を開発していて、画像認識などに用いられる畳み込みニューラルネットワークのSOTA精度（SOTAはState of the Art。その時点で発表されている論文のなかで最も高い精度を指す）を上回り、なおかつサイズが1000分の1のニューラルネットワークを設計できることが分かっている。これをGPT-3と同様の問題に対して適用すれば、GPT-3と同等の性能のニューラルネットワークをもっと小さく、コンパクトにできる可能性はある。

コントロールが難しいという問題に関しては、GPT-3を多段運用すれば回避できる可能性がある。つまり、一度GPT-3に文章を生成させた後、再度GPT-3に「これは公序良俗に反した内容ではないか?」と問いかけるのである。GPT-3はこうした分類問題は得意なので、正しく倫理的な文章に絞ることができる可能性は高い。加えて、もしものための安全装置として、ヒューリスティックな、つまり昔ながらのNGワード検出エンジンを組み合わせておけば、たとえば差別的な発言などは抑制することができるだろう。

最後の問題は最も厄介である。GPT-3は確かに面白いのだが、話す内容はかなりデタラメだ。役立つように見えるときもあるが、そうでもないときもある。長文を要約するタスクなどは驚くほど正確だし、従来からの自然言語処理が苦手としていた「日本語の固有名詞がどこで区切れるか」という問題についてはそれなりに優れた回答を見せる。

日本の自然言語処理の研究者にとって、宮崎駿監督のアニメ作品のタイトルは頭痛の種だった。「風の谷のナウシカ」のように、接続語が連続する特徴的な言葉遣いが多いからだ。

そこでGPT-3に、固有名詞を抜き出す方法を指示してみる。下の図は実際のGPT-3の動作 …